Q-Learning vs Deep Q-Learning 비교 분석

Q-Learning vs Deep Q-Learning 비교 분석

강화 학습을 처음 접하면 Q-Learning과 Deep Q-Network(DQN)의 차이점이 헷갈릴 수 있어요.

기본적인 개념은 비슷하지만, 상태(State) 개수와 적용 가능 범위에 따라 다르게 사용됩니다.

Q-Learning이란?

“테이블(표) 기반으로 학습하는 전통적인 강화 학습 기법”

• Q-Learning은 모든 상태-행동(State-Action) 쌍을 테이블(Q-Table)에 저장해서 학습하는 방식이에요.
• 상태의 개수가 많아지면 Q-테이블이 너무 커져서 저장과 계산이 어려워지는 단점이 있습니다.

✅ Q-Learning 특징

• ✔ 테이블 기반: 모든 상태-행동 값을 저장하는 방식
• ✔ 작은 환경에서 효과적: 상태 개수가 적을 때 빠르고 효율적
• ✔ 벨만 방정식(Bellman Equation): 경험한 보상을 기반으로 학습
• ✔ 메모리 사용량 큼: 모든 상태를 저장해야 하므로 상태가 많아지면 한계

Deep Q-Network(DQN)이란?

“신경망을 활용해서 Q-값을 근사하는 딥러닝 기반 강화 학습 기법”

• DQN은 Q-테이블을 신경망으로 대체하여 학습하는 방식입니다.
• 덕분에 복잡한 환경에서도 강화 학습을 적용할 수 있습니다.

✅ DQN 특징

• ✔ 신경망(Neural Network) 기반: Q-값을 근사하여 학습
• ✔ 복잡한 환경에서도 적용 가능: 상태 공간이 커도 사용 가능
• ✔ 경험 재사용(Experience Replay): 이전 경험을 활용하여 학습 안정화
• ✔ 타깃 네트워크(Target Network) 사용: 학습을 안정적으로 만들기 위해 따로 유지

Q-Learning vs DQN 비교 표

항목	Q-Learning	Deep Q-Network (DQN)
핵심 개념	테이블 기반 Q-값 업데이트	신경망을 이용한 Q-값 근사
적용 가능 환경	상태(state)가 적은 환경	복잡한 환경에서도 가능
학습 방식	Q-테이블을 사용	인공 신경망(Deep Learning) 사용
메모리 사용량	상태 개수가 많아지면 큼	신경망으로 압축 가능
속도	작은 환경에서는 빠름	학습에 시간이 걸리지만 확장 가능
활용 분야	단순한 문제 (예: Taxi-v3)	복잡한 문제 (예: 자율 주행, 게임 AI)

어떤 상황에서 Q-Learning과 DQN을 선택해야 할까?

📌 Q-Learning을 사용해야 하는 경우

• ✔ 환경이 단순하고 상태(state) 개수가 적을 때
• ✔ 빠른 프로토타이핑이 필요할 때
• ✔ 게임 같은 간단한 시뮬레이션 학습에 적합

📌 DQN을 사용해야 하는 경우

• ✔ 상태(state) 개수가 너무 많아서 Q-테이블로 저장이 불가능할 때
• ✔ 고차원 데이터(이미지, 센서 데이터 등)를 입력으로 사용할 때
• ✔ 복잡한 문제(자율 주행, 로봇 제어, 게임 AI)에 적용할 때

더 많은 내용은 아래 게시글에 있어요!

https://wishsun1411.tistory.com/85

강화 학습 (Q-Learning, Deep Q-Learning) 완벽 정리 | AI 학습 방법 완전 분석!