강화학습 Deep Q-Network(DQN)에 대한 정리

현재 학교 졸업 프로젝트로 강화 학습 관련 프로젝트를 진행하고 있다.

그러면서 DQN에 대한 차이를 설명하면서 여러 자료를 보게 됐고, 이를 좀 정리하기 위해 남겨 놓는다.

 

Deep Q-Network

• Q-Learning에 Value Function Approximation(VFA)을 사용하는 것은, Weight Update 과정에서 샘플들 간의 상관관계와, Non-stationary Target으로 인해 수렴하지 않고 발산 가능성이 있다.
• 이러한 문제를 해결할 필요가 있는데 Deep Q-Learning(DQN)이 이 문제를 Experience Repaly와 Fixed Q-targets으로 해결을 시도하였다.
• State, Action을 Q-Table로 정의하기에 Table이 너무 방대해지는 경우(ex, 간단한 게임), DQN을 종종 사용한다.

Experience Replay

• Experience Replay Buffer에는 DQN의 학습 과정에서 매 step마다 주어지는 stage, action, Q-Value에 대한 값들, 즉 경험(Experience)이 저장되며, 저장된 경험을 이용해 Network를 학습할 때 사용한다.
• Experience Replay를 사용하면, 과거에는 그냥 Nerual Network의 Weight와 Policy를 한 번 업데이트해주고 끝날 동작이, Replay Buffer에 남아 있다가, 이 값을 바탕으로 Network의 Weight를 Update하는데 사용하게 된다.
• 이 과정에서 대부분 mini-batch 크기만큼 Random-Sampling을 거친 Experience 데이터를 추출해서 Weight를 갱신하는데, 현재의 데이터보다 연관성이 떨어져 독립성을 확보할 수 있다.
• 또한, Weight Update 과정에서도 Q-Learning의 방식을 사용하여 Target Value가 변경되어 있으며 이 변경된 값에 대해 새로운 독립적인 데이터로 Weight Update가 가능하다.

FIxed Q-Targets

• Target Weight를 고정한다. 기존의 Q-Learning에서 Target의 변화 문제를 아예 고정하는 방식으로 대응한다.
• Target Update 과정에서는 Update할 때 사용하는 Weight와 실제 Update할 Weight를 나누어 사용한다.
• 이런 방식으로 궁극적으로 Q-Learning에서 잠재적으로 Weight가 발산해버리는 문제를 방지하도록 한다.

Algorithm

DQN Algorithm

최초 실행 시점에 용량 N을 갖는 Replay Memory를 할당해주고, Q-function은 Random Weights로 초기화한다.

에피소드의 정의는 적용하고자 하는 문제에 따라 다르다. Atari 게임이나, 슈퍼마리오 같은 것은 게임 한 판을 의미할 수 있고, 알고리즘 트레이딩에서는 학습에 사용되는 거래일 전체로 정의할 수 있다.

 

이후, M번의 episode를 진행하는데, 매 에피소드마다 다음과 같은 동작을 수행한다.

 

---

최초의 State를 설정한 후, 전처리를 수행

 

에피소드 하나가 끝날 때까지,(Step이 끝날 때까지)

• epsilon에 따라서 Random Action을 지정하거나, 공식에 따라 정의된(Q를 최대화하는) Action을 선택한다.
• Action을 수행한 후, 그에 대한 Reward와 Action으로 인해 변화된 상태를 받는다.
• Next State를 현재 State와 Action, Action으로 인해 변화된 상태로 설정한 후, Next Policy에 대한 전처리 진행
• Replay Memory D에 t step에서의 State, Action, Reward, (t+1) step에서의 State를 저장한다.
• D에서 무작위로 minibatch size만큼의 기록을 가져와서, Epsiode가 종료되는 경우와 그렇지 않은 경우에 따라 Ground Truth로 활용될 Y를 지정하고, 공식에 따라서 Gradient Descent를 사용해 학습한다.

---

 

알고리즘 수행 과정에서 참고할 부분

Gradient Descent를 진행하기 위해 일종의 Ground Truth인 y를 지정할 때, 마지막 스텝인 경우는 누적된 Reward를 그대로 사용하고, 마지막 스텝이 아닌 경우에는 Q-Value를 최대로 하는 정책에서의 Reward에 dicsount factor를 곱한 값을 더한, 예상 Reward를 y로 지정한다. 이 때, Discount Factor인 gamma의 크기를 어떻게 하느냐에 따라, 미래의 예상 Reward에 대한 가중치가 달라진다.

 

 

DQN 그 이후...

DQN을 더 개선하기 위해 Double DQN이나 Prioritized replay, Dueling DQN 등이 논의된다. 주로 GitHub에서 DQN을 기반으로 한 프로젝트들은 DDQN이라는 이름으로 Double 혹은 Duleing DQN을 사용하고, 여기에 대해 간략하게 정리하면 다음과 같다.

 

Double DQN

DQN에서 필요 이상으로 Q-Value가 커질 경우, Q-Network의 성능 저하가 발생하는데, 이 문제를 해결하기 위해서 두 개의 Q-Network를 사용한다. 이 부분은 사실 Target Network 개념으로 어느정도 구현되어 있다. 앞서 보인 알고리즘 예시에서는 Action을 취하는 Network가 Q-Value를 계산하는 Network가 가중치를 공유한다. 여기서 Q-Value를 계산하는 Network를 Target Network로 만들어서 Network를 2개가 되도록 하여 Double DQN을 구현할 수 있다. 즉, Action을 취하는 Network와 Q-Value를 가져오는 Target Network, 이렇게 2개의 Q-Network를 이용하여 Double DQN을 구현한다는 것이다.

 

Dueling DQN

Dueling은 Q-Value 계산 이전에, Value Function과 Advantage라는 개념을 두어 둘을 나누었다가 합치는 방식으로, 여기서 Value Function은 Q-Value와 유사하다. 결국 Value와 Action에 대한 정보를 나눠 접근하여 성능 향상을 도모하는 것이다. 이렇게 Action과 Value를 나눠 접근하는 개념은 Actor-Critic과 유사하다.

Dueling DQN은 앞서 언급한 DQN과 Double DQN과는 다르게, 중간의 Value와 Advantage 분기로 인해 Network의 중간 구조가 달라진다. 

 

요약

• DQN은 간단하게 이야기하면 Q-Value를 Neural Network로 구하는 것이다.
• Fixed Q-target이나 Experience Replay를 통해서 Q-Learning에서의 샘플링 문제와 Non-stationary target 문제를 해소하여 발산하지 않도록 하였다.
• Neural Network의 Hyperparameter 조정, Replay Buffer의 크기 조정, Target Network Update 주기 등을 통해 성능 개선을 도모할 수 있다.

 

 

Reference

https://arxiv.org/abs/1312.5602

https://arxiv.org/abs/1509.06461

youtu.be/gOV8-bC1_KU

https://greentec.github.io/reinforcement-learning-third/