KUBIG 2022-1 활동 블로그

Q-Table (큐테이블)은 state와 action이 주어지면 사용자가 취할 수 있는 최대값은 얼마라고 나왔다. 지금까지 큐테이블을 사용해왔지만 이는 한계점이 존재한다. 실생활의 더 어려운 예제에 적용해보면 위와 같은 문제에 대해서 표현할 수 있는 수가 상당히 커지기에 한계가 존재한다. 이를 극복하고자 Q-network이 등장하게 된 것이다. 신경망을 이용해 큐테이블에 근사하는 Q-network이다. 이 신경망은 input으로 어떤 state를 받고 output으로 모든 가능한 action의 큐값이 나온다. 이렇게 신경망을 구축한 뒤 큐테이블에서 큐값을 업데이트한 것처럼 신경망도 업데이트를 시켜줘야한다. 이때 이 신경망들의 weights를 W라고 하고 input state를 s라고 하면 output s..

심화 스터디/강화학습 2022. 3. 31. 10:52

보상을 최대화하기 위해 주어진 상태에서 최상의 조치를 취함 환경은 완전히 관측 가능해야 함 마르코프 변수 중 하나라도 모른다면 동적 계획법은 사용할 수 없음 (전이 모델 모름 -> 행동을 취하기 전에 어떤 일이 일어날 지 모름) (보상 함수 없음 -> 미리 에이전트가 얻을 수 있는 보상 알 수 없음) 몬테카를로 방법을 사용해야 함 : 반복적인 무작위 샘플링을 통해 수치적 결과를 얻는 다양한 알고리즘 미리 정의된 전이 함수나 보상 함수가 없어도 환경과의 상호작용을 통해 직접적으로 최적의 행동을 학습할 수 있음 전체 상태 중 몇 개에만 집중하기 때문에 쉽고 계산하는 데 효율적임 시뮬레이션에 적용할 수 있음 무차별 대입법 구하고자 하는 값이 수렴할 때까지 가능한 모든 상태를 여러 번 순환 무수히 많은 행동과 ..

심화 스터디/강화학습 2022. 3. 24. 15:04

1. Dummy Q-learning 실제 Frozen Lake와 같은 게임을 진행할 경우 agent는 현재의 state만 볼 수 있다. 다른 곳을 보기 위해서는 action을 통해 다른 state로 이동해야 한다. agent가 state s에서 출발할 때 Random하게 가는 것이 아니라 Q를 이용하면 좋다. 1) Q-function 현재의 state s와 action a를 input으로 받아 결과에 대해 알려준다. state-action value function이라고 불리기도 한다. Q는 두 단계로 이루어진다. (1)에서는 현재의 s에서의 최대값을 찾고, (2)에서는 max값을 가지는 argument를 찾는다. 예를 들어, Q(s1, LEFT): 0, Q(s1, RIGHT): 0.5, Q(s1, UP..

심화 스터디/강화학습 2022. 3. 24. 12:12