심화 스터디/강화학습

[강화학습 스터디] Hit and Lead Discovery with Explorative RL and Fragment-based Molecule Generation + SAC, PER

Intro 이번 논문의 리뷰를 남기게 된 계기는, 지난 3개월 간의 배움의 과정을 집약적으로 설명하기 위함이기에 다소 주관적이고 논문 한 건의 리뷰 이상을 담고자 했음을 밝힌다. 해당 논문을 제대로 이해하기 위해서는 SAC(soft actor critic), PER(Prioritized Experience Replay)와 같은 비교적 최신의 강화학습 모델 알고리즘뿐 아니라, CADD라는 컴퓨터 기반 신약개발 분야의 도메인 지식과 특징의 이해도 필요하므로, 각각을 Domain Background, Tech Background로 나누어 서술한 후 본격적인 논문의 모델 리뷰로 들어가기로 했다. Domain Background 1. CADD (Computer-aided Drug Design) : CADD란 신약..

심화 스터디/강화학습 2022. 6. 3. 17:27

[강화학습 스터디] Network Randomization: A Simple Technique for Generalization in Deep Reinforcement Learning(ICLR 2020)

기존 Deep RL의 agents는 unseen environment에 대한 generalization이 부족했다. 아래의 사진과 같이 2D CoinRun, 3D DeepMin Lab, 3D Surreal robotics 등에서 학습 때 사용되었던 object, background, floor와 test할 때 다를 경우 성능이 크게 감소한다. 여러 Generalization 방법 Regularization: L2 norm, Dropout, BatchNorm Data Augmentation: cutout, grayout, inversion, color jitter cutout: 임의의 크기, 생상의 box를 random number만큼 만드는 방법 grayout: RGB 3개 channel을 평균으로 하는..

심화 스터디/강화학습 2022. 5. 28. 18:34

[강화학습 스터디] DQN

심화 스터디/강화학습 2022. 5. 12. 19:29

[강화학습 스터디] Multi Agent RL

Multi Agent RL 1. 개념 아이들이 축구할때 팀 전체의 보상은 게임을 이기는 것이지만 각각의 agent는 골을 넣는 것이 목표이다. 그렇기 때문에 전부 공만 따라다니고 좋은 결과를 내기 쉽지않다. agent 가 많을 경우에 agent 끼리의 상호작용을 고려해야한다. state 가 너무 많으면 고려해야할 것이 많기 때문에 Q-table을 전부 만들 수 없음 Q-function을 approximpte 하기위해 인공신경망을 사용 2. 역강화학습 (IRL) 자율주행 자동차를 운행할때 과연 언제 얼만큼의 보상을 할 것인가? 사고를 피했을 때? 목적지에 도달했을 때? 기존 강화학습에서는 reward 가 다 정해져 있는 상태에서 maximize하는 action을 하는 것 그러나 현실적으로 보상함수는 정해져..

심화 스터디/강화학습 2022. 5. 12. 19:04

[강화학습 스터디] Policy Based Methods

작성자 : 남정재 1. 메타러닝 메타러닝 높은 단계의 AI가 낮은 단계의 AI 혹은 그들 여러개를 최적화하는 것 (강의 URL) https://www.youtube.com/watch?v=2z0ofe2lpz4&feature=emb_imp_woyt '메타' : 한 차원 위의 개념적 용어로 대상의 전반적인 특성을 반영 메타 러닝은 데이터의 패턴을 정해진 프로세스로 학습하는 것이 아니라, 데이터의 특성에 맞춰서 모델 네트워크의 구조를 변화시키면서 학습하는 것 즉, 배우는 방법을 배우는 것(Learning to learn). 메타 러닝은 범위 : 굉장히 광범위 최근에는 하이퍼파라미터 최적화, 자동 신경망 네트워크 설계 등으로 가장 많이 활용됨 기존의 딥러닝 모델은 일반적으로 데이터가 많은 경우 효과적임 BUT, ..

심화 스터디/강화학습 2022. 5. 12. 02:12

[강화학습 스터디] Introduction to Reinforcement Learning

Naive Concept Introduction OpenAI Gym Mathematical concept 벨만 방정식 마르코프 체인 1. Introduction 1) 강화학습(reinforcement learning)이란? : computational approach to learning from interaction STATE(상태) ACTION(행동) REWARD(보상) 이렇게 3가지의 가장 기본적인 개념으로 구성되는 시스템이라고 볼 수 있다. 환경과의 상호작용(보상)을 통해 새로운 행동을 취하고, 그에 따라 계속적으로 변하는 상태라고 이해할 수 있다. 2) 강화학습의 적용/응용 연구 분야 Robotics : 관절에 걸리는 돌림힘(토크) 계산 Business operations 재고 관리 자원 할당 ..

심화 스터디/강화학습 2022. 4. 4. 17:01

[강화학습 스터디] Q-learning on Nondeterministic Worlds

Deterministic VS Stochastic (nondeterministic) 기존 deterministic world 에서는 내가 움직이는 대로 그대로 움직임. 오른쪽 버튼을 눌렀으면 에이전트는 그대로 오른쪽으로 이동한다. 빨간 점선을 지시했을때 오른쪽으로 이동. nondeterministic world에서는 내가 누르는 버튼 그대로 움직이지 않고 random함을 가지고 있다. 동일한 condition과 parameter를 가지고 있더라도 서로 다른 결과를 초래한다. 지시한 방향과 다른 방향으로 움직이거나 아예 움직이지 않을수도 있음. 입력하는대로 움직이지않고 무작위로 움직인다. Nondeterministic world에서 기존 Q-Learning의 문제점 action이 오른쪽으로 가는 것이 었을..

심화 스터디/강화학습 2022. 3. 31. 17:09

[강화학습] 랜덤탐색 / 칼만필터

1. 랜덤탐색 학습 목표 랜덤 탐색 핵심 키워드 ARS 퍼셉트론 학습 내용 ARS 증강 랜덤 탐색 얕은 학습 알고리즘 무작위 노이즈와 유전 알고리즘을 이용해 운동 문제에서 좋은 성능을 만든다. 퍼셉트론 인공 신경망의 기본 단위 유한 차분법 가중치와 똑같은 크기의 가우시안 노이즈 행렬을 만든다 현재 가중치의 두 개의 복사본을 만들고 θ+ 에는 노이즈를 더하고 θ- 에는 노이즈를 뺀다 두 버전으로 하나의 에피소드에서 테스트 한다 전체 보상을 가져와서 r+와 r-를 계산한다 가중치를 업데이트한다 랜덤탐색은 밀도 높은 보상 구조를 가진 연속 운동 문제에서 딥러닝 알고리즘보다 더 좋은 성과를 보이면서 15배나 빠른 학습시간을 보였다. ARS라고 불리는 증강 랜덤 탐색은 얕은 학습 알고리즘이다. 이 방법에서는 무작..

심화 스터디/강화학습 2022. 3. 31. 12:03

페이징

1 2

티스토리툴바