사람처럼 학습하는 인공지능, 심층 강화학습의 모든 것

사람은 시행착오를 통해 학습한다. 아픈 실패를 안겨준 상황을 피하고, 즐거웠던 성공의 경험을 되풀이하려 한다. 심층 강화학습도 마찬가지이다. 심층 강화학습은 딥러닝 기법을 활용해 환경의 반응을 기반으로 탐색하고 학습하는 머신러닝 시스템을 만드는 것을 목표로 한다.

저자는 심층 강화학습을 이해하는 밑바탕이 되어줄 강화학습에 관한 개념부터 알고리즘과 심층 강화학습의 기법, 최신 기술 동향까지 심층 강화학습에 대한 모든 걸 소개한다. 또한, 각 장마다 설명에 사용되는 예시와 삽화, 실습, 명확한 설명을 수록하여 머신러닝 접근법에 대해 독자들이 쉽게 살펴볼 수 있도록 해준다.

록히드 마틴의 미사일 화기 통제 및 자율 시스템 부서에서 강화학습을 활용하며 일하고 있다. 조지아 공과대학교에서 강화학습 및 의사 결정과 관련된 강의를 했으며, 유다시티에서 머신러닝 프로젝트 리뷰어 및 자율 주행 강의에서 멘토로 활동했으며, 심층 강화학습 강의를 개발했다. 조지아 공과대학교에서 컴퓨터과학 석사 과정을 수료했고, 유기적 지능에 대해 연구했다.

CHAPTER 1 심층 강화학습의 기초

1.1 심층 강화학습이란 무엇인가?
1.2 심층 강화학습의 과거와 현재 그리고 미래
1.3 심층 강화학습의 적절성
1.4 두 가지의 명확한 기대치 설정
1.5 요약

CHAPTER 2 강화학습의 수학적 기초

2.1 강화학습의 구성 요소
2.2 MDP: 환경의 엔진
2.3 요약

CHAPTER 3 순간 목표와 장기 목표 간의 균형

3.1 의사결정을 내리는 에이전트의 목적
3.2 이상적인 행동들에 대한 계획
3.3 요약

CHAPTER 4 정보의 수집과 사용 간의 균형

4.1 평가가능한 피드백 해석의 어려움
4.2 전략적인 탐색
4.3 요약

CHAPTER 5 에이전트의 행동 평가

5.1 정책들의 가치를 추정하는 학습
5.2 여러 단계를 통해서 추정하는 학습
5.3 요약

CHAPTER 6 에이전트의 행동 개선

6.1 강화학습 에이전트의 구조
6.2 행동에 대한 정책을 개선하기 위한 학습
6.3 학습에서 행동을 분리하기
6.4 요약

CHAPTER 7 조금 더 효율적인 방법으로 목표에 도달하기

7.1 강건한 목표를 활용한 정책 개선 학습
7.2 상호작용, 학습 그리고 계획하는 에이전트
7.3 요약

CHAPTER 8 가치 기반 심층 강화학습 개요

8.1 심층 강화학습 에이전트가 사용하는 피드백의 유형
8.2 강화학습을 위한 함수 근사화
8.3 NFQ: 가치 기반 심층 강화학습을 위한 첫 번째 시도
8.4 요약

CHAPTER 9 조금 더 안정적인 가치 기반 학습 방법들

9.1 DQN: 강화학습을 지도학습처럼 만들기
9.2 이중 DQN: 행동-가치 함수에 대한 과도추정 극복
9.3 요약

CHAPTER 10 샘플 효율적인 가치 기반 학습 방법들

10.1 듀얼링 DDQN: 강화학습에 초점을 맞춘 신경망 구조
10.2 PER: 유의미한 경험 재현에 대한 우선순위 부여
10.3 요약

CHAPTER 11 정책-경사법과 액터-크리틱 학습법

11.1 REINFORCE: 결과기반 정책 학습
11.2 VPG: 가치함수 학습하기
11.3 A3C: 병렬적 정책 갱신
11.4 GAE: 강력한 이점 추정
11.5 A2C: 동기화된 정책 갱신
11.6 요약

CHAPTER 12 발전된 액터-크리틱 학습법

12.1 DDPG: 결정적 정책에 대한 근사화
12.2 TD3: DDPG를 넘어선 성능을 보이는 개선점들
12.3 SAC: 기대 반환값과 엔트로피를 최대화하기
12.4 PPO: 최적화 과정을 제한하기
12.5 요약

CHAPTER 13 범용 인공지능을 향한 길

13.1 다룬 내용과 다루지 못한 내용
13.2 범용 인공지능에 대한 조금 더 발전된 개념들
13.3 이후의 내용들
13.4 요약

부록 A 구글 콜랩에서의 실습 환경