구간별 커리큘럼
후반 장애물 가까이에서 먼저 학습하고 시작점을 점차 앞쪽으로 넓혔다.
자율적 교육과정 · 강화학습 탐구
멈춘 AI를
완주시키기까지.
교사 DQN과 학생 DQN, 보상 설계, 커리큘럼 학습과 시간적 행동 제어를 결합해 슈퍼 마리오 1-1의 반복 실패를 해결한 과정을 기록했습니다.
- 학습 에피소드
- 6,558
- 누적 환경 스텝
- 1,020,430
- 최대 진행 위치
- x = 3161
01 무작위 탐색 없이 깃발을 획득한 최종 평가
01 — RESEARCH QUESTION
잘 달리던 AI는
왜 평가에서 멈췄을까?
“학습 중에는 멀리 진행하면서도, 탐색을 제거한 실제 평가에서는 왜 같은 계단·파이프·적 앞에서 반복적으로 멈추는가?”
핵심은 학습 횟수가 아니었습니다. 무작위 탐색의 우연한 성공, 불균형한 보상, 이전 경로의 망각, 그리고 버튼 입력의 시간적 구조를 함께 분석해야 했습니다.
02 — HOW IT LEARNS
화면에서 행동까지
DQN은 버튼을 직접 누르지 않습니다. 화면에서 각 행동의 장기적인 가치인 Q값을 추정합니다.
- INPUT4 × 84 × 84
흑백 화면 4프레임
- FEATUREConv × 3
화면 특징 추출
- DUELINGV(s) + A(s,a)
상태 가치와 행동 이점
- OUTPUT5 Q-values
행동별 장기 가치
Dueling Double DQNPrioritized Replay5-step Returnε-greedy
03 — FAILURE MAP
실패는 위치를 남겼다
최대 x 좌표, 정체 시간과 반복 행동을 함께 기록하자 장애물마다 서로 다른 원인이 보였습니다.
x≈2400계단과 틈에서 반복 실패+
원인후반 구간의 경험이 충분하지 않았다.
개선어려운 구간 가까이에서 시작하는 18단계 커리큘럼을 구성했다.
x≈2594멈춤 행동을 반복+
원인학습 중의 무작위 점프가 정책의 약점을 가리고 있었다.
개선탐색률 ε=0 평가와 정체 행동 기록을 별도로 분석했다.
x≈2744–2765굼바와 계속 충돌+
원인큰 충돌 패널티가 전진보다 정지를 유리하게 만들었다.
개선일반 실패 패널티 5, 굼바 추가 패널티 2로 완화했다.
앞 구간배웠던 길을 다시 잊음+
원인후반 집중 학습 뒤 파국적 망각이 나타났다.
개선전체 경로 에피소드를 35% 섞고 성공 경험을 다시 사용했다.
x≈2914점프를 골라도 뛰지 않음+
원인A 버튼이 계속 눌려 새 점프가 시작되지 않았다.
개선A 버튼을 한 스텝 해제한 뒤 점프를 다시 입력했다.
x≈2994달리기만 43/45회 선택+
원인점프 행동의 Q값이 상대적으로 낮았다.
개선문제가 확인된 후반 구간에만 제한적 점프 복구를 적용했다.
04 — SOLUTION
하나의 묘수가 아닌
다섯 번의 수정
최종 정책은 한 개의 신경망이 아니라, 학습과 행동 제어가 역할을 나눈 혼합형 시스템입니다.
FINAL POLICY HANDOFF
전 구간 리허설
후반 학습 중에도 35%는 전체 경로를 달리게 해 앞부분을 보존했다.
성공 경험 재사용
깃발에 가까워진 경험을 별도 메모리에 저장해 다시 학습했다.
보상 균형 조정
지나친 실패 패널티를 낮춰 ‘멈추기’가 안전한 선택이 되지 않게 했다.
시간적 점프 복구
A 버튼 해제와 재입력이라는 실제 입력 순서를 정책 뒤에 결합했다.
05 — RESULT
FLAG
GET.
탐색률 0의 평가에서 기존 정체 지점을 모두 지나 x=3161에서 깃발을 획득했습니다.
최종 V6.2 체크포인트와 같은 교사·점프 복구 설정으로 최초 자동 평가 1회와 추가 3회에서 깃발 획득을 확인했습니다.
- 6,558
- 학습 에피소드
- 1,020,430
- 누적 환경 스텝
- x = 3161
- 최대 진행 위치
- 4회
- 동일 조건 깃발 확인
x 위치 구간(100 단위) · 상위 8개 구간