4편: [기술 기초] 현실 세계를 학습하는 방법: 모방 학습(Imitation Learning)의 원리

• 메인 키워드: 피지컬 AI 모방 학습

• 보조 키워드: 로봇 동작 학습, 행동 복제 알고리즘, 전문가 시연 학습, 피지컬 AI 프로그래밍

• 검색 의도: 피지컬 AI가 사물을 만지고 움직이는 행동을 제어할 때 사용하는 핵심 방법론인 '모방 학습'의 개념과 한계를 이해하기 위함.

아이가 부모를 따라 하듯, 로봇도 인간을 복제한다

"로봇에게 문을 열라고 수천 줄의 코드를 짜는 것보다, 사람이 직접 문을 여는 모습을 보여주는 게 더 빠르지 않을까?" 피지컬 AI의 행동 제어 연구는 이 단순한 질문에서부터 엄청난 돌파구를 맞이했습니다. 과거 2편에서 다루었듯이, 환경의 모든 변수를 수학 공식으로 일일이 코딩하는 방식은 현실의 불확실성 앞에 무릎을 꿇었습니다. 그렇다면 대안은 무엇일까요? 바로 인간이 행동하는 방식을 컴퓨터가 그대로 보고 배우게 만드는 '모방 학습(Imitation Learning)'입니다.

우리가 어린아이에게 숟가락질을 가르칠 때, 역학 공식이나 각도를 설명하지 않습니다. 부모가 직접 숟가락을 쥐고 밥을 떠먹는 모습을 반복해서 보여주면, 아이는 그 인지적 과정을 거쳐 자연스럽게 동작을 따라 합니다. 현대의 피지컬 AI 역시 이와 똑같은 방식으로 물리적인 육체를 움직이는 법을 배웁니다.

모방 학습의 가장 직관적인 형태: 행동 복제(Behavior Cloning)

모방 학습에서 가장 널리 쓰이는 기초적인 방법은 '행동 복제(Behavior Cloning)'입니다. 구조는 의외로 직관적입니다. 사람이 원격 제어 장치(지구본 형태의 컨트롤러나 VR 장비 등)를 이용해 로봇 팔을 움직여 특정 작업, 예를 들어 '컵을 집어 쟁반에 놓기'를 수백 번 시연합니다.

이때 로봇의 카메라는 시각 데이터를 기록하고, 로봇 관절의 센서는 인간이 움직인 궤적과 힘의 데이터를 고스란히 저장합니다. AI 신경망의 임무는 명확합니다. '이러한 카메라 화면(입력값)이 들어왔을 때는, 인간 전문가처럼 이렇게 모터를 움직여라(출력값)'라는 매핑을 학습하는 것입니다.

제가 실험실에서 이 과정을 처음 보았을 때 매우 흥미로웠던 점은, AI가 인간의 '미숙한 습관'까지 그대로 복제한다는 것이었습니다. 인간 작업자가 물건을 집기 전에 잠깐 멈칫하거나 손을 미세하게 떨면, 로봇 역시 학습 초기 단계에서 똑같이 손을 떨거나 멈칫하는 현상이 발생하곤 합니다. 그야말로 거울처럼 인간의 행동을 그대로 흡수하는 셈입니다.

칭찬과 벌로 배우는 강화학습과의 결정적 차이

많은 분이 인공지능의 행동 학습이라고 하면 알파고로 유명해진 '강화학습(Reinforcement Learning)'을 먼저 떠올립니다. 강화학습은 로봇을 아무것도 모르는 상태로 현실이나 시뮬레이션에 던져두고, 수만 번의 시행착오를 거치며 '성공하면 상(Reward), 실패하면 벌(Penalty)'을 주는 방식입니다.

바둑이나 게임 같은 가상 세계에서는 강화학습이 무적에 가깝습니다. 수억 번의 게임을 순식간에 돌릴 수 있으니까요. 하지만 이를 실제 물리적 로봇에 그대로 적용하는 것은 불가능에 가깝습니다. 로봇이 컵을 제대로 집는 법을 배우기 위해 수십만 번 컵을 떨어뜨리고 깨뜨린다면, 하드웨어가 남아나지 않을 것이며 시간도 너무 오래 걸립니다.

반면 모방 학습은 전문가가 정답에 가까운 '가이드라인'을 먼저 제공하기 때문에, 탐색 시간을 극적으로 줄여줍니다. 아무것도 없는 백지상태에서 시작하는 것이 아니라, 80점짜리 족보를 먼저 보고 시작하는 것과 같아서 현실 세계의 하드웨어 리스크를 최소화할 수 있습니다.

모방 학습이 마주한 한계: 공도 오차(Covariate Shift)의 덫

하지만 모방 학습이 만능은 아닙니다. 치명적인 수학적 결함이 존재하는데, 이를 학계에서는 '공도 오차(Covariate Shift)' 혹은 '오차 누적의 문제'라고 부릅니다.

인간 전문가는 100번 시연하는 동안 완벽에 가까운 경로로만 움직입니다. 따라서 AI는 '완벽한 상황에서의 대처법'만 배우게 됩니다. 문제는 실제 로봇이 작동할 때 아주 미세한 먼지나 바람 때문에 경로가 1cm만 옆으로 틀어져도 발생합니다. AI는 이 '틀어진 상황'을 인간의 시연 데이터에서 본 적이 없습니다.

한 번도 겪어보지 못한 궤적에 진입하는 순간, 로봇은 다음 행동을 판단하지 못하고 엉뚱한 방향으로 오차를 더 크게 키웁니다. 결국 도미노처럼 오차가 누적되어 로봇 팔이 테이블을 내리치거나 완전히 멈춰버리는 돌발 사태가 벌어집니다. 데이터의 공백이 오작동으로 이어지는 순간입니다.

이를 극복하기 위해 현대 피지컬 AI는 인간이 일부러 실수를 저지르고 복구하는 과정까지 데이터로 학습시키거나, 모방 학습으로 기초를 닦은 뒤 정밀한 시뮬레이터 속에서 강화학습을 결합해 예외 상황을 메우는 복합적인 하이브리드 전략을 취하고 있습니다.

4편 핵심 요약

• 모방 학습은 인간 전문가가 직접 로봇을 움직여 시연한 데이터를 바탕으로, AI가 현실의 물리적 행동 알고리즘을 스스로 학습하는 방식입니다.

• 시행착오를 수억 번 거쳐야 하는 강화학습과 달리, 인간의 정답 데이터를 기반으로 시작하기 때문에 하드웨어 파손 위험과 학습 시간을 획기적으로 줄여줍니다.

• 다만, 학습 데이터에 없는 미세한 예외 상황(오차)에 직면했을 때 오류가 눈덩이처럼 불어나는 '공도 오차'의 한계가 있어, 이를 보완하는 하이브리드 학습법이 연구되고 있습니다.

다음 편 예고

인간을 따라 하며 기본기를 익힌 피지컬 AI는 이제 스스로 균형을 잡고 걸어 다닐 수 있을 정도로 진화합니다. 다음 5편에서는 인공지능이 육체를 정밀하게 제어하기 시작한 분기점인 '5편: [발전기] 딥러닝과 강화학습이 바꾼 로봇 제어: 스스로 걷고 중심 잡기까지'에 대해 본격적으로 다루어 보겠습니다.

여러분의 생각은 어떠신가요?

로봇이 인간의 행동을 똑같이 따라 해서 일을 배우는 방식이 미래의 공장이나 가정용 로봇에 얼마나 유용할 것이라 생각하시나요? 인간의 실수를 닮아가는 로봇의 학습 방식에 대한 의견을 댓글로 자유롭게 공유해 주세요!