中 연구팀, 로봇 96대 '집단 경험 학습' 성공…성공률 98.3%

중국 연구팀이 로봇 96대가 서로의 성공 경험을 공유하며 학습하는 '집단 경험 학습'을 구현해 98.3%의 성공률을 달성했다.

30일(현지시간) 중국 IT 전문매체 판데일리에 따르면 칭화대와 인피니전스 AI, 아지봇 연구진은 인간 시연 대신 로봇 간 성공 사례를 공유하는 집단 경험 학습(CEL) 방식을 제안하고 실제 로봇 96대로 검증했다.

연구팀은 로봇이 실제 환경에서 경험을 쌓아 성능을 향상시키지만 숙련된 조작 인력을 대규모로 확보하기 어렵다는 문제에서 출발했다.

CEL에서는 한 로봇이 얻은 성공 경험을 저장·공유해 다른 로봇이 유사한 상황에서 참고할 수 있도록 한다.

연구팀은 꽃꽂이, 옷 접기, 휴대전화 충전, 의자 조립, 휴대전화 포장 등 가정과 공장에서 수행되는 5가지 작업을 테스트했다.

훈련에 참여하지 않은 로봇 2대가 600회 시도에서 15번 실패해 전체 성공률은 97.5%였다.

5개 작업 모두 인간 작업자 6명의 평균 성공률보다 높았다.

여러 단계가 필요한 산업 작업인 휴대전화 포장의 경우 집단 학습 후 성공률이 79.2%에서 98.3%로 상승했으며 120회 연속 실행에서 실패는 2회에 그쳤다.

연구팀은 동일한 실제 훈련 시간에서 참여 로봇 수를 16대에서 96대로 늘리자 성공률이 86.7%에서 98.3%로 향상되는 확장 추세도 보고했다.

이 시스템은 오픈소스 대규모 강화학습 프레임워크 RLinf를 기반으로 한 내결함성 비동기 훈련 시스템(FATS)과 실패 유도 경험 검색 미세 조정(FERT) 알고리즘으로 구성된다.

FATS는 로봇이 작업을 마치자마자 경험을 업로드하고 기기가 오프라인이 되어도 클러스터가 계속 작동하도록 한다.

96대 로봇 테스트에서 클러스터는 9,834개의 에피소드를 수집했고 22대의 로봇에서 총 30건의 오류가 발생했지만 손실된 로봇 시간은 전체 운영 시간의 1.3%에 불과했다.

FERT는 로봇이 어려움을 겪을 때 유사한 상황의 성공 경험을 검색해 해당 사례에 집중 학습하도록 한다.

이번 결과는 연구팀이 보고한 것으로 독립적으로 재현되지는 않았다.