엔비디아, 로봇 궤적 해독 12배 가속…예측 오류 61% 감소

엔비디아 연구진이 로봇의 궤적 해독 속도를 최대 12배 높이고 3차원 궤적 예측 오류를 최대 61% 줄이는 새로운 시각 계획 방법을 개발했다.

5일(현지시간) 미국 과학기술 매체 인터레스팅 엔지니어링에 따르면, 엔비디아 연구진은 'VFlash'라는 이 방법을 통해 비전-언어 모델(VLM)이 좌표를 하나씩 생성하는 대신 단일 패스로 전체 궤적과 공간 예측을 생성할 수 있게 했다.

기존 VLM은 공간 예측을 좌표 단위로 순차 생성해 로봇이 더 긴 궤적을 예측하거나 더 많은 객체를 추적할 때 처리 시간이 늘어나는 한계가 있었다.

VFlash는 요청된 시각 예측의 구조를 먼저 파악한 뒤 경량 확산 기반 드래프터를 사용해 좌표를 한 번에 예측한다. 기존 추측 디코딩과 달리 토큰별 일치 없이 구조적으로 유효한 시각 예측을 수용할 수 있다.

로봇 조작 실험에서 VFlash는 엔비디아의 젯슨 토르 플랫폼에서 추론 지연 시간을 3552.7밀리초에서 703.3밀리초로 약 80% 단축했다. DGX 스파크에서는 3356.5밀리초에서 649.9밀리초로 줄었다.

3차원 궤적 테스트에서는 데이터셋과 훈련 구성에 따라 평균 변위 오류를 최대 61% 낮췄다. 3D 포인트 모션 예측에서는 자동 회귀 디코딩보다 약 25배 빠른 생성을 보였다.

연구진은 VFlash가 생성한 궤적을 로봇 조작 벤치마크인 몰모스페이스에서 평가한 결과, 4개 작업 모음에서 평균 성공률 70.2%를 기록해 기준 시스템의 62.6%보다 높았다고 밝혔다. 특히 집기-놓기와 객체 닫기 작업에서 성공률이 각각 11.6%포인트, 12.8%포인트 향상됐다.

자율주행 분야에서는 내브심과 웨이모 데이터셋을 사용한 테스트에서 경쟁력 있는 벤치마크 성능을 보였고, 강화 학습을 통해 계획 결과를 더 개선했다.

연구진은 더 효율적인 시각 계획 생성이 물리 AI 시스템이 공간 정확도를 유지하면서 변화하는 환경에 더 빠르게 대응하는 데 도움이 될 수 있다고 설명했다.

이번 연구는 'VFlash: Flash Primitive Decoding을 통한 빠르고 정확한 시각 계획'이라는 제목으로 2026년 11월 엔비디아 연구진과 협력자들에 의해 발표됐다.