농구 본 적 없는 구글 로봇, '덩크슛' 성공

#헤드라인

농구 본 적 없는 구글 로봇, '덩크슛' 성공

https://n.news.naver.com/mnews/article/009/0005458404

농구 본 적 없는 구글 로봇, '덩크슛' 성공

제미나이 로보틱스 AI 공개

훈련 없이 개념만 알려줘도

스스로 판단해 명령 이행

범용 로봇 개발에 한걸음 더

---

#본문

 

 

구글의 제미나이 로보틱스가 적용된 앱트로닉스의 휴머노이드 로봇 'A07'. 구글

 

 

"농구공을 집어서 슬램 덩크를 해줘."

 

사람이 로봇에 음성으로 명령을 내리자 로봇팔이 실험실의 장난감 농구 코트에 있는 작은 플라스틱 농구공을 집는다. 그리고 이를 골대에 집어넣는다. 농구하는 것을 한 번도 학습한 적이 없는 로봇이 스스로 생각해 사람의 말을 이해한 후 행동으로 옮긴 장면이다.

 

구글은 12일(현지시간) 로보틱스용 인공지능(AI) '제미나이 로보틱스' 적용 사례들을 공개했다. 제미나이 로보틱스는 구글이 만든 거대언어모델(LLM)인 제미나이 2.0을 기반으로 사람의 지시가 로봇의 행동까지 연결되는 '시각·언어·행동(VLA)' 모델이다. 제미나이 2.0이 가지고 있는 언어와 시각에 대한 지식을 바탕으로 로봇이 행동할 수 있도록 했다.

 

제미나이 로보틱스를 만든 구글 딥마인드 엔지니어 카니슈카 라오는 "로봇이 농구공으로 덩크슛을 하는 걸 처음 봤을 때 팀원들이 매우 흥분했다"며 "이 로봇은 농구와 관련된 것을 전혀 본 적이 없었다. 로봇은 제미나이 모델을 통해 농구 골대의 형태와 덩크슛의 개념을 이해하고, 이를 실제 세계에서 구현한 것"이라고 말했다.

 

제미나이 로보틱스가 가진 큰 장점은 로봇이 특정 업무만 할 수 있는 것이 아니라 광범위한 일을 이해하고 실행하는 능력을 갖췄다는 점이다. 챗GPT가 사람의 말을 이해하고 다양한 일을 할 수 있는 것과 마찬가지다.

 

라오는 "제미나이를 로봇에 적용해 다양한 작업을 수행할 수 있는 '범용 로봇' 개발에 한 발짝 더 다가가고 있다"며 "우리 세계는 매우 복잡하고 역동적이며 풍부한데, 범용 지능 로봇은 이런 혼란을 처리할 수 있어야 한다"고 설명했다.

 

제미나이 로보틱스는 두 개의 팔이 달려 있는 로봇에 주로 사용되지만, 인간형 로봇에도 적용되고 있다. 구글이 보여준 데모영상 중에는 앱트로닉스의 인간형 로봇이 도시락을 싸는 모습도 있었다. 구글은 "제미나이 로보틱스는 실생활에서 다양한 과업을 처리하기 위해 앱트로닉스의 인간형 로봇인 아폴로 같은 복잡한 로봇에도 특화시킬 수 있다"고 강조했다.

 

이날 구글은 범용 모델인 제미나이 로보틱스 외에도 '제미나이 로보틱스 ER'이라는 사고능력이 강화된 모델을 공개했다. ER은 '탑재된 사고(Embodied Reasoning)'의 약자로 공간 사고능력이 더 뛰어나다는 점이 특징이다. 로봇이 보고 있는 것이 어떤 물건인지를 파악하거나, 3차원 공간에서 물체를 인식하는 능력이 향상됐다. 제미나이가 가진 코딩 능력으로 새로운 능력이 추가될 수도 있다.

 

구글은 머그잔을 예로 들면서 로봇이 머그잔을 보고 이를 두 손가락으로 효과적으로 잡는 방법을 생각해낼 수 있다고 설명했다. 특정 영역에서는 제미나이 로보틱스보다 더 뛰어난 능력을 보여준다는 것이다.

 

구글이 이날 공개한 영상에서는 미국 텍사스주 오스틴에 본사를 두고 있는 앱트로닉스의 로봇만 소개했다. 하지만 애자일로봇, 어질리티로보틱스, 보스턴다이내믹스, 인챈티드툴스 같은 로봇 기업과도 테스트를 하고 있다고 밝혔다.

 

이날 구글이 로봇에 실질적으로 적용할 수 있는 LLM 기반 AI를 공개하면서 빅테크 기업들의 로봇 개발 경쟁은 더욱 가속화할 전망이다.

 

테슬라는 2021년 인간형 로봇 '옵티머스'를 출시해 경쟁에서 가장 앞서 있다. 테슬라 자동차 공장 등 생산 현장에 도입하는 것을 목표로 하고 있다. 엔비디아는 직접 로봇을 만들지 않고 로봇에 들어가는 반도체와 로봇을 학습시키기 위한 플랫폼을 서비스 중이다. 애플은 팔 달린 가정용 로봇을 만들고 있으며 아마존은 물류센터에서 많은 로봇을 사용하고 있다. 메타와 오픈AI도 휴머노이드 로봇팀을 꾸려 로보틱스를 함께 연구하고 있다.

 

[실리콘밸리 이덕주 특파원]

 

이덕주 특파원(mrdjlee@mk.co.kr)

---

#추가 조사할 내용

[제미나이 로보틱스]

AI를 물리적인 세계로 확장하여 로봇이 다양한 작업을 수행할 수 있도록 돕는 새로운 AI 모델

• 최첨단 시각-언어-행동 모델(VLA)로서, 로봇이 실제 세계에서 사람과 유사하게 주변 환경을 이해하고 상호 작용할 수 있도록 설계
• 제미나이 2.0을 기반으로 구축
• 물리적 행동을 새로운 출력 형태로 추가하여 로봇을 직접 제어
• 학습 과정에서 접하지 못한 새로운 상황에서도 일반화하여 다양한 작업을 즉시 수행할 수 있는 범용성

 

상호작용성

• 직관적인 상호작용이 가능하며, 일상적인 대화체의 명령을 이해하고 다양한 언어로 답변
• 이전 모델보다 광범위한 자연어 명령을 이해하고, 이용자와 대화하며 입력에 따라 행동을 조정
• 주변 환경을 지속적으로 모니터링하여 환경이나 명령의 변화를 감지하고 즉시 행동을 수정할 수 있는 '조정성'을 갖추고 있어, 다양한 환경에서 로봇과의 협력을 용이

 

행동 능력

• 섬세한 운동 능력과 정밀한 조작을 요구하는 복잡한 다단계 작업을 수행 가능
• 종이접기나 지퍼백에 간식 넣기와 같이 기존 AI 기반 로봇이 어려움을 겪던 작업도 수행할 수 있으며, 환경이나 명령의 변화로 로봇 모델에게 계산 부담이 가중되더라도 이러한 능력을 유지
• 다양한 로봇 유형에 쉽게 적응할 수 있도록 설계되어, 양팔 로봇 플랫폼뿐만 아니라 인간형 로봇에도 적용될 수 있음

 

제미나이 로보틱스-ER

제미나이 로보틱스와 함께 공개된, 로봇 공학에 필수적인 물리적 세계 이해 능력을 향상시키는 데 중점을 둔 모델

• 인지, 상태 추정, 공간 이해, 계획 및 코드 생성에 이르기까지 로봇 제어에 필요한 모든 추론 단계를 즉시 수행
• 기존의 로봇 컨트롤러를 제미나이의 물리적 공간 이해 및 추론 능력과 연계할 수 있도록 지원
• 포인팅 및 3D 감지 등 제미나이 2.0의 기존 기능을 대폭 개선하고, 향상된 공간 추론 능력과 제미나이의 코딩 능력을 결합해 즉석에서 새로운 기능을 구현

---

#적용할 점

1. 기업의 제품, 기술, 사업 특징 요약
제미나이 로보틱스: 구글이 개발한 이 시스템은 로봇이 사람의 음성 명령을 받아 실제 행동으로 옮길 수 있게 합니다.

기술 (Technology)
- 거대언어모델 Gemini 2.0 기반: 언어와 시각 정보를 동시에 이해할 수 있도록 설계되어, 로봇이 주변 환경을 보고 명령을 해석합니다.
- 시각·언어·행동(VLA) 모델: 사람의 지시를 받아 로봇이 스스로 판단하고 행동으로 전환하는 기술입니다.
공간 사고능력(ER): 3차원 공간에서 물체의 형태를 파악해 보다 정교하게 물체를 다룰 수 있습니다.

사업 특징 (Business Features)
- 범용 로봇 개발: 특정 업무만을 수행하는 것이 아니라, 다양한 작업을 수행할 수 있는 로봇을 개발하고 있습니다.
- 다양한 로봇과의 적용 가능성: 두 개의 팔이 달린 로봇 뿐 아니라, 인간형 로봇 등에도 적용할 수 있어 활용 범위가 넓습니다.
- 빅테크 기업들과의 경쟁: 테슬라, 엔비디아, 애플, 아마존, 메타, 오픈AI 등 다른 대형 기업들과 로봇 및 AI 개발 경쟁을 펼치고 있습니다.

2. 이 제품이 AI 및 로봇 개발 경쟁에 미치는 영향
- 다재다능한 로봇 구현: 전통적으로 로봇은 미리 프로그래밍된 특정 작업만 수행할 수 있었으나, 제미나이 로보틱스는 다양한 작업을 스스로 학습하고 수행할 수 있습니다.
- 기술 혁신 촉진: 언어와 시각 정보를 동시에 활용하는 점은 다른 기업들에게도 자극이 되어, AI와 로봇 기술의 발전 속도를 더욱 빠르게 할 것으로 보입니다.
- 경쟁 구도의 변화: 범용 로봇 기술의 발전은 로봇을 생산, 물류, 서비스 등 다양한 산업에 적용할 수 있게 하여 시장 경쟁을 한층 더 치열하게 만들 전망입니다.
- 사용자와의 상호작용 강화: 인간의 명령을 정확히 이해하고 실행함으로써, 앞으로 로봇과의 상호작용이 보다 자연스럽고 효율적으로 발전할 가능성이 높아집니다.

예시: 만약 현재까지 로봇이 단순 반복 작업만 했다면, 이 기술을 통해 복잡한 명령도 이해하고 수행할 수 있게 되어 생산 현장에서의 활용도가 크게 증가할 것입니다.

3. 현직자에게 물어볼 만한 질문
- 프로젝트에서 프론트엔드 개발자가 맡는 역할은 무엇이며, AI 로봇 시스템과의 인터페이스 개발 시 어떤 부분이 가장 도전적인가요? (예: 사용자 인터페이스(UI)와 데이터 시각화, 로봇 상태 실시간 모니터링 등)

- 제미나이 로보틱스와 같은 시스템과 연동되는 웹/모바일 애플리케이션 개발에서 사용하는 주요 기술 스택이나 프레임워크는 무엇인가요?

- AI 및 로봇 기술의 발전에 따라 프론트엔드 개발자로서 앞으로 어떤 역량(예: 실시간 데이터 처리, 3D 시각화 등)을 강화하는 것이 중요하다고 생각하시나요?