세상을 물리적으로 이해하는 AI는 주변 환경의 맥락을 파악하고, 그 정보를 바탕으로 유용하고 정확한 결정을 내릴 수 있어야 합니다. 단순한 데이터 처리나 패턴 인식을 넘어서서 사람처럼 환경을 '인식'하고 '반응'할 수 있어야 하지요. 여기에는 몇 가지 중요한 요소들이 포함됩니다.

‘체화된’ 질문 응답(EQA)을 연구하기 위해, 메타는 OpenEQA라는 새로운 벤치마크 데이터셋을 개발하여 AI의 실제 환경 이해 능력을 평가했습니다. 이 벤치마크는 180개의 실제 환경에서 수집된 1,600개 이상의 질문을 포함하고 있는데요. AI가 단순한 정보 처리를 넘어 실제 환경에서 유용하게 작동할 수 있는지를 평가합니다.

OpenEQA는 두 가지 주요 시나리오, 즉 에피소드 기억(Episodic Memory)과 활동적 탐험(Active Exploration)을 중심으로 설계되었습니다.

• 에피소드 기억:
  AI는 사용자가 착용하는 스마트 안경과 같은 기기에서 수집된 과거의 관찰 데이터를 기반으로 질문에 답합니다. 예를 들어, "내가 냉장고 문을 닫았던가?"라는 질문에 AI는 "아이고, 냉장고 문 연 채로 둔 것 같네요."라고 답할 수 있어요.

• 활동적 탐험:
  AI는 이동 로봇과 같이 자율적으로 환경을 탐색하면서 필요한 정보를 수집하여 질문에 답할 수 있습니다. 예를 들어, "집에 남은 과일이 있나?"라는 질문에 로봇은 집안을 탐색한 후 "네, 식탁 위에 숙성된 바나나가 있습니다."라고 답할 수 있지요.

AI가 일상적인 환경에서 활용될 수 있는 다양한 시나리오를 통해 실제 사용자의 필요에 부응할 수 있는지를 알아볼 수 있습니다.