UCLA, 앨런 AI 연구소, 프린스턴 대학 등 각지에서 모인 연구진은 맥가이버처럼 비범한 방식으로 해결해야 하는 문제 1,600개로 데이터셋을 구성했습니다. 데이터셋 이름은 역시나 '맥가이버'로 지었지요.

1,600개의 문제는 어떤 방식으로 만들었는지 먼저 살펴보겠습니다.

맥가이버 데이터셋 질문 생성 방식. 출처: MacGyver 논문

1. 기본 시나리오 생성
   길고 좁은 쿠키 통, 젓가락 한 쌍, 테이프 한 롤, 고무줄 몇 개, 그리고 부엌 집게 하나가 있습니다. 쿠키통 입구는 손이 들어가기에 너무 좁고, 젓가락은 쿠키 통보다 길이가 살짝 짧습니다. 주어진 물건으로 어떻게 쿠키를 꺼낼 수 있을까요?
   
   
2. LLM의 답변("부엌 집게를 쓰세요!")에 기반한 제약 추가
   이 집게도 쿠키 통보다 길이가 살짝 짧습니다.
   
   
3. 혼란을 주기 위한 추가 도구 제공
   길고 좁은 쿠키 통, 짧은 실, 플라스틱 빨대 하나, 부엌 집게 하나, 냅킨 몇 장, 젓가락 한 쌍, 테이프 한 롤, 고무줄 몇 개, 그리고 자석 하나가 있습니다. 쿠키 통 입구는 손이 들어가기에 너무 좁고, 젓가락과 부엌 집게 모두 쿠키 통보다 길이가 살짝 짧습니다. 주어진 물건으로 어떻게 쿠키를 꺼낼 수 있을까요?

이렇게 만들어진 문제를 각각 LLM과 사람이 풀어봤는데요. 어떤 해답을 내놓았는지 보겠습니다.

LLM이 알려준대로 하면 반죽을 미는 데 한참 걸리겠군요🤔 다른 문제도 살펴볼까요?

이번에는 인간이 식물을 지켜내는 데 실패하게 생겼습니다. 맥가이버 데이터셋 문제들을 호락호락하지 않습니다.

1. 잘못된 도구 사용
   물리적으로 사용이 불가한 방식으로 도구를 사용한다.
   예) 부서진 유리 위에 청테이프를 스테이플러로 찍는 행위
   
   
2. 목적 미달성
   명시한 목적에 비해 불필요하거나 부적절한 단계를 제안한다.
   예) 짐을 쌀 때 공간을 활용하기 위해, 가위로 이불을 작게 자르는 행위
   
   
3. 명시하지 않은 도구 사용
   
   
4. 잘못 된 공간 이해
   예) 신발 박스를 빈 DVD 케이스 안에 넣는 행위
   
   
5. 제약 무시
   도구나 상황에 포함된 제약을 무시한다.