챗GPT와 같은 언어 모델은 문장의 패턴을 파악해 다음에 올 단어를 예측하는데요. Quiet-STaR는 언어 모델이 다음에 나올 단어를 예측하기 위해 단어마다 추론을 생성하도록 모델을 학습시키는 방법이에요.

Quiet-STaR 기술의 세 가지 단계를 살펴볼까요?

1. 병렬 추론 생성: 우선 입력 문장 속 각 토큰, 즉 단어마다 추론하여 뒤에 올 텍스트를 예측하고, 이를 설명하는 과정을 병렬로 수행한다.
   
   
2. 후속 추론 & 기본 예측 혼합: 단어마다 추론한 정보를 활용하여 다음 단어를 예측하는 가중치를 조절하는 방법을 배운다. 추론 정보와 언어 모델의 기본 예측을 혼합하여 뒤에 올 단어를 더 정확히 예측할 수 있다.
   
   
3. 추론 생성 최적화: 다음 단어를 더 정확히 예측하기 위해 학습 기준을 최적화한다.

Quiet-STaR 알고리즘 시각화. 출처: Quiet-STaR 논문

1. 생각하기(Think): 텍스트 속 모든 토큰마다 내부적인 '생각(thought)'을 생성합니다. 토큰 하나하나 Thought0,1,2… 이런 식으로 생각이 생성된 모습을 볼 수 있죠.
   
   
2. 말하기(Talk): Thought0,1,2…와 같이 '생각'을 생성하여 추론했거나 없이 추론한 내용을 혼합해 하나를 선택하여 실제 출력으로 변환합니다.
   
   
3. 배우기(Learn): 다음에 올 단어를 더 정확히 예측하는 데 도움이 되는 생각은 보상을 주고, 해가 되는 생각은 버립니다. 이를 통해 점점 기준이 최적화됩니다.

Quiet-STaR로 학습한 언어 모델을 사용하여 GSM8K**와 CommonsenseQA*** 데이터셋의 문제를 풀어보았습니다. 그것도 예습 없이 문제를 푸는 ‘제로샷 학습’ 방식으로 말이죠.

**GSM8K: Grade School Math 8K의 약자로, 초등학교 수준의 8,000개 수학 문제를 모은 데이터셋

**CommonsenseQA: 상식에 기반한 질문과 여러 선택지를 포함하는 질문응답 데이터셋

X-축은 훈련 단계, y-축은 정확도를 뜻합니다. 선의 색깔을 정하는 #Thought, Ahead Tokens는 생성된 생각의 수와 추론한 단어의 수를 의미하고요. 생각을 다양하게, 그리고 멀리하는 모델(빨간 선)이 전반적으로 정확도 높은 답변을 제공했습니다.

즉, Quiet-STaR를 통해 최적화 된 기준으로 학습한 언어 모델은 실제로 더욱 정확한 추론을 할 수 있다는 연구 결과입니다.