Agentic AI 탐구일지 3편: Thought 단계? AI가 어떻게 생각하고 계획하는건데?

출처: https://www.kaggle.com/whitepaper-introduction-to-agents

생각(Thought) → 행동(Act) → 관찰(Observe)의 단계에서 AI Agent의 내부 작동 방식인 추론, 계획하는 능력을 살펴보자. 

 

Thought

생각하는 과정은 현재의 상태를 보고 다음에 할 행동을 결정하는데에 꼭 필요한 단계이다. AI Agent 는 이 과정 속에서 복잡한 문제를 더 작게 만들고 쉬운 단계로 나누어 계획을 세운다. 

 

Thought Type (사고 유형)	예시
Planning (기획)	이 작업을 세 단계로 나눠야 한다: 1) 데이터 수집, 2) 트렌드 분석, 3) 보고서 작성
Analysis (분석)	오류 메시지를 보니 문제는 데이터베이스 연결 파라미터에 있는 것 같다
Decision Making (의사결정)	사용자의 예산 제약을 고려하면 중간 수준 옵션을 추천해야겠다
Problem Solving (문제 해결)	이 코드를 최적화하려면 먼저 프로파일링을 해서 병목 지점을 찾아야 한다
Memory Integration (기억 통합)	사용자가 전에 파이썬을 선호한다고 했으니 파이썬 예시로 설명해야겠다
Self-Reflection (자기 성찰)	방금 썼던 접근 방식은 잘 먹히지 않았으니 다른 전략을 시도해 봐야겠다
Goal Setting (목표 설정)	이 작업을 완료하려면 먼저 수용 기준을 명확히 정해야 한다
Prioritization (우선순위 결정)	새 기능을 추가하기 전에 보안 취약점을 먼저 해결해야 한다

 

AI Agent의 내부 생각 단계들은 다음과 같이 나뉜다. 위 표는 허깅페이스 AI Agent 코스에서 가져온 사고유형 표이다.

가장 먼저 어떤 걸 먼저할지 순서를 정한 후 → 문제를 보고 원인을 파악하고 → 조건을 확인한 후 어떤 선택이 최적의 선택인지 판단한다. → 이때 사용자가 이전에 말한 내용을 참고해 답변을 조정하고 → 현재 접근이 효과적이지 않으면 전략을 변경하는 과정까지 거치게 된다. 

(하지만 AI Agent가 항상 저렇게 생각한다. 라고 이해하기엔 무리가 있다고 생각한다. 해당 사이트에서도 사고 과정은 선택 사항이라고 언급한다. 그냥 보통 저런 사고 유형으로 나눌 수 있고 저런 종류의 과정이 개념적으로 일어난다.. 라고 이해했다.)

 

그럼 여기서 질문이 있을 수 있다. 

AI가 답을 내기 전에 어떻게 생각하게 만들 것일까?

1. CoT (Chain-of-Thought)

CoT는 프롬프트에 추론 과정을 추가하거나 “Let’s think step by step” 와 같은 말을 넣어서 모델이 답을 바로 내지 않고 계산 과정을 풀어쓰게 하는 방법이다. 

Question: What is 15% of 200?
Thought: Let's think step by step. 10% of 200 is 20, and 5% of 200 is 10, so 15% is 30.
Answer: 30

CoT의 특징은 모델을 finetuning 하지 않고도 논리 추론, 수학 추론과 같은 문제에 대한 성능 향상을 이끌어낸다는 것이다. 또한 외부 tool을 따로 사용하지는 않는다. 

 

2. ReAct

ReAct는 이름 그대로 Reasoning + Acting의 합성어이다. CoT와의 가장 큰 차이점은 모델이 단계별로 생각하고 추론 단계 사이에 tool을 사용하는 작업 등을 끼워넣도록 장려하는 프롬프트 기술을 말한다. 

과정은 다음과 같다. 

 

• Thought: 내가 지금 뭘 해야 하지? (생각)
• Action: 검색 / 툴 호출 등 (행동)
• Observation: 툴의 결과를 받음 (관찰)
• 다시 Thought… 이런 식으로 반복

Thought: 파리의 최신 날씨를 알아야 한다.
Action: Search["weather in Paris"]
Observation: 18도, 흐림
Thought: 이제 날씨를 알았으니 답할 수 있다
Action: Finish["파리는 18도에 흐립니다."]

 

 

단계별로 사고하는 것은 CoT와 비슷하지만 중간에 tool을 사용함으로써 정보를 탐색하거나 여러 번 뭔가를 조회해야 하는 작업에 잘 맞는다. 

	CoT	ReAct
단계별 추론	있음	있음
외부 도구 사용	없음	있음 (Action + Observation 구조)
잘 맞는 문제	논리, 수학, 내부 계산 문제	검색·API 호출 등 여러 단계를 밟는 작업

 

 

최근 Deepseek R1 이나 OpenAI의 o1 같은 모델들은 대답하기 전에 생각하도록 finetuning 된 모델들이다. 실제로 추론 단계나 최종 답변을 명확하게 구분하기 위해 <think>와 같은 구조화된 토큰을 사용한다고 한다. 

 

 

 

이를 통해 AI Agent가 어떻게 생각하고 추론하는지 알 수 있다. 

정리하자면 Thought 단계에서 여러 유형의 사고 패턴을 거치고 CoT나 ReAct 같은 기법을 통해 의도적으로 생각 과정을 먼저 거치게 할 수 있는 것이다. 또한 최신 모델들은 추론데이터로 학습까지 되기 때문에 이러한 방식으로 AI Agent가 생각하고 추론할 수 있게 된다는 것을 이해하면 된다. 

 

이 과정을 진정한 추론으로 볼 수 있냐 없냐에 대해서 말이 많지만 필자의 생각은 다음과 같다. 
LLM은 확률적으로 다음 단어를 예측한다. 즉, 주어진 문맥이나 앞 문맥을 보고 다음에 올 토큰을 가장 그럴듯하게 예측하는 모델인 것이다. 때문에 이를 넓게 보면 추론한다고도 할 수 있을 것이고 좁게 보면 그냥 생각하는 것처럼 보이는 거라고도 할 수 있을 것 같다. 또한 최신 모델들의 경우 대량의 학습 데이터 속에서 문제 분석 방식, 단계별 추론 방식, 계획을 세우는 방식 등과 같은 사고 패턴이 포함되어 있기 때문에 이런 추론 형식을 배우고 따라하면서 문제를 풀 수 있게 된다. 
즉, 입력이 들어오면 확률적으로 추론 패턴을 따라 단계를 생성하게 되고 문제 해결 형태를 재구성하게 되는 것이다. 뭔가 실제로 인간처럼 의식적으로 사고를 한다는 느낌으로 보기는 어려울 것 같다는 생각을 했다.