AI 대화가 갑자기 나빠질 때 — 새 창을 열 타이밍과 맥락 옮기는 법

긴 대화를 한 창에서 계속 이어 쓰다 보면 AI가 몇 턴 전에 한 말을 잊거나 갑자기 딴소리를 하는 순간이 옵니다. 언제 새 대화를 열고 무엇을 옮겨야 할까요.

결론부터 말하면, 대화가 그 모델의 **컨텍스트 창(한 번에 기억할 수 있는 양)**에 가까워질수록 앞부분부터 밀려나기 때문에 생기는 현상이에요. 방금 정한 규칙을 어기거나 이미 답한 걸 다시 묻기 시작하면 그게 새 창으로 옮길 신호고, 그때는 대화 전체가 아니라 핵심 결정사항만 요약해서 새 대화에 붙여넣는 게 가장 확실한 대처법입니다.

왜 갑자기 답이 나빠지나 — 컨텍스트 창이 찬다는 것

AI 모델은 대화를 나눌 때마다 지금까지 오간 말 전체를 다시 읽고 다음 말을 만들어요. 이때 한 번에 읽을 수 있는 양에는 한계가 있는데, 이걸 **컨텍스트 창(context window)**이라고 부르고 단위는 토큰(대략 단어 조각 하나)이에요.

대화가 길어져서 이 한도에 가까워지면 서비스마다 방식은 조금씩 다르지만, 대체로 가장 오래된 메시지부터 잘려나가거나 짧게 요약되어 버립니다. 방금 물어본 것과 처음에 정한 규칙이 물리적으로 같은 창 안에 다 안 들어가는 거예요. 쓰는 사람 입장에서는 “얘가 갑자기 왜 이러지” 싶지만, 실제로는 모델이 더 이상 앞부분을 보고 있지 않은 것에 가깝습니다.

“슬슬 새 창 열 때다” 신호 다섯 가지

아래 신호가 겹쳐서 나타나면 컨텍스트 창이 찼다고 의심해 볼 만해요.

• 몇 턴 전에 정한 규칙을 어긴다 — “존댓말로 써줘”, “표로만 정리해줘” 같은 지시를 앞에서 분명히 했는데 갑자기 안 지킨다
• 이미 알려준 정보를 다시 묻는다 — 파일 이름, 프로젝트 배경, 이름 표기법처럼 초반에 준 정보를 또 물어본다
• 같은 질문에 이전과 다른 답을 낸다 — 앞에서 정리해 준 결론과 지금 결론이 서로 모순된다
• 말투나 캐릭터가 갑자기 바뀐다 — 계속 반말로 가던 대화가 갑자기 존댓말로 바뀌거나, 앞에서 맡긴 역할(예: “편집자처럼 답해줘”)을 잊는다
• 앞에서 올린 파일 내용을 못 찾는다 — 대화 초반에 첨부한 파일을 언급하면 “그런 내용은 못 봤다”는 식으로 답한다

이 중 하나만으로는 우연일 수 있지만, 두세 개가 같이 나타나면 새 창으로 옮길 때가 된 거예요.

새 대화로 넘어갈 때 옮겨야 하는 것

대화를 통째로 복사해서 새 창에 붙이면 다시 금방 찹니다. 옮길 건 이거예요.

1. 지금까지 확정된 결론 — 정한 방향, 숫자, 이름 같은 결과물만
2. 앞으로 지켜야 할 규칙 — 말투, 형식, 하지 말아야 할 것
3. 다음에 할 일 — 어디까지 했고 무엇이 남았는지 한 줄
4. 원본 자료 — 대화 중 붙여넣은 텍스트가 아니라 원래 파일을 다시 첨부

번거로우면 창을 닫기 전에 AI한테 직접 요약을 시켜 보세요. “이 대화에서 결정된 것과 남은 할 일만 5줄로 정리해줘”라고 하면 그 결과를 새 대화 맨 위에 붙여넣기만 하면 됩니다.

대화 밖에 맥락을 두는 기능 — 서비스별 정리

매번 요약해서 옮기는 게 귀찮다면, 애초에 배경 정보를 대화 밖에 저장해 두는 기능을 쓰는 방법도 있어요. 세 서비스 모두 이름과 방식이 다릅니다.

ChatGPT — 프로젝트

사이드바에서 New project를 눌러 이름을 정하면 만들어져요. 프로젝트 안에는 세 가지가 들어갑니다.

• 파일 — PDF, 스프레드시트, 이미지 같은 참고 자료
• 프로젝트 지침 — 프로젝트 설정의 “프로젝트 지침” 항목에 응답 방식을 적어 두면 그 프로젝트 안 모든 대화에 적용된다
• 대화들 — 프로젝트 안에서 만든 채팅이 자동으로 그 프로젝트에 저장된다

파일 개수는 요금제마다 다릅니다. 무료 5개, Go·Plus 25개, Pro·Edu·Business·Enterprise 40개고, 한 번에 올릴 수 있는 파일은 최대 10개예요(2026년 8월 확인, OpenAI 도움말 — ChatGPT 프로젝트 쓰기 ).

Claude — 프로젝트

계정 메뉴를 열어 Projects를 클릭하거나 Claude 프로젝트 화면 로 바로 들어가서 우측 상단 + New Project를 누르면 만들어져요. 프로젝트에는 이런 게 담깁니다.

• 프로젝트 지식 — 문서·텍스트·코드 파일을 업로드해 두면 그 프로젝트의 모든 대화가 참고한다
• 프로젝트 지침 — 톤이나 역할처럼 매번 반복 설명할 필요 없는 지시를 한 번만 적어 둔다
• 대화 기록 — 프로젝트마다 독립된 채팅 목록을 가진다

무료 계정도 프로젝트를 만들 수 있지만 최대 5개까지라는 제한이 있어요. Team·Enterprise 요금제는 조직 전체와 공유하거나 접근 권한을 나눠 설정할 수 있고요(2026년 8월 확인, Claude 고객센터 — 프로젝트 만들기·관리 , Claude 고객센터 — 프로젝트란 ).

Gemini — Gem

gemini.google.com 접속 → 사이드바 열기 → Gems 아이콘 클릭(안 보이면 설정 및 도움말 → Gems) → New Gem → 이름과 지침 입력 순서로 만듭니다. Gem에는 다음이 들어가요.

• 지침 — Gem이 항상 따를 역할과 규칙을 텍스트로 적는다
• 파일 — 로컬 파일이나 구글 드라이브 파일을 연결할 수 있고, NotebookLM 노트북도 연결할 수 있다
• 인용 표시 끄기 — 참고한 자료를 답변에 표시하지 않게 하는 옵션도 있다

요금제별로 Gem 생성 자체를 막는다는 내용은 공식 문서에서 확인하지 못했어요(2026년 8월 확인, Gemini 고객센터 — Gem 만들기 ). 다만 Google Labs 쪽에서 별도로 제공하는 “AI 미니앱” 형태의 Gems 만들기는 현재 컴퓨터·영어로만 만들고 편집할 수 있고, 모바일 앱이나 Gemini in Chrome에서는 아직 안 된다고 공식 문서에 적혀 있습니다(Gemini 고객센터 — Gem 지원 환경 ).

서비스별 컨텍스트 창 크기, 공식 문서 기준

프로젝트나 Gem을 만들어도 그 안의 대화 자체는 여전히 모델의 컨텍스트 창 한도를 따릅니다. 공식 문서에서 확인한 값은 아래와 같아요.

서비스	구분	컨텍스트 창	확인 시점 / 출처
Gemini 앱	무료 요금제	32,000 토큰	2026년 8월, Gemini 고객센터 — 컨텍스트 창
Gemini 앱	Google AI Plus	128,000 토큰	2026년 8월, 위와 동일
Gemini 앱	Google AI Pro · Ultra	1,000,000 토큰	2026년 8월, 위와 동일
Claude (API 기준)	Haiku 4.5 등	200,000 토큰	2026년 8월, Claude 문서 — 모델 개요
Claude (유료 채팅 요금제 공통)	Opus 4.8·4.7·4.6, Sonnet 4.6	500,000 토큰	2026년 8월, Claude 고객센터 — 유료 플랜 컨텍스트 창 크기
Claude (유료 채팅 요금제 공통)	Opus 5, Sonnet 5	1,000,000 토큰	2026년 8월, 위와 동일
ChatGPT Business/Enterprise	GPT-5.6 Luna·Terra	128,000 토큰	2026년 8월, OpenAI 도움말 — 모델별 한도
ChatGPT Business/Enterprise	GPT-5.6 Sol	272,000 토큰	2026년 8월, 위와 동일
ChatGPT (릴리즈 노트)	Thinking 모드 수동 선택 시	256,000 토큰(입력 128K+출력 128K)	2026년 2월 20일 갱신, OpenAI 도움말 — ChatGPT 릴리스 노트

표에서 보다시피 세 서비스는 컨텍스트 창을 매는 기준이 서로 달라요. Gemini는 요금제에 컨텍스트 창이 딸려 있고, Claude는 어느 모델을 고르느냐(Opus 5·Sonnet 5인지, 그 이전 모델인지)에 따라 갈리며, ChatGPT는 어느 모델과 어느 모드(Instant·Thinking)를 쓰느냐에 걸려 있어요.

ChatGPT의 일반 소비자용 Free·Plus·Pro 요금제 각각의 정확한 토큰 수는 여러 도움말 문서를 뒤졌지만 한 페이지에 정리된 공식 표를 찾지 못했어요. 인터넷에 떠도는 수치(무료 8K16K, Plus 32K, Pro 128K 등)는 자료마다 조금씩 달라서, 지금 쓰는 모델의 정확한 한도가 궁금하면 ChatGPT 안에서 모델 이름 옆 정보 아이콘을 확인하시는 게 가장 정확합니다. Claude 무료 요금제의 정확한 토큰 수도 공식 문서에서 별도로 확인하지 못했어요 — 위 표의 200K1M 수치는 모두 유료 채팅 요금제 기준입니다.

안 되는 경우

• ChatGPT 무료 요금제는 프로젝트는 만들 수 있지만 파일을 5개까지만 넣을 수 있어요. 자료가 그보다 많으면 Go나 Plus로 올려야 합니다(2026년 8월 확인).
• Claude 무료 계정은 프로젝트 자체는 되지만 최대 5개까지고, 프로젝트 지식이 많아져 자동으로 검색 방식(RAG)으로 확장되는 기능은 유료 요금제에서만 열려요.
• Gemini의 “Gems from Labs” AI 미니앱 만들기는 현재 컴퓨터·영어 환경에서만 되고, 모바일 앱이나 Gemini in Chrome에서는 만들거나 고칠 수 없다고 공식 문서에 적혀 있어요.
• 프로젝트·Gem에 파일을 올려도 그 파일 전체가 매 대화마다 통째로 들어가는 게 아니라 필요한 부분만 찾아 오는 방식이라, 대화 자체가 길어지면 결국 같은 문제(앞부분이 밀려나는 것)가 다시 생길 수 있어요.

이럴 땐 쓰지 마라

한두 번 물어보고 끝나는 짧은 질문이라면 프로젝트나 Gem을 새로 만들 필요는 없어요. 그냥 새 대화를 여는 것만으로 충분하고, 매번 프로젝트부터 만들면 오히려 관리할 것만 늘어납니다.

✔ 요약

• 답이 나빠지는 건 대부분 컨텍스트 창(한 번에 기억하는 양)이 찬 것
• 규칙 위반, 재질문, 모순된 답, 말투 변화가 겹치면 새 창으로 옮길 신호
• 새 대화에는 전체 대화가 아니라 결론·규칙·다음 할 일만 요약해서 옮긴다
• ChatGPT 프로젝트, Claude 프로젝트, Gemini Gem은 배경 정보를 대화 밖에 저장하는 기능
• Gemini는 요금제별 컨텍스트 창(무료 32K, Plus 128K, Pro·Ultra 1M)이 가장 명확히 공개돼 있다(2026년 8월 확인)
• Claude는 모델별로 200K·500K·1M이 갈리고, 무료 요금제 수치는 공식 문서에서 확인 못함(2026년 8월 확인)
• ChatGPT는 소비자 요금제별 정확한 토큰 표를 공식 문서에서 찾지 못함, 서비스 내 정보 아이콘으로 직접 확인 권장(2026년 8월 확인)
• 확인한 공식 문서: Claude 문서 — 모델 개요 , Claude 고객센터 — 유료 플랜 컨텍스트 창 크기 , Gemini 고객센터 — 컨텍스트 창 , OpenAI 도움말 — ChatGPT 프로젝트 쓰기