← 글 목록

2026년 10월 19일

사용자 편의를 위한 LLM 대화 저장 도입

사용자 편의성을 위해 LLM과 대화한 내용을 저장하여 추후 질문에 대한 답변에 적합성을 확보하는 과정을 정리했습니다.

LLMContext단기기억ChatbotProject

사용자 편의를 위한 LLM 대화 저장 도입: 컨텍스트 압축을 도입

왜 이 생각이 필요했나

동숲 프로젝트 챗봇에 적용한 모델은 gpt-oss:20b입니다. 오픈소스로 제공되는 모델이지만 무겁고 OCI 환경에서 사용하기에 부담이 있었습니다.

초기 프로젝트 구성 시 챗봇은 단일 답변에 대한 학교 공식 정보만 대답하자는 방식으로 크기를 작게 잡았습니다. 하지만 사용자 편의성 측면에서 생각해 보니 답변을 새롭게 다시해야 한다는 문제가 발생했습니다.

예를 들어 사용자가 “졸업학점 알려줘”라고 질문한 뒤 “그럼 컴퓨터소프트웨어공학과는?“이라고 추가로 질문하면 기존 구조에서는 이전 질문과의 연관성을 파악하기 어려웠습니다.

이를 해결하기 위해 두 가지 방향을 고민했습니다.

첫 번째는 이전 대화 내용을 요약하고 압축하여 저장하는 방식이고, 두 번째는 바로 앞 질문과 답변만 저장하여 다음 질문에 활용하는 방식입니다.


컨텍스트 압축

먼저 gpt-oss:20b 모델이 처리할 수 있는 컨텍스트 길이를 확인했습니다.

GPT-OSS 20B 모델의 기본 컨텍스트 창(Context Window) 최대 길이는 128k(정확히는 131,072 토큰)입니다.

하지만 모델이 지원하는 최대 컨텍스트 길이와 실제 서버에서 안정적으로 처리할 수 있는 길이는 다르다고 생각했습니다.

현재 동숲 프로젝트 OCI 환경에서 제한된 CPU와 메모리 자원을 사용하고 있습니다. 이러한 환경에서 이전 대화 내용을 계속 누적하여 전달하면 입력 토큰 수가 증가하고, 이에 따라 추론에 필요한 연산량과 메모리 사용량이 증가하는 문제점이 있었습니다.

특히 동숲 챗봇은 RAG 기반으로 동작하기 때문에 사용자 질문뿐만 아니라 검색된 학교 공식 문서도 함께 LLM에 전달해야 합니다.

따라서 대화 기록이 길어질수록 검색 문서에 사용할 수 있는 컨텍스트 공간이 줄어들고 이는 답변 생성에 영향을 줄 가능성도 있었습니다.

이에 컨텍스트 압축을 다음과 같이 가정하여 요약하는 방식을 사용하였습니다.

  • 사용자: “졸업학점 알려줘”
  • 챗봇: “졸업에 필요한 학점은 학제와 학과에 따라 달라질 수 있습니다.”
  • 사용자: “컴퓨터소프트웨어공학과는?”
  • 챗봇: “컴퓨터소프트웨어공학과의 졸업학점을 확인하겠습니다.”

사용자는 동양미래대학교 졸업학점에 관심이 있으며, 현재 컴퓨터소프트웨어공학과의 졸업 요건을 확인하고 있다.“

이를 통해 이전 대화의 핵심 맥락은 유지하면서 LLM에 전달하는 토큰 수를 줄일 수 있다고 판단했습니다.


적용 방식

인프라 : OCI(Oracle Cloud Infrastructure) 사용 구성 : 인스턴스 1개, Docker 컨테이너 기반 운영 컨테이너 : Ollama 컨테이너 생성 후 모델 가동 모델 : gpt-oss:20b 대화 관리 : 채팅 세션 기반 단기 기억 및 컨텍스트 압축

기존 챗봇은 사용자가 질문하면 RAG 검색을 수행하고, 검색된 학교 공식 문서를 기반으로 답변을 생성하는 구조였습니다.

하지만 이전 대화 내용을 기억하지 못했기 때문에 사용자가 연속적으로 질문하더라도 각각의 질문을 독립적으로 처리해야 했습니다.

이를 해결하기 위해 채팅 세션을 기준으로 대화 내용을 기억하는 방식을 도입했습니다.

사용자가 채팅창을 유지하는 동안에는 이전 질문과 답변을 기억하고 채팅창을 나가면 해당 대화 기록을 초기화하는 구조입니다.

별도의 장기 기억을 유지하는 방식이 아니라, 현재 채팅에서 필요한 대화 맥락만 일시적으로 관리하도록 구성했습니다.

전체 처리 과정은 다음과 같습니다.

  1. 사용자가 채팅을 시작하면 대화 세션 생성
  2. 사용자의 질문과 이전 대화 기록을 함께 관리
  3. 이전 대화 맥락을 활용하여 현재 질문 해석
  4. RAG를 통해 관련 학교 공식 문서 검색
  5. 검색 문서와 대화 맥락을 LLM에 전달
  6. 생성된 답변을 현재 세션의 대화 기록에 추가
  7. 설정한 압축 조건을 초과하면 컨텍스트 압축
  8. 사용자가 채팅창을 나가면 대화 기록 초기화

여기서 가장 중요하게 고려한 부분은 대화 기록을 얼마나 유지할 것인가였습니다.

모든 대화를 그대로 누적하면 사용자 편의성은 개선할 수 있지만, 질문이 많아질수록 LLM에 전달되는 토큰 수도 증가하게 됩니다.

특히 현재 사용 중인 gpt-oss:20b는 OCI 환경에서 운영하기에 부담이 있었기 때문에 대화 기록이 무한정 증가하지 않도록 관리할 필요가 있었습니다.

따라서 특정 토큰 수를 초과하거나 사용자 질문이 6회를 초과하면 컨텍스트를 압축하는 방식을 적용했습니다.

테스트 케이스는 다음과 같이 구성했습니다.

  1. 학생성공지원팀 전화번호 알려줘
  2. 그 부서의 담당 업무도 알려줘
  3. 호텔관광학과 담당자 연락처 알려줘
  4. 그럼 학과 사무실 위치는?
  5. 졸업식은 언제야?
  6. 졸업학점 알려줘
  7. 아까 물어본 학생성공지원팀 전화번호 다시 알려줘

위 테스트에서는 동일한 채팅창에서 여러 질문을 진행하면서 이전 대화의 맥락을 얼마나 유지하는지 확인하는 것을 목표로 했습니다.

특히 7번 질문은 질문 횟수에 따른 압축 조건을 초과하는 상황이기 때문에, 압축 이후에도 이전 대화의 핵심 내용을 참고할 수 있는지가 중요했습니다.

결론 : 채팅 세션을 유지하는 동안에는 이전 대화의 맥락을 활용하고, 채팅창을 나가면 기록을 초기화하도록 구성했습니다. 또한 일정 토큰 수 또는 질문 횟수 기준을 초과하면 컨텍스트를 압축하여 대화의 연속성과 제한된 서버 자원 사이의 균형을 맞추고자 했습니다.


컨텍스트 압축을 위해 선택한 개선 방향

1. 채팅 세션 기반 대화 기록 관리

2. 토큰 수와 질문 횟수를 기준으로 한 컨텍스트 압축


1. 채팅 세션 기반 대화 기록 관리

대화 기록을 저장하면서 가장 먼저 고민한 부분은 이전 대화 내용을 언제까지 유지할 것인가였습니다.

사용자 편의성을 위해 이전 대화를 기억하는 기능은 필요했지만, 모든 대화 내용을 장기간 저장하는 것은 현재 서비스 목적에 비해 불필요하다고 판단했습니다.

동숲 챗봇은 학교 공식 정보를 제공하는 서비스이기 때문에 사용자가 하나의 채팅창에서 여러 질문을 이어가는 상황에 대응하는 것이 우선이었습니다.

따라서 채팅 세션을 기준으로 대화 기록을 관리하도록 구성했습니다.

사용자가 채팅창을 유지하는 동안에는 이전 질문과 답변을 기억하여 후속 질문에 활용하고, 채팅창을 나가면 해당 세션의 대화 기록을 초기화하는 방식입니다.

예를 들어 사용자가 다음과 같이 질문한다고 가정했습니다.

  • 사용자: “학생성공지원팀 전화번호 알려줘”
  • 챗봇: “학생성공지원팀 연락처는 …”
  • 사용자: “그럼 담당 업무는?”

기존 구조에서는 마지막 질문에 어떤 부서의 담당 업무를 묻는 것인지 파악하기 어려웠습니다.

하지만 세션 내 대화 기록을 유지하면 이전 질문에서 언급한 학생성공지원팀을 참고하여 사용자의 질문 의도를 파악할 수 있습니다.

반면 사용자가 채팅창을 나갔다가 새로운 채팅을 시작하면 이전 대화 기록은 유지하지 않도록 했습니다.

이를 통해 다음과 같은 장점을 얻을 수 있었습니다.

  • 동일한 채팅에서 이전 질문의 맥락 유지
  • 후속 질문에 대한 자연스러운 답변 생성
  • 채팅 종료 시 불필요한 대화 기록 초기화
  • 장기적인 대화 기록 관리에 따른 복잡성 감소

다만 채팅 세션을 기준으로 기록을 관리하더라도 하나의 채팅이 길어질수록 대화 내용이 계속 누적된다는 문제가 있었습니다.

이를 해결하기 위해 컨텍스트 압축을 함께 적용했습니다.

2. 토큰 수와 질문 횟수를 기준으로 한 컨텍스트 압축

컨텍스트 압축을 적용하면서 가장 중요하게 고려한 부분은 압축을 수행하는 시점이었습니다.

매번 질문이 들어올 때마다 이전 대화를 압축하면 불필요한 연산이 발생하고, 반대로 압축하지 않으면 대화가 길어질수록 입력 토큰 수가 증가하는 문제가 있었습니다.

따라서 두 가지 조건을 기준으로 컨텍스트 압축을 수행하도록 구성했습니다.

첫 번째는 토큰 수를 기준으로 한 압축입니다.

이전 대화 기록의 누적 토큰 수가 설정한 임계값을 초과하면 컨텍스트 압축을 수행하는 방식입니다.

gpt-oss:20b의 최대 컨텍스트 길이는 128K이지만, 실제 OCI 환경에서 해당 길이를 모두 사용하는 것은 부담이 크다고 판단했습니다.

특히 RAG 기반 챗봇은 사용자 질문뿐만 아니라 검색된 학교 공식 문서도 함께 전달하기 때문에 대화 기록에 사용할 수 있는 토큰 수를 제한할 필요가 있었습니다.

따라서 설정한 토큰 수를 초과하면 이전 대화의 핵심 내용을 압축하여 입력 크기를 줄이도록 했습니다.

두 번째는 질문 횟수를 기준으로 한 압축입니다.

토큰 수가 설정한 임계값을 초과하지 않더라도 사용자 질문이 6회를 초과하면 컨텍스트 압축을 수행하도록 구성했습니다.

질문이 짧더라도 여러 차례 대화가 반복되면 이전 질문과 답변이 누적되기 때문입니다.

예를 들어 사용자가 짧은 질문을 여러 번 반복하는 경우 개별 질문의 토큰 수는 적지만, 전체 대화 기록은 점차 길어질 수 있습니다.

따라서 토큰 수뿐만 아니라 질문 횟수도 함께 확인하도록 했습니다.

압축 조건은 다음과 같습니다.

  • 누적 토큰 수가 설정한 임계값을 초과한 경우
  • 사용자 질문 횟수가 6회를 초과한 경우

두 조건 중 하나라도 충족하면 컨텍스트 압축을 수행하도록 구성했습니다.

이렇게 두 가지 기준을 함께 사용한 이유는 단순히 토큰 수만 확인하는 방식보다 다양한 대화 상황에 대응하기 위해서였습니다.

특히 사용자가 짧은 질문을 여러 번 반복하는 상황과 한 번에 긴 질문을 입력하는 상황을 모두 고려할 수 있었습니다.

이를 통해 대화의 맥락은 유지하면서도 LLM에 전달되는 입력 토큰 수가 과도하게 증가하지 않도록 관리했습니다.


적용하면서 고려한 점

컨텍스트 압축을 도입하면서 가장 중요하게 고려한 부분은 제한된 인프라 환경에서 실제 서비스 가능한 수준인가였습니다.

현재 동숲 프로젝트는 OCI 환경에서 Ollama 기반 LLM을 운영하고 있기 때문에 입력 토큰 수가 증가하면 추론에 필요한 연산량과 메모리 사용량이 증가할 수 있습니다.

또한 컨텍스트 압축을 수행하는 과정에서도 추가적인 연산이 발생하기 때문에 무조건 자주 압축하는 것이 좋은 방법은 아니라고 판단했습니다.

따라서 토큰 수와 질문 횟수라는 두 가지 기준을 설정하여 필요한 상황에서만 압축하도록 구성했습니다.

또한 다음과 같은 부분도 함께 고려했습니다.

  • 압축 과정에서 이전 대화의 핵심 정보가 누락되는 문제
  • 짧은 질문이 반복되는 상황에서 대화 기록이 누적되는 문제
  • 긴 질문이나 답변으로 인해 토큰 수가 빠르게 증가하는 문제
  • 이전 대화 기록이 실제 학교 공식 정보와 충돌하는 문제

특히 동숲 챗봇은 학교 공식 정보를 제공하는 RAG 기반 서비스이기 때문에 이전 대화 기록을 그대로 답변의 근거로 사용하는 것은 적절하지 않다고 판단했습니다.

따라서 이전 대화 내용은 사용자의 질문 의도를 파악하는 데 활용하고, 실제 답변은 RAG를 통해 검색된 학교 공식 문서를 기반으로 생성하도록 역할을 구분했습니다.

또한 채팅창을 나가면 대화 기록을 초기화하도록 구성하여 현재 대화에 필요하지 않은 정보를 계속 유지하지 않도록 했습니다.


결과와 기대 효과

이번 개선을 통해 기존의 단일 질문 중심 챗봇에서 동일한 채팅 세션 내의 대화 맥락을 활용할 수 있는 구조로 변경했습니다.

기존에는 사용자가 후속 질문을 하더라도 이전 질문의 내용을 다시 설명해야 했지만, 세션 기반 대화 기록을 활용하면서 이전 질문을 참고할 수 있도록 했습니다.

또한 채팅창을 나가면 대화 기록을 초기화하도록 구성하여 서로 다른 채팅의 맥락이 혼합되지 않도록 했습니다.

여기에 토큰 수와 질문 횟수를 기준으로 한 컨텍스트 압축을 적용하면서 다음과 같은 효과를 기대할 수 있었습니다.

  • 동일한 채팅에서 연속적인 질문 처리
  • 이전 질문을 반복해서 입력해야 하는 불편함 감소
  • 대화 기록의 불필요한 누적 방지
  • 입력 토큰 수 관리
  • 제한된 OCI 환경에서의 자원 사용 부담 완화

특히 토큰 수와 질문 횟수를 함께 기준으로 사용하면서 짧은 질문이 반복되는 상황과 긴 대화가 발생하는 상황을 모두 고려할 수 있었습니다.

다만 컨텍스트 압축이 항상 응답 속도를 개선하는 것은 아닙니다.

압축 과정에서 추가적인 연산이 발생하기 때문에 실제 성능 개선 여부는 압축 전후의 입력 토큰 수와 응답 시간을 비교하여 확인할 필요가 있습니다.

이번 개선에서는 단순히 응답 속도를 줄이는 것보다 제한된 서버 환경에서 대화의 연속성을 유지하면서 컨텍스트 크기를 관리하는 것에 중점을 두었습니다.


배운 점

이번 경험을 통해 LLM 기반 챗봇에서 대화 내용을 기억하는 기능은 단순히 이전 질문과 답변을 저장하는 것으로 끝나지 않는다는 것을 배웠습니다.

처음에는 이전 대화를 저장하고 다음 질문에 함께 전달하면 사용자 편의성을 개선할 수 있다고 생각했습니다.

하지만 실제 운영 환경을 고려해 보니 대화 기록이 길어질수록 입력 토큰 수가 증가하고, 제한된 서버 환경에서는 응답 속도와 메모리 사용량에 부담이 될 수 있다는 문제가 있었습니다.

이를 해결하기 위해 채팅 세션을 기준으로 대화 기록을 관리하고, 토큰 수와 질문 횟수를 기준으로 컨텍스트 압축을 수행하는 방식을 적용했습니다.

특히 압축 조건을 하나의 기준으로만 설정하기보다 서로 다른 두 가지 기준을 함께 사용하는 것이 다양한 대화 상황을 관리하는 데 적합하다고 판단했습니다.

또한 RAG 기반 챗봇에서는 이전 대화의 맥락을 유지하는 것과 정확한 정보를 제공하는 것을 구분해야 한다는 점도 알게 되었습니다.

이전 대화는 사용자의 질문 의도를 이해하는 데 활용할 수 있지만, 실제 답변의 정확성은 검색된 공식 문서를 기반으로 확보해야 하기 때문입니다.

결국 중요한 것은 LLM이 얼마나 많은 대화를 기억하는지가 아니라, 제한된 서버 자원 안에서 필요한 대화 맥락을 얼마나 효율적으로 유지하고 활용할 수 있는가였습니다.

동숲 프로젝트를 통해 사용자 편의성을 개선하는 과정에서도 모델의 컨텍스트 길이, 토큰 사용량, 압축 시점, 인프라 환경을 함께 고려해야 한다는 것을 배웠습니다.