▲ 서울공대 컴퓨터공학부 송현오 교수팀, LLM 챗봇 ‘대화 메모리’ 3~4배 압축하는 AI 기술 개발(왼쪽부터 서울대학교 컴퓨터공학부 송현오 교수, 김장현 연구원, 이덕재 연구원, 문승용 연구원, 김진욱 연구원) [출처=서울대학교 공과대학]서울대(총장 유홍림) 공과대학(학장 김영오)에 따르면 컴퓨터공학부 송현오 교수 연구팀이 장문 대화 및 문서 요약 등 긴 맥락(context)이 전제되는 작업에서 거대언어모델(LLM) 기반 챗봇의 ‘대화 메모리’를 지능적으로 압축하는 AI 기술 ‘KVzip’을 개발했다.‘대화 메모리’는 챗봇이 사용자와 대화 중 문장, 질문, 응답 등의 맥락을 임시로 저장해 현재 혹은 이후의 응답 생성에 활용하는 정보를 말한다.KVzip을 활용하면 챗봇이 스스로 문맥을 복원하는 과정에서 복원에 필요하지 않은 정보를 제거함으로써 대화 메모리를 효율적으로 압축할 수 있다.이 획기적 기술은 다양한 태스크를 수행하는 챗봇의 정확도는 유지하되 대화 메모리는 줄이고 답변 생성 시간은 단축할 수 있는 길을 열었다는 평가를 받고 있다.‘KVzip: Query-Agnostic KV Cache Compression with Context Reconstruction’ 제하의 이번 논문은 H5-index 371을 기록한 AI 분야의 세계 최고 권위 학회 ‘NeurIPS 2025’에 제출된 논문 2만1575편 중 0.35퍼센트(%)에 해당하는 상위 77편에 선정, 구두 발표(Oral Presentation) 대상으로 채택됐다.H5-index는 Google Scholar가 집계한 논문 인용 기반 학술 영향력 지수를 의미한다.◇ 연구 배경... 대화가 길어질수록 ‘대화 메모리’가 누적돼 메모리 비용 증가 및 응답 지연의 문제 발생최신 LLM 챗봇은 수백에서 수천 페이지에 달하는 방대한 문맥을 바탕으로 대화, 코딩, 질의응답 등의 작업

▲ 솔트웨어 로고[출처=솔트웨어]솔트웨어(대표이사 이정근)에 따르면 2024년 10월10일부터 3일 동안 코엑스에서 열리는 ‘디지털 혁신 페스타 2024’에서 AI 챗봇 서비스 ‘사피봇(Sapie Bot)’을 소개한다.사피봇은 기업형 AI 챗봇 서비스로, 클라우드와 온프레미스 환경에서 모두 사용할 수 있는 거대언어모델(LLM) 기반 생성형 AI 솔루션이다.클라우드용은 앤스로픽 LLM ‘클로드 3.5 소네트’ 기반으로 개발했으며 온프레미스용은 솔트웨어가 자체 구축한 sLLM을 기반으로 고객사에 맞춤형으로 제공한다.또한 기업 내부 데이터를 활용하기 때문에 별도 모델 학습 없이도 정확한 정보를 제공한다. 검색증강생성(RAG) 기술을 적용해 데이터 유출 위험 및 할루시네이션을 최소화했다.다양한 포맷의 데이터를 처리하는 멀티모달 기능을 지원한 사피봇은 특히 코드 없이 쉽게 관리할 수 있는 사용자 친화 인터페이스를 제공해 AI 전문 지식 없이도 쉽게 사용할 수 있다.솔트웨어의 사피봇은 이미 국내 한 유통사와 대학에 구축돼 사용되고 있다. 해당 유통사는 기존 시나리오 기반 챗봇을 사피봇으로 대체해 서비스 품질을 높이는 동시에 인력을 4분의 1 수준으로 줄이는 효과를 거뒀다.대학의 경우 생성형 AI 기반 챗봇 서비스를 기존 카카오 채널에 연동해 응답 업무를 자동화함으로써 실시간 답변이 가능해졌다.자연스럽게 업무 부담도 크게 줄어들었다. 솔트웨어는 이번 사피봇 출시를 기념해 연말까지 5000만 원 상당의 구축비 지원 프모션을 실시한다.한편 ‘디지털 혁신 페스타 2024’는 디지털 전문 산업 전시회로 최신 기술 소개 쇼케이스, 국내 SaaS 컨퍼런스, 포럼 등 다양한 부대행사가 함께 펼쳐진다.