▲ 서울공대 컴퓨터공학부 김건희 교수팀, AI 대화 생성 모델 개발(왼쪽부터 서울대학교 컴퓨터공학부 김강욱 연구원(학사과정), 서울대학교 컴퓨터공학부 김건희 교수, 서울대학교 컴퓨터공학부 이세훈 연구원(박사과정)) [출처=서울대학교 공과대학]서울대(총장 유홍림) 공과대(학장 김영오)에 따르면 컴퓨터공학부 김건희 교수팀이 말버릇, 추임새, 끼어들기 등 사람의 대화 행동을 인공지능(AI)이 이해하고 재현하는 음성 대화 생성 기술을 개발했다.김 교수팀은 이번 연구에서 세계 최대 규모 대화 행동 기반 음성 데이터셋인 ‘Behavior-SD’를 구축하고 이를 바탕으로 자연스럽게 음성 대화를 나누는 AI 모델 ‘BeDLM’을 제안했다.연구팀은 2025년 4월29일부터 5월4일까지 미국 뉴멕시코주 앨버커키에서 열린 ‘NAACL 2025(북미 전산언어학회)’에서 해당 연구 논문을 구두 발표해 음성 처리 및 음성 언어 이해(Speech Processing and Spoken Language Understanding) 분야에서 최고 논문상(Senior Area Chair Award)을 수상했다.NAACL은 컴퓨터가 인간의 언어를 이해, 생성할 수 있도록 해주는 AI의 한 분야인 자연어 처리(NLP) 관련 세계 최고 권위 학회 중 하나다.◇ 연구 배경... 실제 사람처럼 자연스러운 대화를 나누는 AI를 구현 고민연구팀은 사람들이 음성 대화를 나눌 때 텍스트 대화에서는 잘 나타나지 않는 대화 행동을 보이는 점에 주목했다.예컨대 우리는 대화할 때 ‘음…’, ‘그니까…’ 같은 말버릇을 쓰고, 적절한 순간에 ‘맞아’, ‘응’ 같은 추임새를 넣거나 때로는 상대의 말을 끊기도 한다.하지만 이런 미묘한 특징들을 반영하지 못한 기존 AI 대화 시스템의 말투는 부자연스럽고 기계적으로 느껴질 수밖에 없었다.따라서 김 교수팀은 실제 사람처럼 자연스러운 대화를 나누는 AI를 구현하려면 대화 행동의 반영이 반드시 이뤄져야 한다고 봤다.◇ 연구 성과... AI 대화 시스템의 한계를 극복하고 한층 더 사람다운 음성 대화 생성이 문제의 해결에 나선 연구팀은 말버릇과 추임새(backchannel), 끼어들기(interruption), 감정 표현 등 사람 개개인의 대화 행동을 정밀하게 반영한 음성 데이터셋과 대화 생성 기술을 함께 제시하는 성과를 거뒀다.먼저 김 교수팀은 실제 대화 환경을 최대한 비슷하게 재현하기 위해 10만 개의 대화 패턴과 총 2000시간 분량의 음성 대화를 모아 ‘Behavior-SD (Spoken Dialogue)’ 데이터셋을 구축했다.이 대규모의 데이터는 사람 간의 자연스러운 대화를 정밀하게 구현하도록 설계됐다. 각 화자가 주고받는 단순한 문장에 더해 세밀하게 구분된 다양한 대화 행동을 주석 처리한 방식 덕분이다.이렇게 구축한 데이터를 바탕으로 연구팀은 행동 기반 대화 생성 모델인 ‘BeDLM (Behaviorally Aware Spoken Dialogue Generation with Large Language Models)’을 개발했다.거대 언어 모델(Large Language Model, LLM)에 기반한 BeDLM은 대화 상황과 두 화자의 행동 패턴이 입력되면 실제 사람 간 대화에 가까운 음성 대화를 손쉽게 만들어내는 AI 기술이다.추임새를 넣거나 말을 끊는 습관, 말버릇 등의 대화 행동을 자연스럽게 조절해 반영하기 때문에 기존 AI 대화 시스템의 한계를 극복하고 한층 더 사람다운 음성 대화를 생성할 수 있다.◇ 기대 효과... 기술의 확산과 후속 연구 또한 촉진될 것으로 기대BeDLM은 향후 팟캐스트 콘텐츠 제작, 상담 AI, 개인 맞춤형 음성 비서 등 사람과 AI 간의 상호작용과 정서적 반응이 필요한 여러 분야에서 널리 활용될 것으로 예상된다.나아가 이 기술은 앞으로 상담, 교육, 돌봄 서비스 등 다양한 영역에서 사람과 AI가 더욱 원활하게 소통할 수 있도록 돕는 데에도 이용될 전망이다.아울러 이번 연구에서 개발된 Behavior-SD 데이터셋과 코드는 모두 오픈소스로 공개돼 국내외 연구자 누구나 자유롭게 활용할 수 있다. 따라서 관련 기술의 확산과 후속 연구 또한 촉진될 것으로 기대된다.◇ 연구진 의견... 한층 더 사람다운 대화를 AI로 구현하는 작업이 가능김건희 교수는 “대화하는 사람은 보통 말하는 중에도 귀를 열고 상대방의 음성적 반응과 시각적 반응에 적응하고 맞춰가며 대화를 이끄는데 지금까지 개발된 AI 대화 생성 모델은 이를 반영하지 못했기 때문에 그 한계를 넘고자 했다”면서 “AI가 사람처럼 자연스럽게 대화하는 기술을 한 단계 더 발전시켰다는 점에서 금번 연구의 의미가 크다”고 밝혔다.논문 제1저자인 이세훈 연구원은 “이번 연구는 음성 대화에서만 나타나는 다양한 행동 패턴을 데이터와 모델에 반영함으로써 한층 더 사람다운 대화를 AI로 구현하는 작업이 가능해졌다는 데 그 의의가 있다”고 밝혔다.이어 “물론 데이터를 구축하고 AI가 사람의 대화 행동을 이해하도록 하는 모델링 방법을 찾는 과정이 쉽지 않았다”고 연구과정을 돌아보며 “BeDLM이 실제 음성 대화 서비스에 적용돼 자연스럽고 몰입감 높은 대화를 제공하는 AI 기술로 자리매김하길 기대한다”고 말했다.◇ 연구진 진로... 음성 기반 대화형 AI의 심화 기술을 계속 연구할 예정서울대 컴퓨터공학부에서 박사과정을 밟고 있는 이세훈 연구원은 AI가 사람의 더 다양한 행동 패턴을 모델링하고 세밀하게 조절할 수 있도록 행동 기반 음성 대화 생성 모델의 고도화를 연구하고 있다.앞으로 음성 기반 대화형 AI의 심화 기술을 계속 연구할 예정이며 기업 인턴십 등 실무 경험을 통해 실제 서비스 적용과 기술 확산에도 기여할 계획이다.※ 참고자료- 논문명/학회 : “Behavior-SD : Behaviorally Aware Spoken Dialogue Generation with Large Language Models”, 2025 Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL2025)- 논문 링크 : https://aclanthology.org/2025.naacl-long.484.pdf

▲ 서울대학교 컴퓨터공학부 강유 교수[출처=서울대학교 컴퓨터공학부]서울대학교(총장 유홍림) 공과대학(학장 김영오)에 따르면 컴퓨터공학부 강유 교수팀이 개인정보 보호나 보안 등의 이유로 학습 데이터 사용이 어려운 상황에서도 딥러닝 모델의 성능 저하를 최소화하며 경량화할 수 있는 혁신적인 인공지능(AI) 기술을 개발했다.이번 연구 논문은 2025년 4월24일부터 닷새간 싱가포르에서 열리는 세계적 AI 학술대회 ‘ICLR 2025’에 채택된 바 있다.올해로 13회를 맞는 ‘ICLR (International Conference on Learning Representations)’은 기계 학습 및 딥러닝 분야에서 세계 최고 권위를 자랑하는 학회다.프라이버시 보호나 보안 문제로 학습 데이터 접근이 어려운 상황은 현실에서 딥러닝 모델을 훈련시킬 때 겪는 큰 어려움 중 하나다.이를 해결하기 위해 개발된 ‘제로샷 양자화(Zero-shot Quantization, 이하 ZSQ)’는 훈련 데이터 없이 모델을 양자화할 수 있는 기술이다.그러나 기존의 ZSQ 기술은 합성 데이터의 노이즈, 부정확한 특징에 기반한 예측, 어려운 데이터의 잘못된 하드 레이블(Hard Lavel, 1가지 정답만 있는 레이블)이 야기하는 오차 발생 등으로 모델 성능 저하를 불러오는 치명적 한계를 보였다.이에 강 교수팀은 훈련 데이터를 사용하지 않고도 딥러닝 모델의 성능을 유지하며 효과적으로 경량화시킬 수 있는 ZSQ 기술인 ‘SynQ (Synthesis-aware Fine-tuning for Zero-shot Quantization)’ 기법을 제안했다.이는 실제 학습 데이터셋이 없는 환경에서도 종전의 ZSQ 기술에 쉽게 적용할 수 있는 중요한 기법으로 평가받고 있다.연구진은 SynQ의 3가지 핵심 기술로 딥러닝 모델의 성능을 향상시켜 기존 ZSQ의 약점을 극복하는 성과를 거뒀다.먼저 저역 통과 필터(low-pass filter)를 적용해 데이터의 고주파 노이즈를 제거했다. 그리고 사전 학습된 모델과 양자화된 모델 사이의 클래스 활성화 맵(Class Activation Map, 이하 CAM)을 정렬해 딥러닝 모델의 예측 정확도를 높였다.아울러 사전 학습된 모델이 어려운 샘플에 대해 오류를 일으킬 수 있는 점을 고려해 이러한 샘플에는 하드 레이블 대신 소프트 레이블(Soft Rabel, 확률로 표현된 정답)만을 사용함으로써 잘못된 학습을 방지했다.즉 SynQ는 사전 학습된 모델이 생성한 합성 데이터를 저역 통과 필터로 정제한 뒤 CAM 정렬과 난이도 기반 손실 함수 적용을 통해 양자화된 모델을 미세 조정함으로써 실제 데이터 없이도 모델 성능을 유지하며 경량화를 달성하는 원리를 지닌다.향후 SynQ 기법은 고성능의 경량 딥러닝 모델을 구현할 수 있는 AI 산업의 핵심 기술로 자리 잡을 전망이다. 특히 학습 데이터 없이도 모델의 정확도를 유지한 채 압축할 수 있는 SynQ를 활용하면 스마트폰, IoT(사물인터넷) 기기, 자율주행 센서 등 자원이 제한된 엣지 디바이스 환경에서도 고성능 AI를 안정적으로 운용할 수 있을 것으로 예상된다.연구 책임자인 강유 교수는 “SynQ 기술은 개인 데이터 유출 없이 모델을 경량화할 수 있는 강점 덕분에 보안 및 프라이버시 침해 문제를 줄이는 데 기여할 수 있다”고 강조하며 “나아가 이 기법을 적용하면 그간 대량의 학습 데이터에 접근하기 어려웠던 소규모 기업 및 기관도 고성능 AI를 손쉽게 활용할 수 있기 때문에 다양한 분야에서 AI 기술 확산 및 대중화가 가속할 것으로 기대된다”고 밝혔다.

▲ (좌측부터) 강유 서울대 인공지능협동과정/컴퓨터공학부 교수, 김종진 컴퓨터공학부 박사과정생[출처=서울대학교 공과대학]서울대(총장 유홍림) 공과대학(학장 김영오)에 따르면 인공지능(AI) 협동과정/컴퓨터공학부 강유 교수 연구팀이 다양화 추천을 고려한 개인화 순차 추천 기술을 개발했다.연구팀이 개발한 사용자 간 순서를 고려한 다양화 추천 기술 ‘사피드(Sequentially Diversified Recommendation via Popularity Debiasing and Item Distribution, 이하 SAPID)는 상품 추천시 다양성 보장이 어려운 점을 극복했다.‘다양화 추천(Diversified Recommendation)’이란 온라인 쇼핑몰 등의 플랫폼에서 판매하는 상품들을 제외되는 품목 없이 골고루 사용자들에게 추천하는 시스템을 말한다. 전자상거래 플랫폼의 수익을 극대화하는 핵심 요소이기 때문에 최근 관련 연구들이 주목받고 있다.기존 연구들은 플랫폼 사용자 개개인의 선호 상품 정보를 취합한 후 선호도가 비슷한 상품 중 다른 사용자들이 좋아하지 않는 아이템을 추천하는 방식으로 다양화 추천에 접근했다.그러나 이 방식은 미래의 사용자가 어떤 상품을 선호할지에 관한 정보는 사전에 반영시킬 수 없기에 앞으로 이뤄질 상품 추천의 다양성은 보장하기 어려웠다.SAPID는 사용자들의 과거 구매 데이터를 바탕으로 미래의 상품별 수요를 예측해 현재 어떤 상품을 추천해야 다양성이 높아질지 판단하는 원리로 작동된다.연구진은 각 상품의 플랫폼 등장 빈도를 참조해 유명 제품에 편중되지 않게 아이템을 추천하도록 SAPID 모델을 훈련 데이터셋으로 학습시켰다.이 과정을 거친 SAPID는 플랫폼 사용자에게 아직 추천되지 않은 상품이나 인기도가 낮은 상품을 우선적으로 추천함으로써 다양성을 증대시키는 역할을 수행한다.앞으로 개발된 기술은 사용자들에게 순차적으로 상품을 추천해야 하는 여러 이커머스 플랫폼에서 기대 수익을 극대화하는 기술로 활용될 것으로 기대를 모으고 있다.SAPID를 통해 쇼핑몰 메인 화면에 각 상품이 노출되는 순위를 조정하면 전체적인 상품 판매량을 늘리고 재고를 줄일 수 있기 때문이다.정헌재단의 학술연구 지원을 받아 수행된 본 연구의 성과는 2025년 3월 데이터 마이닝 및 머신 러닝 분야의 최우수 학회인 ‘WSDM (Web Search and Data Mining) 2025’에 발표될 예정이다.한편 연구논문의 제1저자인 서울대 컴퓨터공학부 김종진 박사과정생은 순차 번들 추천 과정에서도 추천 품목의 다양성을 반영시키는 연구를 진행 중이다.강유 교수는 “상품 추천의 정확성과 다양성을 모두 제고할 수 있는 SAPID는 학문적 가치뿐 아니라 실용성도 높은 기술이다. 향후 온라인 쇼핑몰이나 온라인 콘텐츠 제공 서비스의 매출 증대 및 재고 소진에 크게 기여할 것으로 전망된다”고 포부를 밝혔다.