"텔코LLM은 고객센터, 인프라뿐만 아니라 고객 접점이나 사내 업무까지 통신사 운영의 다양한 영역에서 업무 효율성을 높일 것입니다"

30일 오전 서울 중구 SKT타워 수펙스홀에서 진행된 '텔코(Telco) LLM 설명회'.

SK텔레콤(대표이사 유영상)은 이날 통신업의 특화된 대규모언어모델(LLM) ‘텔코LLM’의 출시를 앞두고 설명회를 개최했다. LLM은 방대한 양의 문장 데이터를 학습해 자연어 처리 작업을 수행하는 모델로, 챗GPT 등으로 잘 알려진 생성형 AI에 적용된다.

에릭 데이비스 SKT AI 테크 콜라보레이션(Tech Collaboration) 담당이 30일 서울 중구 SKT타워에서 진행된 '텔코(Telco) LLM 설명회'에서 텔코LLM의 구축 과정을 설명하고 있다. [동영상=더밸류뉴스] 

앞서 SKT는 지난해 8월부터 도이치텔레콤, 이앤그룹, 싱텔그룹 등과 함께 '글로벌 텔코 AI 얼라이언스(GTAA)'를 결성해 통신 영역에 대한 이해도가 높은 '텔코 LLM'을 공동 개발해왔다. SKT가 주도하는 GTAA는 지난 2월 스페인에서 열린 'MWC 2024'에서 통신산업 특화 LLM 공동 개발과 사업협력을 위한 합작법인 설립 계약을 체결하고 개발을 본격화했다.

이날 설명회에서는 텔코LLM과 함께 생성형 AI 기반 어플리케이션의 개발 및 구축을 돕는 '인텔리전스 플랫폼(Intelligence Platform)'도 소개됐다. SKT는 6월 한국형 버전 출시를 시작으로 해외 기업들과의 합의를 거쳐 글로벌 확장을 목표로 개발을 이어나갈 방침이다.

◆텔코LLM, 상황 따라 골라 쓰는 '멀티 LLM'... 오는 6월 한국형 모델 출시

텔코LLM에는 하나의 범용 LLM이 아닌 다수의 LLM을 활용하는 '멀티 LLM' 전략이 채택됐다. 최근 AI업계에서는 하나의 문제를 해결하는 데 다양한 LLM을 함께 사용하는 것이 글로벌 트렌드로 자리 잡았다. 이에 맞춰 SKT는 오픈AI, 앤트로픽 등과 협력을 통해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집하고 이를 에이닷엑스, ‘GPT’, '클로드'에 학습 시킴으로써 통신에 특화된 LLM을 만들고 있다.

이날 텔코LLM의 설명을 맡은 에릭 데이비스 SKT AI Tech Collaboration 담당은 “1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것”이라며 “다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략”이라고 설명했다.

텔코LLM의 개념도. [이미지=SKT]

이어 그는 텔코LLM의 구축 과정을 소개했다. 먼저 통신 관련 데이터를 수집하고 비정형·정형 데이터를 선별 및 정제하는 작업을 거친다. 이를 기반으로 범용 LLM을 통신사 특화 모델로 변환하는 '파인튜닝'의 과정을 거치고, 휴먼 피드백 기반의 강화 학습(RLHF)을 한 후 수행 능력 등에 대해 최종 모델 평가를 하는 사이클이다. RLHF는 실제 텔코LLM이 답변한 내용에 대하여 상담사들이 품질, 만족도 등을 평가하는 과정이다. 

SKT는 지난 8개월 동안 앤트로픽과 함께 이 사이클을 5~6번 반복하면서 모델을 개선해왔다고 밝혔다. 또 에릭 담당은 텔코LLM의 장점에 대해 "범용 LLM 대비 통신 서비스 관련 주요 과제를 전문적으로 수행해 적합한 답변을 생성해낼 수 있다"며 "기존 6개월 걸리던 서비스 개발기간도 절반 수준으로 줄일 수 있다"고 설명했다.

◆통화 끝나고도 지원하는 ‘상담사 AI 에이전트‘... 연내 도입 목표로 개발 중

텔코LLM은 고객센터 상담사의 업무 효율도 향상 시킬 것으로 기대된다. 현재 고객센터에서는 상담 전화 한 건을 처리하는데 통상 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요된다. SKT는 △상담사가 고객과 전화하는 동안의 '실시간 업무 지원' △상담을 끝내고 나면 해야하는 '상담 후 업무 지원' 등 2개로 나눠 텔코LLM이 기여할 수 있는 방안을 고민해냈다.

먼저 삼당사들의 실시간 업무는 고객의 질문에 대해서 상담 중에 답변 가이드 제공을 통해 지원한다. 상담사들은 고객이 질문하는 것에 대해 사내 시스템에 검색을 해가면서 답변해야 하는 경우가 있다. 텔코LLM은 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에, 사람이 직접 정보를 찾는 것보다 대응 시간을 단축 시킬 수 있다.

정민영 SKT AI플랫폼 담당이 30일 서울 중구 SKT타워에서 진행된 '텔코(Telco) LLM 설명회'에서 텔코LLM의 상담사 지원 기능을 설명하고 있다. [사진=더밸류뉴스] 상담 지원에는 검색증강생성(RAG) 기술이 핵심기술로서 적용됐다. RAG는 기존의 검색 기술에 인공지능을 접목해 사용자의 질문에 대한 답변을 생성해 내는 기술로 SKT가 최근 특히 주력하고 있는 기술이다. 텔코LLM은 RAG를 통해 외부 데이터베이스까지 포괄하는 답변을 제공해 생성형 AI의 고질적 문제로 꼽히는 '할루시네이션(환각 현상)'을 최소화했다.

또 상담 후에는 상담요약 등을 통해 후속 업무를 지원한다. 상담사는 고객과의 통화를 마치고 문자를 통해 특정 정보를 고객에게 안내해야 하거나 일정 시간이 흐른 뒤 특정 서비스를 제공해야 하는 등의 후속 업무들이 존재한다. 정민영 SKT AI플랫폼 담당은 "구어체로 된 대화의 요약은 일반적인 문서 요약과 결이 다르다"며 "텔코LLM은 고객이 무엇을 원했고 상담자는 뭐라고 답했는지를 보기 쉽게 데이터화한다"고 설명했다. 

텔코LLM은 상담사 보호 기능도 갖추고 있다. 텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 학습해 신조어나 한국어 욕설, 위협, 폭언 식의 문맥과 뉘앙스를 정확하게 파악해낸다. SKT는 현재 상담 내용을 모니터링해 시스템이 개입해 상담사를 보호할 수 있는 시스템 구축을 논의 중이다. 텔코LLM이 적용된 고객센터 지원 서비스는 연내 도입을 목표로 개발 중이다.

◆생성형 AI 앱 구축하는 '인텔리전스 플랫폼'... "글로벌 확산 쉽게 이뤄질 것"

SKT는 통신사들이 생성형 AI 어플리케이션을 효율적으로 구축, 개발할 수 있는 ‘인텔리전스 플랫폼’도 공개했다. 해당 플랫폼은 멀티 LLM을 비롯해 멀티모달, 오케스트레이션, RAG 등의 AI툴을 포함하는 기업용 AI 개발·운용 패키지다. 

정민영 SKT AI플랫폼 담당이 30일 서울 중구 SKT타워에서 진행된 '텔코(Telco) LLM 설명회'에서 인텔리전스 플랫폼을 설명하고 있다. [동영상=더밸류뉴스] 

정민영 담당은 멀티 LLM을 적용한 배경에 대해 "범용 모델은 비용, 속도, 품질 등 3가지 측면에서 아쉬운 점이 있다"며 "여러가지 학습과제들에 대해 이 3가지를 트레이드 오프(Trade-off)해 다양한 모델을 맞춤형으로 전환해가며 활용한다"고 설명했다.

SKT는 인텔리전스 플랫폼이 통신사의 고객센터 콜봇, 챗봇, 유통 채널 어시스턴트, 인프라 어시스턴트, 사내 업무 혁신 등 다양한 업무에 활용될 것으로 기대하고 있다. 사내 업무에 실제 적용할 수 있는 대표 사례로는 '계약서 검토', '마케팅 초안 작성' 등이 있다. LLM의 이해 능력을 활용해 '이 계약서 작성에 있어서 검토해야 할 리스크는 무엇이 있는가' 등의 질문에 답변이 가능하다.

통신사 뿐만 아니라 상담 업무 등 업무 특성이 비슷한 기업들도 해당 플랫폼을 활용할 수 있다. 정 담당은 "텔코는 글로벌 표준으로 용어 등을 공유하는 것이 많아 글로벌 확산이 쉽게 이뤄질 것"이라며 "기술적으로는 비용 효율적인 측면에서 확산 가능성이 높다"고 밝혔다. 인텔리전스 플랫폼은 현재 에이닷 등의 서비스에 적용 중이며 향후 적용 사례를 지속 확대할 예정이다.