기사 메일전송
[현장] SKT, 비용·속도·품질 3가지 챙긴 '텔코LLM' 선보여..."업무 효율 높인다"
  • 황기수 기자
  • 등록 2024-04-30 19:14:27
  • 수정 2024-05-03 07:46:23
  • 목록 바로가기목록으로
  • 링크복사
  • 댓글
  • 인쇄
  • 폰트 키우기 폰트 줄이기

기사수정
  • 텔코LLM, 상황 따라 골라 쓰는 '멀티 LLM'... 오는 6월 한국형 모델 출시
  • 통화 끝나고도 지원하는 ‘상담사 AI 에이전트‘... 연내 도입 목표로 개발 중
  • 생성형 AI 앱 구축하는 '인텔리전스 플랫폼'... "글로벌 확산 쉽게 이뤄질 것"

"텔코LLM은 고객센터, 인프라뿐만 아니라 고객 접점이나 사내 업무까지 통신사 운영의 다양한 영역에서 업무 효율성을 높일 것입니다"


30일 오전 서울 중구 SKT타워 수펙스홀에서 진행된 '텔코(Telco) LLM 설명회'.


SK텔레콤(대표이사 유영상)은 이날 통신업의 특화된 대규모언어모델(LLM) ‘텔코LLM’의 출시를 앞두고 설명회를 개최했다. LLM은 방대한 양의 문장 데이터를 학습해 자연어 처리 작업을 수행하는 모델로, 챗GPT 등으로 잘 알려진 생성형 AI에 적용된다.


[현장] SKT, 비용·속도·품질 3가지 챙긴 \ 텔코LLM\  선보여...\에릭 데이비스 SKT AI 테크 콜라보레이션(Tech Collaboration) 담당이 30일 서울 중구 SKT타워에서 진행된 '텔코(Telco) LLM 설명회'에서 텔코LLM의 구축 과정을 설명하고 있다. [동영상=더밸류뉴스] 

앞서 SKT는 지난해 8월부터 도이치텔레콤, 이앤그룹, 싱텔그룹 등과 함께 '글로벌 텔코 AI 얼라이언스(GTAA)'를 결성해 통신 영역에 대한 이해도가 높은 '텔코 LLM'을 공동 개발해왔다. SKT가 주도하는 GTAA는 지난 2월 스페인에서 열린 'MWC 2024'에서 통신산업 특화 LLM 공동 개발과 사업협력을 위한 합작법인 설립 계약을 체결하고 개발을 본격화했다.


이날 설명회에서는 텔코LLM과 함께 생성형 AI 기반 어플리케이션의 개발 및 구축을 돕는 '인텔리전스 플랫폼(Intelligence Platform)'도 소개됐다. SKT는 6월 한국형 버전 출시를 시작으로 해외 기업들과의 합의를 거쳐 글로벌 확장을 목표로 개발을 이어나갈 방침이다.


◆텔코LLM, 상황 따라 골라 쓰는 '멀티 LLM'... 오는 6월 한국형 모델 출시


텔코LLM에는 하나의 범용 LLM이 아닌 다수의 LLM을 활용하는 '멀티 LLM' 전략이 채택됐다. 최근 AI업계에서는 하나의 문제를 해결하는 데 다양한 LLM을 함께 사용하는 것이 글로벌 트렌드로 자리 잡았다. 이에 맞춰 SKT는 오픈AI, 앤트로픽 등과 협력을 통해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집하고 이를 에이닷엑스, ‘GPT’, '클로드'에 학습 시킴으로써 통신에 특화된 LLM을 만들고 있다.


이날 텔코LLM의 설명을 맡은 에릭 데이비스 SKT AI Tech Collaboration 담당은 “1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것”이라며 “다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략”이라고 설명했다.


[현장] SKT, 비용·속도·품질 3가지 챙긴 \ 텔코LLM\  선보여...\텔코LLM의 개념도. [이미지=SKT]

이어 그는 텔코LLM의 구축 과정을 소개했다. 먼저 통신 관련 데이터를 수집하고 비정형·정형 데이터를 선별 및 정제하는 작업을 거친다. 이를 기반으로 범용 LLM을 통신사 특화 모델로 변환하는 '파인튜닝'의 과정을 거치고, 휴먼 피드백 기반의 강화 학습(RLHF)을 한 후 수행 능력 등에 대해 최종 모델 평가를 하는 사이클이다. RLHF는 실제 텔코LLM이 답변한 내용에 대하여 상담사들이 품질, 만족도 등을 평가하는 과정이다. 


SKT는 지난 8개월 동안 앤트로픽과 함께 이 사이클을 5~6번 반복하면서 모델을 개선해왔다고 밝혔다. 또 에릭 담당은 텔코LLM의 장점에 대해 "범용 LLM 대비 통신 서비스 관련 주요 과제를 전문적으로 수행해 적합한 답변을 생성해낼 수 있다"며 "기존 6개월 걸리던 서비스 개발기간도 절반 수준으로 줄일 수 있다"고 설명했다.


◆통화 끝나고도 지원하는 ‘상담사 AI 에이전트‘... 연내 도입 목표로 개발 중


텔코LLM은 고객센터 상담사의 업무 효율도 향상 시킬 것으로 기대된다. 현재 고객센터에서는 상담 전화 한 건을 처리하는데 통상 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요된다. SKT는 △상담사가 고객과 전화하는 동안의 '실시간 업무 지원' △상담을 끝내고 나면 해야하는 '상담 후 업무 지원' 등 2개로 나눠 텔코LLM이 기여할 수 있는 방안을 고민해냈다.


먼저 삼당사들의 실시간 업무는 고객의 질문에 대해서 상담 중에 답변 가이드 제공을 통해 지원한다. 상담사들은 고객이 질문하는 것에 대해 사내 시스템에 검색을 해가면서 답변해야 하는 경우가 있다. 텔코LLM은 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에, 사람이 직접 정보를 찾는 것보다 대응 시간을 단축 시킬 수 있다.


[현장] SKT, 비용·속도·품질 3가지 챙긴 \ 텔코LLM\  선보여...\정민영 SKT AI플랫폼 담당이 30일 서울 중구 SKT타워에서 진행된 '텔코(Telco) LLM 설명회'에서 텔코LLM의 상담사 지원 기능을 설명하고 있다. [사진=더밸류뉴스] 상담 지원에는 검색증강생성(RAG) 기술이 핵심기술로서 적용됐다. RAG는 기존의 검색 기술에 인공지능을 접목해 사용자의 질문에 대한 답변을 생성해 내는 기술로 SKT가 최근 특히 주력하고 있는 기술이다. 텔코LLM은 RAG를 통해 외부 데이터베이스까지 포괄하는 답변을 제공해 생성형 AI의 고질적 문제로 꼽히는 '할루시네이션(환각 현상)'을 최소화했다.


또 상담 후에는 상담요약 등을 통해 후속 업무를 지원한다. 상담사는 고객과의 통화를 마치고 문자를 통해 특정 정보를 고객에게 안내해야 하거나 일정 시간이 흐른 뒤 특정 서비스를 제공해야 하는 등의 후속 업무들이 존재한다. 정민영 SKT AI플랫폼 담당은 "구어체로 된 대화의 요약은 일반적인 문서 요약과 결이 다르다"며 "텔코LLM은 고객이 무엇을 원했고 상담자는 뭐라고 답했는지를 보기 쉽게 데이터화한다"고 설명했다. 


텔코LLM은 상담사 보호 기능도 갖추고 있다. 텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 학습해 신조어나 한국어 욕설, 위협, 폭언 식의 문맥과 뉘앙스를 정확하게 파악해낸다. SKT는 현재 상담 내용을 모니터링해 시스템이 개입해 상담사를 보호할 수 있는 시스템 구축을 논의 중이다. 텔코LLM이 적용된 고객센터 지원 서비스는 연내 도입을 목표로 개발 중이다.


◆생성형 AI 앱 구축하는 '인텔리전스 플랫폼'... "글로벌 확산 쉽게 이뤄질 것"


SKT는 통신사들이 생성형 AI 어플리케이션을 효율적으로 구축, 개발할 수 있는 ‘인텔리전스 플랫폼’도 공개했다. 해당 플랫폼은 멀티 LLM을 비롯해 멀티모달, 오케스트레이션, RAG 등의 AI툴을 포함하는 기업용 AI 개발·운용 패키지다. 


[현장] SKT, 비용·속도·품질 3가지 챙긴 \ 텔코LLM\  선보여...\정민영 SKT AI플랫폼 담당이 30일 서울 중구 SKT타워에서 진행된 '텔코(Telco) LLM 설명회'에서 인텔리전스 플랫폼을 설명하고 있다. [동영상=더밸류뉴스] 

정민영 담당은 멀티 LLM을 적용한 배경에 대해 "범용 모델은 비용, 속도, 품질 등 3가지 측면에서 아쉬운 점이 있다"며 "여러가지 학습과제들에 대해 이 3가지를 트레이드 오프(Trade-off)해 다양한 모델을 맞춤형으로 전환해가며 활용한다"고 설명했다.


SKT는 인텔리전스 플랫폼이 통신사의 고객센터 콜봇, 챗봇, 유통 채널 어시스턴트, 인프라 어시스턴트, 사내 업무 혁신 등 다양한 업무에 활용될 것으로 기대하고 있다. 사내 업무에 실제 적용할 수 있는 대표 사례로는 '계약서 검토', '마케팅 초안 작성' 등이 있다. LLM의 이해 능력을 활용해 '이 계약서 작성에 있어서 검토해야 할 리스크는 무엇이 있는가' 등의 질문에 답변이 가능하다.


통신사 뿐만 아니라 상담 업무 등 업무 특성이 비슷한 기업들도 해당 플랫폼을 활용할 수 있다. 정 담당은 "텔코는 글로벌 표준으로 용어 등을 공유하는 것이 많아 글로벌 확산이 쉽게 이뤄질 것"이라며 "기술적으로는 비용 효율적인 측면에서 확산 가능성이 높다"고 밝혔다. 인텔리전스 플랫폼은 현재 에이닷 등의 서비스에 적용 중이며 향후 적용 사례를 지속 확대할 예정이다.

관련기사
TAG
210
  • 목록 바로가기
  • 인쇄


최신뉴스더보기
많이 본 뉴스더보기
  1. [윤진기 명예교수의 경제와 숫자 이야기] 니콜라스 다비스 투자 이야기의 함정 니콜라스 다비스(Nicolas Darvas, 1920-1977)는 헝가리 출신의 무용가인데, 주식투자를 해서 짧은 기간에 200만불을 넘게 벌었다. 그의 투자 이야기는 그의 책 《나는 주식투자로 250만불을 벌었다》에 잘 소개되어 있다. [1]니콜라스 다비스는 주식투자를 하면서 여러 가지 시행착오 끝에 ‘박스이론’(Box Theory)을 만들어냈다. 그것은 주가가 일정한 .
  2. 제이엠티, 디스플레이장비및부품주 저PER 1위... 4.55 제이엠티(대표이사 정수연. 094970)가 5월 디스플레이장비및부품주 저PER 1위를 기록했다.버핏연구소 조사 결과에 따르면 제이엠티는 5월 디스플레이장비및부품주에서 PER 4.55배로 가장 낮았다. 이어 한국컴퓨터(054040)(4.7), 인지디스플레(037330)(5.23), 톱텍(108230)(5.45)가 뒤를 이었다.제이엠티는 지난해 매출액 1227억원, 영업이익 148억원을 기록하며...
  3. [버핏 리포트] 농심, 라면의 해외진출 모멘텀 지속...하반기 갈수록 기대-NH NH투자증권이 17일 농심(004370)에 대해 유럽 중심의 수출 물량이 크게 증가했다는 점을 고려할 때 라면의 해외진출 모멘텀은 지속되고 있다며 투자의견 ‘매수’와 목표주가 56만원을 유지했다. 농심의 전일 종가는 42만500원이다.  농심의 1분기 연결기준 매출액과 영업이익은 각각 8725억원(YoY +1%), 영업이익 614억원(-4%)으로 영업이익 ...
  4. [버핏 리포트] 고려아연, 신사업 성과가 주가 상승 Key-신한 신한투자증권이 8일 고려아연(010130)에 대해 신사업 부문 성과 및 최근 이어지고 있는 금속 가격 상승 랠리를 통해 중장기적 이익 개선이 기대된다며 투자의견은 '매수', 목표주가는 60만원으로 평가 유지했다. 고려아연의 전일 종가는 47만3000원이다.고려아연의 올해 1분기 연결 기준 영업이익은 1845억원(YoY +26.54%)이다. 연(납) 판매량이...
  5. [주간뉴스클리핑] 금융증권 [금융]"금고 선정에 ESG 반영"…'원 톱' 농협엔 변수은행·보험사 ‘구원등판’…23조 PF 부실 해결할까제4인뱅 '큰 손' 은행 잡아라…유치 경쟁 가열국내은행 1분기 당기순익 24% 뚝…ELS 배상 직격탄 [증권]은행들의 '10년 전쟁' 나라사랑카드…올해 새 사업자 뽑는다"시중은행 된 대구은행, 디지털 ...
모바일 버전 바로가기