SKT ‘통신 특화 LLM’, “6월 중 개발 완료 후 연내 선보일 것”

(왼쪽) 에릭 데이비스 SKT AI 테크 콜라보레이션 담당과 정민영 SKT AI플랫폼 담당이 30일 열린 텔코 LLM 기자설명회에서 질문에 답하고 있다./제공=SKT

SKT가 오는 6월 통신 특화 거대언어모델(LLM) '텔코LLM'을 개발 완료한다. 이후 올해까지 5G 요금제, T멤버십, 공시지원금 등 전문 용어와 AI 윤리가치 등을 학습한 텔코 LLM을 고객센터에 적용할 예정이다.

30일 에릭 데이비스 SK텔레콤 AI테크콜라보레이션 담당은 서울 을지로 SKT타워에서 열린 통신사향 거대언어모델 간담회에서 "하나의 범용 LLM으로 통신사가 하려는 모든 서비스를 하며, 문제를 해결하기는 어렵다"며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 파인튜닝과 모델평가를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는것이 SKT의 멀티 LLM전략"이라고 설명했다.

SKT는 멀티 LLM 전략으로 통신 특화LLM을 만들고 있다. SKT의 텔코LLM은 △SKT의 에이닷엑스(A.X) △오픈AI의 GPT △앤트로픽의 클로드 등 다양한 범용모델을 기반으로 튜닝됐다. 또 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집, 정형·비정형 데이터를 선별해 학습시켰다. 통신사들이 △AI컨택센터(AICC) △유통망 △네트워크 운용 △사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 가져다 쓸 수 있게 한다는 계획이다.

텔코LLM 구축 과정./제공=SKT

텔코LLM은 범용LLM 대비 통신 영역에서 높은 수준의 생성형 AI작업을 수행할 수 있다. SKT는 텔코LLM을 구축하기 위해 우선 텔코 데이터를 수집하고 비정형·정형 데이터를 선별, 정제하는 작업을 한다. 이를 기반으로 범용 LLM을 통신사 전용으로 파인튜닝(미세조정)하는 과정을 거치고, 휴먼 피드백 기반의 강화 학습(RLHF)을 한 후 최종 벤치마킹(모델 평가)을 하는 사이클을 거친다. 범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어려웠다면, 텔코전용LLM은 통신 관련 데이터를 추가로 학습해 이 문제를 해결할 수 있다.

에릭 담당은 "텔코 LLM 장점은 △전문성 △속도·비용 등 효율성 △개발 기간 단축 등이다"라며 "처음 진행한 클로드 기반 텔코 LLM은 8개월 정도가 걸렸지만 GPT 기반 텔코 LLM은 3개월정도가 걸렸다"라고 밝혔다.

텔코LLM을 사용하면 업무시간이 크게 단축될 것으로 전망된다. SK텔레콤은 현재 고객센터에서 상담전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요되는데 텔코LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공해 상담 내용을 요약해주는 등 소요되는 시간을 크게 단축시켜 줄 수 있을 것으로 예상했다.

또한 네트워크 인프라 운용에도 텔코LLM은 유용하게 사용된다. 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코LLM에 질문을 입력해 해결 방안을 답변으로 받아볼 수 있다. 또 텔코LLM이 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에, 사람이 직접 정보를 찾는 것보다 대응 시간을 단축 시킬 수 있다. SKT는 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다.

또한 텔코LLM과 AI 기술을 활용할 수 있는 '인텔리전스 플랫폼' 구축 계획도 밝혔다. 인텔리전스 플랫폼을 현재A.(에이닷) 등 서비스에 적용 중이며 적용 사례도 지속 확대할 예정이다.

정민영 SKT AI플랫폼 담당은 "고객센터, 인프라 뿐만 아니라 마케팅·유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것"이라며 "지속적으로 텔코LLM을 활용한 유즈케이스를 늘려갈 계획"이라고 설명했다.