공개된 인공지능 순위표에서 당당히 일위를 차지한 거대 언어 모델이 실제 토스의 현업 서비스에서도 똑같이 뛰어난 성능을 발휘하지는 않습니다. 새로운 모델이 출시될 때마다 우리는 흔히 수학을 얼마나 잘 풀고 코드를 얼마나 매끄럽게 짜는지 측정된 점수표부터 확인하게 됩니다. 점수가 높으면 우리 회사 서비스에도 곧바로 도입하여 극적인 효율 개선을 이뤄낼 수 있으리라는 장밋빛 기대를 품기 쉽습니다. 하지만 막상 실제 운영 환경에 해당 모델을 적용해 보면 기대와는 다른 결과가 나타나는 경우가 허다합니다. 영어를 능숙하게 다루는 모델이라고 해서 국내 금융 규제나 복잡한 정책 문서를 완벽하게 이해한다는 보장은 어디에도 없습니다. 추론 영역에서 높은 점수를 거둔 모델이 실시간 응답이 생명인 현업 운영 환경에서도 민첩함을 유지할 것이라고 단정하기 어렵습니다. 무엇보다 공개 시험을 잘 보는 능력과 실제 금융 및 커머스 도메인의 까다로운 업무를 처리하는 능력은 완전히 결의를 달리합니다. 토스 인공지능 모델링 부서에서는 이러한 간극을 좁히고 실제 현업에 최적화된 모델을 고르기 위해 직접 평가 기준을 마련했습니다. 이 글에서는 토스가 제한된 자원을 효율적으로 활용하기 위해 어떤 기준을 세웠고 평가 지표를 어떻게 다듬었는지 상세히 살펴봅니다.
=
리더보드 1등 LLM, 토스에서도 1등일까? Toss 구축기
1. 토스가 인공지능으로 해결하는 실제 현업의 문제들
토스는 단순한 금융 어플리케이션을 넘어 커머스, 광고, 사내 개발 및 인프라 운영까지 영역을 확장하며 거대 언어 모델을 다방면으로 활용하고 있습니다. 먼저 커머스 분야에서는 수많은 판매자가 각양각색으로 등록한 상품 정보를 자동으로 표준화하여 일치하는 상품끼리 묶어주는 역할을 맡깁니다. 토스쇼핑에 입점한 판매자와 직접 통화하며 상품 운영에 필요한 사항을 조율하는 음성 에이전트 시스템도 인공지능을 바탕으로 매끄럽게 구동됩니다. 판매자가 건네는 답변의 맥락을 실시간으로 파악하여 대화의 흐름을 유연하게 바꾸고 필요한 도구를 정확히 호출하는 능력이 필수적입니다. 가맹점 심사와 정산 부문에서는 방대한 서류에서 사업자 정보를 정확하게 추출하고 원본 자료와 교차 대조하는 작업을 수행합니다. 정산 관련 문의가 접수되면 복잡한 사내 데이터와 계산 규칙을 스스로 조회하여 고객에게 막힘없이 답변을 건네줍니다. 광고 검수 영역에서는 광고 문구와 이미지를 꼼꼼히 살피고 사용자가 클릭했을 때 연결되는 웹페이지가 안전한지 검사합니다. 광고 성과에 갑작스러운 이상이 감지되면 과거 설정 변경 이력과 성과 데이터를 샅샅이 조회하여 원인을 규명하고 대응책을 마련합니다. 이처럼 토스의 다양한 부서에서 거대 언어 모델은 이미 없어서는 안 될 핵심 일꾼으로 묵묵히 제 몫을 다하고 있습니다.
토스는 커머스와 금융을 아우르는 다양한 업무에서 거대 언어 모델을 활용해 복잡한 문제를 해결합니다.
2. 공개된 순위표와 현업 환경의 괴리
새로운 인공지능 모델을 도입할 때 인터넷에 공개된 순위표는 후보를 압축하는 데 대단히 유용한 길잡이 역할을 해줍니다. 하지만 평가에 쓰인 언어나 추론 설정 방식이 실제 국내 사용자들이 마주하는 서비스 환경과 다르면 순위가 완전히 뒤바뀌기도 합니다. 영어를 기반으로 측정된 평가에서 엄청난 점수를 거둔 모델이라도 한국어 질의에 대해서는 엉뚱한 답변을 내놓을 수 있습니다. 실제로 수학과 코딩 능력을 검증할 때 동일한 문제의 영어 원문과 자연스러운 한국어 번역본을 각각 입력해 비교하는 실험을 진행했습니다. 그 결과 놀랍게도 영어 기준 평가에서 우위를 점했던 모델들이 한국어 번역본 평가에서는 순위가 밑으로 밀려나는 현상이 목격되었습니다. 수학 문제를 다룰 때 영어 점수가 더 높았던 모델보다 한국어 문제에서 오히려 더 높은 점수를 기록한 모델이 등장했습니다. 코딩 테스트 상황에서도 영어 환경에서는 앞서 있던 모델이 한국어 지시사항을 처리하는 과정에서 다른 모델에게 선두를 내주었습니다. 이러한 결과는 단순히 점수의 높고 낮음을 떠나 모델들 간의 상대적인 우위 관계 자체가 언어에 따라 달라진다는 점을 시사합니다. 따라서 국내 고객을 대상으로 서비스를 제공하는 기업이라면 번역된 질의에서도 일관된 성능을 내는지 반드시 검증해야 합니다.
공개된 순위표의 영어 점수가 높더라도 한국어 질의 환경에서는 모델 간의 순위가 역전될 수 있습니다.
3. 한국어 지식과 문화적 맥락의 중요성
수학이나 프로그래밍 영역 외에도 국내 사용자들의 일상적인 지식과 고유한 문화적 맥락을 정확히 이해하는 능력이 매우 중요합니다. 해외에서 개발된 거대 언어 모델은 방대한 영문 자료를 학습했기 때문에 서구권의 상식에는 밝지만 국내 정서에는 어두울 수 있습니다. 대한민국 고유의 금융 제도나 세법, 그리고 일상적인 생활 언어의 미묘한 뉘앙스를 파악하지 못하면 엉뚱한 상담을 제공하게 됩니다. 예를 들어 전세 보증금이나 주택 청약 제도와 관련된 질문을 받았을 때 국내 법령을 제대로 반영하지 못하면 큰 혼란을 초래합니다. 금융 상품의 약관을 분석할 때도 단순히 글자를 읽어내는 것을 넘어 행간에 숨겨진 소비자 보호 규정을 정확히 짚어내야 합니다. 이 때문에 평가 기준을 세울 때 국내 지식수준과 문화적 배경을 얼마나 깊이 이해하고 있는지 측정하는 항목이 반드시 포함되어야 합니다. 아무리 연산 속도가 빠르고 논리력이 뛰어난 모델이라도 국내 고객의 정서를 헤아리지 못한다면 현업에 투입될 자격이 없습니다. 토스는 이러한 현실적인 한계를 극복하기 위해 한국어 특화 평가 문항을 대거 발굴하여 자체 평가표에 반영했습니다.
국내 고유의 문화적 맥락과 금융 제도를 정확히 이해하는 한국어 특화 지식 검증이 필수적입니다.
4. 토스 도메인 맞춤형 평가 기준의 설계
범용적인 능력이 검증되었다면 그다음으로는 실제 토스의 업무 환경에 얼마나 알맞게 들어맞는지 정밀하게 측정해야 합니다. 토스 평가 체계는 크게 금융, 커머스, 고객 상담, 그리고 사내 개발 영역으로 나누어져 실제 업무 데이터를 활용합니다. 주택담보대출 상담 과정을 시뮬레이션할 때는 지식 검색 시스템과 시세 조회 기능, 그리고 총부채원리금상환비율 계산 도구를 능숙하게 호출하는지 봅니다. 고객 상담 자동화 단계에서는 복잡한 고객 정보를 안전하게 조회하여 문의에 정확히 답하고 민감한 사안은 상담사에게 연결합니다. 개발 운영 영역에서는 코드의 변경 사항을 꼼꼼히 검토하고 구조화된 질의어 분석을 통해 데이터 품질 검사 규칙을 생성합니다. 장애가 발생했을 때 서버의 로그 기록과 핵심 지표, 그리고 소스 코드를 종합적으로 조사하여 원인 후보를 도출합니다. 이러한 복잡한 실제 업무 시나리오를 바탕으로 모델의 수행 능력을 점수화하여 과연 현업에 곧바로 투입할 수 있을지 판정합니다. 단순히 시험 문제를 잘 푸는 것을 넘어 실제 도구와 유기적으로 연동되는 능력이 우수한 모델만이 최종 서빙 대상에 오릅니다.
실제 토스의 업무 데이터와 도구 연동 시나리오를 반영한 도메인 맞춤형 평가 기준을 설계했습니다.
5. 한정된 자원 속 최적의 모델 선별
모든 인공지능 모델을 현업에 무작정 도입할 수 없는 가장 큰 이유는 바로 막대한 그래픽 처리 장치 자원과 비용의 한계 때문입니다. 성능이 뛰어나다는 이유만으로 너무 무거운 모델을 채택하면 응답 속도가 느려지고 운영 비용이 감당하기 힘들 정도로 불어납니다. 따라서 토스는 성능 점수뿐만 아니라 서빙에 소모되는 자원의 효율성까지 함께 고려하여 최적의 균형점을 찾습니다. 평가 결과를 바탕으로 가벼우면서도 특정 업무에서 뛰어난 효율을 내는 모델을 골라내어 비용 대비 성능을 극대화합니다. 음성 에이전트처럼 실시간성이 중요한 서비스에서는 지연 시간이 짧은 모델을 우선적으로 배치하고 배포합니다. 반면 심층적인 분석이나 약관 검토처럼 속도보다 정확도가 극도로 요구되는 영역에는 조금 더 무거운 고성능 모델을 배정합니다. 이러한 세심한 자원 배분 전략 덕분에 토스는 품질 저하 없이 안정적이고 지속 가능한 인공지능 서비스를 운영할 수 있습니다. 한정된 자원을 가장 지혜롭게 나누어 쓰는 과정 자체가 거대 언어 모델 도입 성패를 가르는 핵심 열쇠입니다.
그래픽 처리 장치 자원과 운영 비용의 한계를 고려하여 최적의 효율을 내는 모델을 선별합니다.
6. 토스 인공지능의 미래와 발전 방향
앞으로 토스는 자체 평가 체계를 더욱 고도화하여 급변하는 인공지능 생태계에 발빠르게 대응해 나갈 계획입니다. 매일같이 쏟아지는 새로운 모델들을 일일이 수작업으로 검증하는 대신 자동화된 파이프라인을 통해 신속하게 우수성을 판별합니다. 또한 토스 파운데이션 모델이 갖추어야 할 고유한 역량을 정의하고 이를 강화하기 위한 학습 데이터와 프롬프트를 지속해서 보강합니다. 단순히 외부 모델을 가져다 쓰는 것에 머무르지 않고 토스만의 독보적인 금융 도메인 지식을 녹여낸 특화 모델을 완성해 나갑니다. 현업 부서와의 긴밀한 소통을 통해 실제로 인공지능이 가장 절실하게 필요한 영역을 발굴하고 성능을 지속해서 개선합니다. 이러한 노력은 결국 고객이 토스 앱을 사용할 때 더욱 안전하고 편리하며 지능적인 금융 경험을 누리도록 만드는 밑거름이 됩니다. 완벽한 모델이란 처음부터 존재하는 것이 아니라 현업의 목소리를 담아 끊임없이 갈고닦는 과정 속에서 비로소 탄생합니다.
지속적인 평가 체계 고도화와 현업 연계를 통해 더욱 지능적이고 안전한 금융 경험을 만들어 갑니다.
자주 묻는 질문
=
🔗 함께 읽으면 좋은 글: 다이렉트인덱싱 : 나만의 지수 만들고 투자하기(feat. NH투자증권)
