Categories: 미분류

토스증권이 GPU 인식 단계를 넘어 네이티브 클러스터를 구축한 방법

토스증권은 수백 명의 개발자가 협업하는 대규모 쿠버네티스 기반 환경에서 인공지능 서비스를 안정적으로 실행하기 위해 GPU 기반 시설을 혁신적으로 개편했습니다. 단순히 장치를 인식시키는 기초적인 단계를 넘어서, 실제 운영 과정에서 마주치는 수많은 한계를 극복하고 완전한 네이티브 환경을 구축하는 데 성공했습니다. 과거에는 장치 드라이버와 도구의 버전 맞추기부터 여러 부서가 자원을 나누어 쓰는 문제까지 운영자의 손길이 닿지 않는 곳이 없었습니다. 하지만 이러한 수동 작업과 임시방편을 넘어 이제는 쿠버네티스 자체의 동적 자원 할당 흐름과 발맞추어 한 단계 더 진화한 기반 시설을 완성했습니다. 오늘 글에서는 기초적인 장치 인식 과정부터 실제 운영 환경의 난제를 풀어나간 구체적인 여정을 상세하게 나누어 보겠습니다. 현업에서 대규모 인공지능 기반 시설을 고민하는 기술자분들이라면 무릎을 칠 만한 실무적인 통찰을 얻어가실 수 있을 것입니다.

Table of Contents

Toggle

토스증권이 GPU 인식 단계를 넘어 네이티브 클러스터를 구축한 방법

1. 기초 다지기

장비에 부착된 그래픽 장치를 활용하기 위해서는 운영체제와 연결되는 첫 번째 단계부터 탄탄하게 준비해야 합니다. 서버에 물리적인 장치가 꽂혀 있더라도 이를 제어할 수 있는 핵심 드라이버가 없다면 운영체제는 해당 부품을 전혀 알아차리지 못합니다. 커널 수준에서 장치를 온전히 인식해야 비로소 다음 단계로 넘어갈 수 있는 기본 자격이 주어집니다.

드라이버가 준비되었다면 그다음에는 컨테이너 환경과 하드웨어를 이어주는 연결 고리인 도구를 반드시 설치해야 합니다. 아무리 운영체제가 장치를 품고 있어도 격리된 가상 공간 안에서는 이 연결 도구가 없으면 성능을 온전히 끌어쓸 수 없습니다. 현업에서는 이 도구의 버전을 알맞게 맞추지 못해 애를 먹는 경우가 정말 많습니다.

💡 핵심 포인트
장치 드라이버와 연결 도구를 바르게 설치해야 가상 공간 안에서 성능을 온전히 발휘할 수 있습니다.

2. 자원 등록과 스케줄링

연결 도구가 제 역할을 하더라도 쿠버네티스 관리 시스템은 아직 이 고성능 장치를 자원으로 바로 인식하지 못합니다. 이때 특별한 장치 관리 플러그인이 등장하여 시스템 관리자에게 해당 부품의 존재를 정확하게 알리는 역할을 수행합니다. 관리 시스템은 이 정보를 바탕으로 전체 자원 용량을 계산하고 사용 가능한 상태로 장부를 갱신합니다.

사용자가 작업 요청서를 작성할 때 필요한 부품의 양을 지정하면 관리 시스템은 등록된 장부 정보를 보고 알맞은 작업 공간에 배정합니다. 이 모든 과정을 거치고 나면 비로소 장치를 인식하는 기초 단계가 비로소 마무리됩니다. 하지만 현장에서는 이 네 가지 단계를 노드마다 똑같이 유지하는 일이 엄청난 수고로 다가옵니다.

💡 핵심 포인트
장치 관리 플러그인을 통해 관리 시스템이 자원을 인식하고 알맞은 작업 공간에 배정할 수 있습니다.

3. 운영의 한계 마주하기

모든 노드가 준비 완료 상태를 가리키고 있어도 개별 부품 내부에 미세한 오류가 숨어 있는 경우는 생각보다 자주 발생합니다. 점검을 마친 서버를 다시 현장에 투입할 때 어떤 기준으로 안전하다고 판단해야 할지 명확한 지표가 필요했습니다. 부품 한 장을 통째로 내어주는 방식은 작은 작업만 필요한 부서에게는 엄청난 낭비로 이어졌습니다.

여러 부서가 하나의 기반 시설을 함께 쓰려면 플랫폼 차원에서 세밀한 제어와 공정한 배분이 반드시 뒷받침되어야 했습니다. 단순히 장치가 보인다는 이유만으로 운영의 모든 문제가 저절로 해결되지는 않는다는 사실을 현장에서 뼈저리게 느꼈습니다. CPU와 시스템 기억장치는 리눅스 커널의 통제를 받지만 이 고성능 부품은 그와 다른 독자적인 제어 경로를 거치기 때문에 더욱 까다로웠습니다.

💡 핵심 포인트
장치가 눈에 보이더라도 개별 부품의 오류 판별과 공정한 자원 쪼개기는 별개의 운영 과제입니다.

4. 네이티브로의 진화

토스증권은 이러한 한계를 극복하기 위해 단순 인식을 넘어선 완전한 네이티브 환경으로 나아가는 길을 선택했습니다. 검증된 노드만 작업을 받을 수 있도록 꼼꼼한 확인 절차를 도입하고 플랫폼 내부의 운영 로직을 다듬었습니다. 여러 팀이 엉키지 않고 자원을 효율적으로 나누어 쓸 수 있도록 세분화된 배치 전략도 함께 적용했습니다.

이 과정에서 마주친 여러 까다로운 문제들을 자체적인 도구와 운영 규칙으로 슬기롭게 해결해 나갔습니다. 흥미롭게도 최근에는 관리 시스템 자체에서도 동적 자원 할당 기능을 통해 비슷한 문제를 해결하려는 움직임이 이어지고 있습니다. 우리가 지난 몇 년간 발로 뛰며 보완해 온 고민들이 이제는 표준 기술의 흐름과 맞닿아 있는 셈입니다.

💡 핵심 포인트
검증된 노드만 선별하고 자원을 세분화하여 나누어 쓰는 체계를 갖춰야 진정한 네이티브 환경이 됩니다.

5. 현장의 실제 사례

현업에서 대규모 인공지능 모델을 다루다 보면 어느 날 갑자기 특정 서버의 응답 속도가 현저하게 떨어지는 기현상을 마주하곤 합니다. 원인을 찾아보면 부품 자체는 정상이지만 메모리 영역에 과도한 부하가 걸려 전체적인 흐름이 막혀 있는 경우가 많습니다. 이때 세분화된 자원 통제 기능이 없다면 다른 부서의 중요한 작업까지 한꺼번에 멈춰 서는 아찔한 상황이 벌어집니다.

과거에는 이러한 문제가 생길 때마다 담당자가 일일이 서버에 접속하여 상태를 점검하고 수동으로 바로잡아야 했습니다. 하지만 네이티브 환경을 구축한 이후부터는 플랫폼이 스스로 이상 징후를 감지하고 안전한 노드로 작업을 알아서 옮겨줍니다. 덕분에 개발자들은 복잡한 인프라 관리 걱정 없이 핵심 기능 개발에만 온전히 집중할 수 있게 되었습니다.

💡 핵심 포인트
자동화된 이상 감지와 작업 이전 기능 덕분에 장애 상황에서도 서비스를 안정적으로 지킬 수 있습니다.

6. 미래 전망과 제언

앞으로 인공지능 기반 시설은 더욱 복잡하고 거대한 규모로 확장될 것이며 이를 지탱하는 플랫폼의 역할은 더욱 중요해질 것입니다. 단순히 서버를 늘리는 것을 넘어 자원을 얼마나 똑똑하게 나누고 관리하느냐가 기업의 기술 경쟁력을 좌우하는 시대가 되었습니다. 처음부터 완벽한 환경을 만들 수는 없지만 기초적인 인식 단계부터 차근차근 다지며 나아간다면 충분히 완성도 높은 기반을 구축할 수 있습니다.

이 글을 읽는 기술자분들도 당장 마주한 장애와 불편함을 임시방편으로 덮어두기보다 근본적인 구조 개선을 고민해 보시기를 권장합니다. 철저한 검증과 세심한 자원 통제가 어우러진다면 여러분의 조직에서도 훌륭한 네이티브 환경을 충분히 만나보실 수 있을 것입니다. 앞으로도 현장에서 얻은 소중한 경험과 지혜를 아낌없이 나누며 함께 성장해 나가기를 진심으로 응원합니다.

💡 핵심 포인트
체계적인 구조 개선과 지속적인 고민을 통해 미래 지향적인 인공지능 기반 시설을 완성해 나갑니다.