2년 만에 400만 USD에서 7,000만 USD로: Retell이 AWS를 기반으로 사람과 대화하는 것처럼 자연스러운 AI 음성 에이전트를 구축한 방법

Retell은 기업이 고객과 사람처럼 대화를 나눌 수 있게 해주는 대화형 AI 플랫폼입니다. 전체 인프라를 AWS에서 운영하는 이 스타트업은 Amazon DynamoDB, Amazon ElastiCache, Amazon Elastic Container Service(ECS) 등의 서비스를 사용하여 지연 시간이 짧고 일관되며 안정적인 대규모 커뮤니케이션을 보장합니다.

고객은 지원을 받기 위해 기업에 전화를 걸 때 즉각적이고 자연스러운 대화를 기대합니다. Retell의 공동 창립자이자 CTO인 Zexia Zhang은 “고객은 빠른 반응을 원합니다. 즉각적이고 대화하는 듯한 느낌을 원하죠”라고 말합니다. 더 많은 고객의 높아진 요구를 기존 방식으로 충족하려면 기업이 인력을 확충해야 했습니다. 그 결과 Zhang은 “관리 측면에서 많은 어려움이 있습니다. 교육에 많은 시간과 노력이 소요됩니다. 그리고 더 많은 시간대를 지원하려면 여러 지역에 지점을 많이 개설해야 할 수도 있습니다”라고 말합니다.

Retell은 기업이 보다 확장성이 뛰어난 접근 방식을 제공할 수 있도록 지원합니다. 이 회사의 고객사인 Anker의 사례에서 Retell의 AI는 고객 지원 사례의 80%를 해결하는 동시에 미국과 영국의 실시간 지원 통화에서 63점의 순 추천 점수를 유지하고 있습니다.

사람처럼 자연스럽고, 음성 중심이며, 실시간으로 연중무휴 제공

AWS를 기반으로 구축된 Retell의 사람처럼 자연스럽고 음성 중심의 LLM 기반 대화형 AI 플랫폼을 통해 기업은 고객과 실시간으로 소통할 수 있습니다. AI 에이전트는 자연스럽게 응답하고, 추가 질문을 하며, 정보를 조회하고, 작업을 수행하거나 필요한 경우 통화를 상담원에게 연결합니다. Zhang은 “AI 에이전트는 일관된 품질을 제공합니다. 감정의 영향을 받지 않습니다. 연중무휴로 이용할 수 있습니다. 게다가 비용도 훨씬 저렴합니다”라고 말합니다. Retell의 고객은 고가의 물리적 인프라에 투자할 필요가 없어지면서 “이제 비즈니스와 운영을 훨씬 더 빠르게 확장할 수 있게 되었습니다.”

사람들은 기업과 소통할 때 ‘빠르게 반응하는 서비스’를 원할 수 있지만, 이러한 소통에서 속도와 함께 신뢰성과 정확성도 기대합니다. 사전 녹음된 메시지를 사용하고 주로 통화 연결 목적으로 활용되는 기존의 많은 솔루션과 달리, Retell의 플랫폼은 “처음부터 끝까지 이어지는 대화”를 제공한다고 Zhang은 말합니다. “대부분의 경우 최종 사용자는 이것이 AI라는 사실조차 알아차리지 못합니다. 또한 기업의 워크플로와 시스템에 연동하여 실제로 작업을 완료하는 조치를 수행할 수 있습니다.” 이 플랫폼은 기업의 내부 시스템에 액세스하고, 관련 데이터를 검색하고, 이를 평가한 후, 그 조사 결과를 바탕으로 의미 있는 결과를 제공합니다. 이 모든 과정을 기존에 사람이 수행할 때 걸리는 시간의 일부만으로 처리할 수 있습니다.

속도를 고려한 설계 방식

Retell은 인프라 제공업체를 선정할 때 높은 기준을 세우고, 고객과 고객의 최종 사용자에게 가능한 최상의 경험을 제공할 수 있도록 지원하는 파트너를 찾았습니다. Zhang은 “간신히 작동하는 솔루션이나 어쩌면 작동할 수도 있는 인프라를 선택하는 타협은 하지 않습니다. 우리는 품질을 중요하게 생각하고, 제품을 중요하게 생각합니다. 저희가 정말 자랑스럽게 생각하는 부분이죠. 저희가 구축할 수 있는 최고의 품질을 최대한 빠른 방식으로 제공하기 위해 최선을 다하고 있습니다”라고 말합니다. 이어서 그는 AWS가 “저희 니즈를 충족합니다”라고 말합니다.

Retell은 전체 인프라를 AWS에서 운영하며 ‘AWS 에코시스템에 깊숙이 임베딩되어 있다’고 Zhang은 말합니다. 대규모로 10밀리초 미만의 성능을 제공하는 완전관리형 서버리스 분산 NoSQL 데이터베이스인 Amazon DynamoDB를 사용합니다. 캐싱의 경우 Amazon ElastiCache를 사용하는데, Amazon DynamoDB와 함께 “모든 항목에 대해 매우 빠른 검색을 제공하므로 직접 호출이 들어오면 해당 서비스를 사용하여 필요한 데이터와 구성을 가져옵니다.”

Amazon ECS를 사용하여 컨테이너화된 애플리케이션을 구축, 관리 및 실행함으로써 비즈니스의 통화량이 급증하는 하루 중 주요 시간대인 ‘골든 아워’를 지원할 수 있도록 신속하게 스케일 업하거나 스케일 다운할 수 있습니다. 지연 시간도 플랫폼의 성공에 중요한 요소였습니다. 솔루션을 처음부터 구축한다는 것은 모든 요소에서 짧은 지연 시간을 구현해야 한다는 의미였습니다. Zhang은 “단 하나의 파이프라인이라도 처리 시간이 너무 오래 걸려서는 안 됩니다”라고 말합니다. ‘AWS 내에 많은 구성 요소를 배치한 것’이 Retell이 짧은 지연 시간을 달성하는 데 도움이 되었습니다. GPU와 CPU 클러스터가 동일한 데이터 센터에 위치해 있어 “네트워크 외부로 나갈 필요가 없습니다.”

지속적인 발전

Retell은 빠르게 성장하고 있습니다. 이 스타트업은 2024년을 연간 환산 매출 약 400만 달러로 마무리했습니다. 2025년 말에는 매출이 4,000만 달러에 달했습니다. Zhang은 “그리고 현재는 약 7,000만 달러 수준입니다”라고 말합니다. 팀 규모는 20명에서 40명으로 두 배 늘었고, 트래픽은 10배 증가했습니다.

이러한 성장은 인프라에 부담을 줍니다. Zhang은 “모든 것이 확장되기 시작하는 것이 보입니다. 더 많은 IP 주소가 필요합니다. 더 많은 인스턴스가 필요합니다. 더 많은 GPU가 필요합니다.”라고 말합니다. AWS는 Retell의 초기 단계부터 이러한 성장 속도에 발맞춰 왔으며, 당시 AWS Activate에 참여하면서 Retell은 운영 비용보다 제품에 집중할 수 있었습니다. Zhang은 “이를 통해 운영 비용에 대해 걱정하지 않고 비즈니스를 구축하고 제품을 개발하며 고객과 소통하는 데만 계속 집중할 수 있었습니다”라고 말합니다.

Retell이 성장하면서 양사의 관계도 더욱 긴밀해졌습니다. Zhang은 “예를 들어 AWS 엔지니어가 저희와 함께 통화에 참여하여 프로덕션 환경에서 발생한 문제를 해결할 수 있습니다. 이는 저희가 계속해서 발전하는 데 큰 도움이 됩니다”라고 말합니다. 이제 Retell은 AWS의 추가 GPU 용량을 활용하여 새로운 사용 사례를 발굴하고 있으며, 더 많은 고객에게 서비스를 제공하고 영업 주기를 단축하기 위해 AWS Marketplace 등록을 추진하고 있습니다. Zhang은 “AWS는 저희의 가장 큰 인프라 제공업체이며, 앞으로도 여기에 계속 투자할 것입니다. 앞으로 AWS와 함께 이룰 일이 훨씬 더 많습니다”라고 말합니다.