Dari 4 Juta USD Menjadi 70 Juta USD dalam Dua Tahun: Cara Retell Membangun Agen Suara AI di AWS yang Terasa Sealami Berbicara dengan Seseorang

Retell adalah platform AI percakapan yang memungkinkan bisnis menciptakan percakapan seperti manusia dengan pelanggan mereka. Menjalankan seluruh infrastrukturnya di AWS, perusahaan rintisan ini mengandalkan layanan seperti Amazon DynamoDB, Amazon ElastiCache, dan Amazon Elastic Container Service (ECS) untuk memastikan komunikasi latensi rendah, konsisten, dan andal dalam skala besar.

Ketika pelanggan menghubungi perusahaan untuk mendapatkan dukungan, mereka mengharapkan percakapan cepat dan alami. “Mereka menginginkan sesuatu yang sigap. Mereka menginginkan sesuatu yang terasa instan dan seperti percakapan biasa,” kata Zexia Zhang, Co-founder dan CTO di Retell. Mengelola tuntutan yang lebih tinggi ini dari sejumlah besar pelanggan secara tradisional mengharuskan perusahaan untuk meningkatkan operasi manusia. Akibatnya, “Ada banyak kerumitan manajemen. Ada banyak overhead pelatihan. Anda mungkin harus membuka banyak lokasi berbeda untuk mencakup lebih banyak zona waktu,” kata Zhang.

Retell membantu bisnis memberikan pendekatan yang lebih dapat diskalakan. Bagi pelanggannya Anker, AI dari Retell menyelesaikan 80 persen kasus dukungan pelanggan, semuanya sambil mempertahankan skor promotor bersih 63 di seluruh panggilan dukungan langsung di AS dan Inggris Raya.

Seperti manusia, mengutamakan suara, secara waktu nyata, dan selama 24/7

Dibangun di AWS, platform AI percakapan berbasis LLM, mirip manusia, dan mengutamakan suara dari Retell ini memungkinkan bisnis berkomunikasi secara waktu nyata dengan pelanggan mereka. Agen AI merespons secara alami, mengajukan pertanyaan lanjutan, mencari informasi, melaksanakan tugas atau mentransfer panggilan ke manusia saat dibutuhkan. “Agen AI konsisten dalam kualitas. Hal tersebut tidak akan dipengaruhi oleh emosi. Layanan ini ada di sana selama 24/7. Hal itu jauh lebih murah,” kata Zhang. Terbebas dari kebutuhan untuk berinvestasi dalam infrastruktur fisik yang mahal, pelanggan Retell “kini dapat menskalakan bisnis dan operasi mereka jauh lebih cepat.”

Orang mungkin menginginkan “sesuatu yang cepat” dari bisnis yang berinteraksi dengan mereka, tetapi selain kecepatan, mereka juga menginginkan keandalan dan akurasi dari interaksi ini. Tidak seperti banyak solusi warisan yang mengandalkan pesan prarekaman dan sebagian besar digunakan untuk tujuan perutean, platform Retell memberikan “percakapan end-to-end,” kata Zhang. “Sering kali pengguna akhir bahkan tidak bisa membedakan bahwa itu AI. Hal tersebut mampu terhubung ke alur kerja dan sistem bisnis serta melakukan tindakan yang benar-benar menyelesaikan sesuatu.” Platform ini dapat mengakses sistem internal bisnis, mengambil data yang relevan, mengevaluasinya, dan berdasarkan temuannya memberikan hasil yang berarti, semuanya dilakukan pada sebagian kecil waktu yang dibutuhkan manusia untuk melakukan proses yang sama ini.

Cara mereka merancang untuk kecepatan

Retell menetapkan standar tinggi ketika memilih penyedia infrastruktur, mencari partner yang dapat membantunya memberikan pengalaman terbaik bagi pelanggan dan pelanggan akhir mereka. “Kami tidak berkompromi dengan solusi yang hampir tidak berhasil dan kami tidak berkompromi dengan infrastruktur yang mungkin berfungsi,” kata Zhang. “Kami menghargai kualitas, kami menghargai produk, serta hal tersebut adalah sesuatu yang sangat kami banggakan. Kami mencoba yang terbaik untuk mendorong kualitas terbaik yang dapat kami bangun dengan cara tercepat.” AWS, lanjutnya, “memenuhi semua kebutuhan kami.”

Retell menjalankan seluruh infrastrukturnya di AWS dan “sangat tertanam dalam ekosistem AWS,” kata Zhang. Perusahaan ini menggunakan Amazon DynamoDB, basis data NoSQL nirserver yang terkelola penuh, dan terdistribusi dengan performa milidetik satu digit dalam skala besar. Untuk caching, perusahaan ini bergantung pada Amazon ElastiCache, bersama dengan Amazon DynamoDB “yang memberi kami pengambilan yang cukup cepat untuk hal apa pun, jadi ketika panggilan masuk, kami masuk ke layanan tersebut untuk mendapatkan data dan konfigurasi yang diperlukan.”

Ini membangun, mengelola, dan menjalankan aplikasi kontainer dengan Amazon ECS, memungkinkannya untuk menaikkan dan menurunkan skala dengan kecepatan untuk mendukung ‘periode kritis,’ momen penting di siang hari ketika bisnis mengalami beban panggilan yang tinggi. Latensi adalah faktor lain yang sangat penting untuk keberhasilan platform. Membangun solusi dari bawah ke atas berarti setiap elemen harus memiliki latensi rendah: “Anda tidak dapat memiliki jalur tunggal yang memakan waktu sangat lama,” kata Zhang. Menemukan “banyak hal di dalam AWS” telah membantu Retell mencapai latensi rendah ini; dengan klaster GPU serta CPU yang terletak di pusat data yang sama, “Anda tidak perlu melakukan perjalanan ke luar jaringan.”

Terus melangkah maju

Pertumbuhan Retell sangat cepat. Pada tahun 2024, perusahaan rintisan ini mengakhiri tahun dengan pendapatan tahunan sekitar 4 juta USD. Pada akhir 2025, pendapatannya mencapai 40 juta USD. “Saat ini kami sekitar 70 juta USD,” kata Zhang. Ukuran tim telah berlipat ganda dari 20 menjadi 40, dan lalu lintas telah meningkat 10x.

Pertumbuhan semacam itu memberi tekanan pada infrastruktur. "Kami melihat semuanya mulai berkembang," kata Zhang. "Kami membutuhkan lebih banyak alamat IP. Kami membutuhkan lebih banyak instans. Kami membutuhkan lebih banyak GPU" AWS telah mengimbangi langkah sejak hari pertama, ketika berpartisipasi dalam AWS Activate memungkinkan Retell untuk fokus pada produk alih-alih biaya operasional. "Ini memungkinkan kami untuk tidak khawatir tentang biaya operasional dan hanya terus fokus pada membangun bisnis, membangun produk, berbicara dengan pelanggan," kata Zhang.

Hubungan ini makin dalam seiring dengan meningkatnya skala Retell. "Kami dapat, misalnya, meminta rekayasawan dari AWS untuk melakukan panggilan dengan kami, untuk memecahkan masalah dalam produksi," kata Zhang. "Hal tersebut sangat membantu kami untuk maju." Kini, Retell membuka kasus penggunaan baru dengan kapasitas GPU tambahan dari AWS dan berupaya menuju pendaftaran di AWS Marketplace untuk memperluas jangkauannya serta mempercepat siklus penjualan. "AWS adalah penyedia infrastruktur terbesar kami dan kami akan terus berinvestasi dalam hal ini," kata Zhang. "Masih banyak hal yang akan kami capai bersama."