Chatbot ChatGPT yang sedang populer akhir-akhir ini memiliki berbagai hal menarik mulai dari kelebihan, kelemahan, dan biaya operasionalnya. Baru-baru ini, sebuah penelitian dari SemiAnalysis memperkirakan biaya yang dikeluarkan OpenAI untuk menjalankan ChatGPT mencapai USD 694.444 atau sekitar Rp 10,3 miliar per hari.
Biaya tersebut terdiri dari penggunaan 3.617 server HGX A100 yang dilengkapi dengan 28.936 GPU. Setiap pertanyaan yang dijawab oleh ChatGPT diperkirakan memiliki biaya sebesar 0,36 sen atau hampir Rp 5.000.
Meskipun demikian, perlu diingat bahwa angka tersebut hanya untuk ChatGPT versi GPT-3 dan untuk versi terbaru GPT-4 diperkirakan biayanya akan lebih mahal.
Menurut Dylan Patel, Chief Analyst di SemiAnalysis, biaya tersebut memang sangat besar, namun sejalan dengan kemampuan ChatGPT yang sangat canggih dan mampu memberikan jawaban yang akurat.
Kendala Utama Pengoperasian ChatGPT
GPT-4 saat ini sudah tersedia untuk pelanggan berbayar dan menawarkan informasi yang lebih akurat serta perlindungan yang lebih baik terhadap komentar yang keluar dari topik pembicaraan. Hal ini merupakan solusi atas masalah utama yang ada di GPT-3 dan 3,5.
Namun, biaya operasional yang sangat tinggi menjadi kendala utama dalam pengoperasian ChatGPT. Sistem ini memerlukan chip khusus yang sangat boros daya.
OpenAI Kembangkan Chip AI Baru Guna Mengurangi Biaya Operasional ChatGPT
Untuk mengurangi biaya operasional tersebut, Microsoft sebagai salah satu investor besar di OpenAI sedang mengembangkan chip AI baru yang disebut Athena. Athena ini akan menggantikan GPU Nvidia sebagai otak utama sistem GPT dan diharapkan dapat mengurangi biaya operasional ChatGPT secara signifikan.
Tidak hanya biaya operasional yang tinggi, harga komponen untuk menjalankan ChatGPT pun juga sangat mahal. Sebagai contoh, harga sebuah GPU A100 mencapai USD 10 ribu atau setara dengan Rp 150 juta.
Ada puluhan ribu GPU A100 yang digunakan di komputer super untuk melatih ChatGPT. Komputer super tersebut dibangun setelah Microsoft menginvestasikan USD 1 miliar ke OpenAI pada tahun 2019.
Pembuatan komputer super ini tidaklah mudah, karena Microsoft harus mengatasi berbagai masalah seperti masalah panas yang dihasilkan dan masalah lainnya.