OpenAI Ungkap Hasil Uji Chip Jalapeno, Klaim Lebih Efisien dari Nvidia

OpenAI mempresentasikan hasil pengujian awal chip kecerdasan buatan buatan sendiri, Jalapeno, pada konferensi Hot Chips 2026. Chip ini dikembangkan khusus untuk inferensi AI dan mengklaim throughput lebih tinggi dengan konsumsi daya lebih rendah dibandingkan sistem Nvidia GB200 dan GB300. Dalam pengujian menggunakan benchmark InferenceX, Jalapeno mampu menghasilkan 1,5 hingga 1,9 kali lebih banyak throughput per kilowatt, sekaligus mencatat latensi end-to-end 1,7 hingga 3,6 kali lebih rendah. Pengujian dilakukan pada beberapa model termasuk GPT-OSS 120B, DeepSeek R1, dan Kimi K2.5. Jalapeno dikembangkan bersama Broadcom dan dirancang untuk mengurangi perpindahan data antara komputasi, memori, dan jaringan, khususnya pada pengelolaan KV cache. Chip ini memiliki rating daya sekitar 700 watt, dengan konsumsi daya berkelanjutan di kisaran 550 watt. Satu rack dapat menampung 128 chip, sementara satu pod dapat berisi hingga 2.048 ASIC. Konfigurasi 128 chip mampu mencapai sekitar 1,7 exaflops untuk komputasi 4-bit dengan menggunakan 27,5 TB HBM4.