“Alih-alih membawa buku dari perpustakaan ke rumah, Anda pergi ke perpustakaan untuk mengerjakan tugas,” kata profesor bidang cip Universitas Stanford, Philip Wong, seorang ahli terkemuka. Ia merupakan konsultan untuk Taiwan Semiconductor Manufacturing Co (TSMC).
Proses ini, yang sering disebut sebagai komputasi dalam memori, telah menghadapi tantangan teknis dan baru saja melampaui tahap penelitian. Dengan penggunaan listrik AI yang menimbulkan pertanyaan serius tentang kelayakan ekonomi dan dampak lingkungannya, teknik yang dapat membuat AI lebih hemat energi mungkin akan membuahkan hasil yang besar.
Hal ini membuat komputasi dalam memori menjadi topik yang semakin menarik — dan bahkan berarti mulai terjebak dalam pertikaian geopolitik yang lebih luas mengenai semikonduktor.
Produsen cip besar seperti TSMC, Intel, dan Samsung, semuanya meneliti komputasi dalam memori. Intel Corp telah memproduksi beberapa cip untuk melakukan penelitian, kata Ram Krishnamurthy, kepala insinyur di Intel Labs, divisi penelitian perusahaan, meskipun ia menolak untuk mengatakan bagaimana komputasi dalam memori dapat masuk ke dalam jajaran produk Intel.
Figur seperti Chief Executive Officer OpenAI, Sam Altman, perusahaan seperti Microsoft, dan entitas yang berafiliasi dengan pemerintah dari China, Arab Saudi, dan tempat lainnya telah berinvestasi di perusahaan startup yang bekerja pada teknologi ini.
Pada bulan November, sebuah panel pemerintah AS meninjau investasi asing—yang memiliki implikasi keamanan nasional—memaksa pemilikk modal yaitu perusahaan energi Saudi Aramco untuk melepaskan diri dari Rain AI, sebuah startup komputasi dalam memori yang berbasis di San Francisco
Unit modal ventura Aramco sekarang mencari perusahaan lain yang bekerja di bidang komputasi in-memory di luar AS, dengan pencarian aktif di China, menurut beberapa sumber, yang tidak ingin disebutkan namanya karena membahas masalah bisnis non-publik.
China, khususnya, menunjukkan minat yang semakin besar terhadap teknologi ini. Beberapa startup seperti PIM Chip, Houmo.AI, dan WITmem, mengumpulkan dana dari para investor terkemuka, menurut PitchBook.
Naveen Verma, seorang profesor di Princeton University dan co–founder EnCharge AI, startup bidang komputasi dalam memori, mengatakan bahwa ia sering diundang untuk menyampaikan pendapat tentang topik ini di berbagai perusahaan dan universitas di China.
“Mereka mencoba secara agresif untuk memahami bagaimana membangun sistem komputasi dalam memori dan sistem canggih secara umum,” katanya. Verma mengatakan bahwa ia belum pernah ke Tiongkok selama beberapa tahun dan hanya menyampaikan di Asia tentang karya akademisnya, bukan tentang teknologi EnCharge.
Masih jauh dari kepastian bahwa teknologi cip ini akan menjadi bagian penting dari masa depan komputasi AI. Secara tradisional, cip komputasi dalam memori sensitif terhadap faktor lingkungan seperti perubahan suhu, yang menyebabkan kesalahan komputasi.
Para startup sedang mengerjakan berbagai pendekatan untuk memperbaiki hal ini, tetapi tekniknya masih baru. Mengganti ke jenis cip baru itu mahal, dan pelanggan sering kali ragu-ragu untuk melakukannya kecuali mereka yakin akan adanya peningkatan signifikan.
Perusahaan startup kemudian harus meyakinkan pelanggan bahwa manfaatnya sebanding dengan risikonya.
Untuk saat ini, startup komputasi in-memory belum mengerjakan bagian tersulit dari komputasi AI: melatih model-model baru.
Proses ini, di mana algoritma memeriksa petabyte data untuk mendapatkan pola yang mereka gunakan guna membangun sistem, sebagian besar ditangani oleh cip canggih—yang dirancang oleh perusahaan seperti Nvidia Corp.
Perusahaan ini telah mengerjakan strateginya sendiri untuk meningkatkan efisiensi daya, termasuk mengurangi ukuran transistor dan meningkatkan cara cip berkomunikasi satu sama lain.
Dibandingkan melawan Nvidia secara langsung, startup yang membuat chip komputasi dalam memori memilih membangun bisnis mereka berdasarkan inferensi. Caranya menggunakan model yang sudah ada untuk menerima perintah dan mengeluarkan konten.
Inferensi tidak serumit pelatihan, namun hal ini terjadi dalam skala besar, yang berarti ada pasar yang bagus untuk cip yang dirancang khusus untuk membuatnya lebih efisien.
Konsumsi daya yang intensif dari produk utama Nvidia, jenis cip yang dikenal sebagai unit pemrosesan grafis (GPU), membuatnya menjadi pilihan yang relatif tidak efisien untuk digunakan dalam proses inferensi, ujar Sid Sheth, founder dan CEO d-Matrix, sebuah startup chip berbasis di Silicon Valley.
d-Matrix berhasil mengumpulkan dana sebesar US$160 juta dari para investor, seperti Microsoft Corp. dan BUMN Singapura, Temasek Holdings Pte Ltd. Dia mengatakan bahwa melakukan presentasi kepada para investor merupakan hal yang sulit hingga booming AI dimulai.
“Paruh pertama tahun 20223, semua orang mendapatkannya karena ChatGPT,” katanya. Perusahaan selanjutnya berencana untuk menjual cip pertamanya tahun ini dan mencapai produksi massal pada tahun 2025.
Perusahaan komputasi in-memory masih mencari tahu penggunaan terbaik untuk produk mereka. Salah satu startup komputasi in-memory, Axelera yang berbasis di Belanda, menargetkan aplikasi visi komputer di mobil dan pusat data; pendukung Mythic yang berbasis di Austin, Texas, melihat komputasi in-memory ideal untuk aplikasi seperti kamera keamanan bertenaga AI dalam waktu dekat, tetapi pada akhirnya berharap mereka dapat digunakan untuk melatih model AI.
Besarnya skala penggunaan energi AI menambah urgensi bagi semua orang yang bekerja untuk membuat teknologi ini menjadi lebih efisien, kata Victor Zhirnov, chief scientist di Semiconductor Research Corp, lembaga think tank industri.
“AI sangat membutuhkan solusi hemat energi. Jika tidak, AI akan segera mati dengan sendirinya,” pungkas dia.
(bbn)
