Berperan Penting di Gemini AI, Apa Itu Token & Context Window
Referensi
01 November 2024 14:59
Bloomberg Technoz, Jakarta - Teknologi generative artificial intelligence (AI) atau kecerdasan buatan generatif semakin banyak digunakan untuk membantu berbagai pekerjaan sehari-hari. Salah satu platform generative AI yang populer adalah Gemini AI dari Google.
Dengan fitur canggih yang ditawarkannya, Gemini AI menarik minat banyak pengguna untuk memanfaatkan layanan ini untuk berbagai tugas, mulai dari menghasilkan teks, gambar, audio, video, hingga pemrograman.
Namun, sebelum memutuskan untuk menggunakan atau berlangganan Gemini AI, penting untuk memahami aspek-aspek utama dari teknologi ini, terutama konsep token dan context window yang menjadi fondasi kinerja AI ini.
Apa Itu Token dalam Gemini AI?
Dalam konteks Gemini AI dan model generative AI lainnya, token adalah unit terkecil dari informasi yang diproses. Token ini bisa berupa karakter individu seperti huruf “A” atau bisa juga berupa kata utuh seperti “mobil.” Ketika AI memproses teks, ia membagi kata-kata menjadi beberapa token, terutama pada kata yang lebih panjang atau kompleks.
Setiap model AI memiliki kosakata (vocabulary) yang mengatur bagaimana informasi diubah menjadi token, yang selanjutnya dikenal dengan istilah tokenization. Pada acara “Let’s Talk AI” yang diadakan oleh Google Cloud di Singapura, Caroline Yap, Managing Director Global AI Business di Google Cloud, menyampaikan bahwa, “Token adalah cara model Large Language Models (LLM) mengetahui cara memproses informasi yang dimasukkan. Dan token juga dapat berbeda untuk gambar, seperti pada deteksi kanker payudara, dan ini bukan satu ukuran untuk semua model.”
