“Ini menjadi seperti krisis eksistensial bagi perusahaan-perusahaan. Ini adalah dua pilihan yang buruk. Anda keluar dan langsung mati, atau Anda bermitra dengan mereka dan Anda mungkin akan mati perlahan-lahan, karena pada akhirnya mereka juga tidak akan membutuhkan Anda,” cerita Joe Ragazzo, publisher situs berita Talking Points Memo.
Google mengatakan bahwa AI Overviews sebuah tools yang rangkuman yang ditampilkan di bagian atas pencarian Google. AI Overviews merupakan bagian dari komitmen Google yang telah berlangsung lama untuk menyajikan informasi berkualitas dan meningkatkan peluang bagi para penerbit dan bisnis lainnya.
“Setiap hari, Google mengirimkan miliaran klik ke situs-situs di seluruh web, dan kami ingin agar pertukaran nilai yang telah lama terjalin dengan situs-situs web ini dapat terus berlanjut,” ujar juru bicara Google dalam sebuah pernyataan.
“Dengan AI Overviews, orang-orang merasa bahwa ‘Search’ lebih bermanfaat dan mereka akan kembali lagi untuk menelusuri lebih banyak, sehingga menciptakan peluang baru untuk menemukan konten.”
Sejak awal kehadirannya, Google telah menggunakan perangkat software yang dikenal sebagai Googlebot untuk mengunjungi atau “merayapi” jutaan situs web, membangun sebuah repository lebih rinci dari internet global. Indeks tersebut telah menjadi penghalang menakutkan untuk masuk bagi perusahaan-perusahaan yang berusaha membangun mesin pencari saingan selama bertahun-tahun—sekaligpun itu Microsoft Corp.
Munculnya AI generatif telah memicu gelombang baru perusahaan startup yang ingin menawarkan produk pencarian di mana model AI memberikan jawaban ringkas atas pertanyaan pengguna.
Popularitas chatbot telah memicu kepanikan di dalam Google tentang masa depan mesin pencarinya, yang selama ini tampak tak terkalahkan. Namun sebelum perusahaan-perusahaan startup ini benar-benar dapat mengancam bisnis raksasa pencarian ini, mereka harus merayapi web. Dan itu bukanlah hal yang mudah.
Langkah Google menghabiskan uang, daya komputasi, dan penyimpanan dari pemilik situs web, sehingga banyak dari mereka menyertakan file yang menetapkan aturan untuk bot yang mengunjungi situs mereka. Perusahaan yang diberi kelonggaran paling banyak biasanya adalah Google dan Microsoft Bing, mereka mampu mengarahkan trafik ke situs melalui mesin pencari mereka.
Meski begitu, startup mesin pencarian tidak dapat menjanjikan trafik yang sama sebelum mendapatkan traksi—yang merupakan salah satu alasan mengapa perusahaan-perusahaan muda mulai membuat kesepakatan membayar penerbit untuk melisensikan konten, kata Alex Rosenberg, CEO Tako Inc, sebuah perusahaan rintisan AI.
“Sekarang ada banyak perusahaan teknologi yang membayar untuk konten, mereka membayar untuk akses ke konten tersebut karena mereka membutuhkannya untuk dapat bersaing dengan cara yang serius. Sedangkan untuk Google, mereka tidak perlu melakukan hal itu,” kata Rosenberg.
Di tengah gelombang kesepakatan antara perusahaan media dan para startup AI, Google telah menjadi perusahaan yang bertahan. Kecuali kesepakatan senilai US$60 juta yang dilaporkan dengan Reddit Inc, Google telah memberi isyarat kepada publisher secara tertutup bahwa mereka tidak tertarik bernegosiasi, menurut dua orang yang mengetahui masalah ini.
Perusahaan media hanya memiliki sedikit pengaruh dalam percakapan ini. Awal tahun ini, Google meluncurkan AI Overviews, di mana perusahaan menggunakan AI untuk memberikan jawaban ringkas atas beberapa pertanyaan pengguna di bagian atas halaman pencarian. Para publisher segera khawatir tentang dampak jawaban tersebut terhadap trafik mereka, tetapi tidak memiliki cara untuk keluar dari ‘ketakutan’ tersebut.
Google menggunakan crawler terpisah untuk beberapa produk AI, seperti chatbot Gemini. Tetapi crawler utamanya, Googlebot, melayani AI Overviews dan pencarian Google. Juru bicara perusahaan mengatakan bahwa Googlebot mengatur AI Overviews karena AI dan mesin pencari perusahaan sangat terkait.
Juru bicara tersebut menambahkan bahwa halaman hasil pencariannya menampilkan informasi dalam berbagai format, termasuk gambar dan grafik. Google juga mengatakan bahwa penerbit dapat memblokir halaman tertentu agar tidak muncul di AI Overviews di hasil pencarian - tetapi hal itu juga akan menghalangi cuplikan tersebut untuk muncul di semua fitur pencarian Google yang lain, termasuk daftar tautan web.
Banyak ppublisher, yang sering mengandalkan mesin pencari untuk setidaknya setengah dari lalu lintas mereka, tidak mau mengambil risiko untuk meminimalkan reach.
Posisi Google “meremehkan risiko yang ditimbulkan oleh hal ini terhadap pembuat konten, terutama mereka yang mengandalkan visibilitas penelusuran untuk mata pencaharian mereka,” ujar Marc McCollum, yang mengepalai inovasi di Raptive, yang mewakili para penerbit dan pemberi pengaruh.
“Dengan tidak ikut serta, para kreator dapat secara tidak sengaja mengurangi keberadaan mereka di penelusuran, yang dapat membahayakan kemampuan mereka untuk menjangkau audiens dan menghasilkan pendapatan.”
Kyle Wiens, CEO iFixit, sebuah situs web yang menerbitkan panduan perbaikan online gratis untuk barang elektronik konsumen, mengatakan bahwa hubungan situs tersebut dengan Google “jauh lebih renggang” dibandingkan dengan perusahaan AI lainnya.
“Saya dapat memblokir ClaudeBot dari pengindeksan kami tanpa merugikan bisnis kami,” tulis Wiens dalam email, mengacu pada bot dari startup AI generatif Anthropic. “Tetapi jika saya memblokir Googlebot, kami akan kehilangan trafik dan pelanggan.”
Kesepakatan Google dengan Reddit, tempat jutaan pengguna terlibat dalam perdebatan sengit tentang topik-topik khusus, menawarkan perusahaan informasi untuk model-model AI. Kesepakatan ini bertepatan dengan perubahan yang dilakukan Google yang mendorong kehadiran hasil dari forum seperti Reddit dalam hasil pencarian. Hal ini tentunya mampu mendorong peningkatan trafik yang sangat besar ke situs media sosial tersebut. Juru bicara Reddit mengatakan bahwa peningkatan kualitas dan kecepatan produk juga berkontribusi pada pertumbuhan trafik.
Startup pencarian Perplexity sedang dalam pembicaraan dengan Reddit tentang lisensi konten, tetapi kesepakatan Google telah menetapkan harga yang sulit ditandingi oleh perusahaan startup lain, menurut seseorang yang mengetahui masalah ini. Google mengatakan bahwa kesepakatan dengan Reddit adalah kemitraan yang lebih dari sekadar data pelatihan. Juru bicara Reddit menolak berkomentar tentang diskusi bisnis. Perplexity menolak berkomentar.
Startup pencarian lainnya telah menyimpulkan bahwa data tersebut tidak mungkin didapatkan.
“Kami akan membutuhkan 20 tahun dari pendapatan kami saat ini hanya untuk membayar Reddit. Itu bahkan bukan kemungkinan yang bisa saya hibur,” kata Vladimir Prelovac, founder Kagi, perusahaan startup pencarian.
Perusahaan startup kecil tidak sendirian dalam perjuangan mereka. OpenAI baru-baru ini meluncurkan SearchGPT, versi uji coba dari chatbot yang sangat populer yang dirancang untuk pencarian. Namun situs web populer termasuk Amazon, Goodreads dan Uniqlo telah memblokir crawler GPT dari situs mereka, menurut dokumentasi publik, yang berpotensi menimbulkan masalah bagi ambisi OpenAI dalam pencarian. OpenAI mengatakan bahwa situs-situs tersebut dapat muncul di hasil pencariannya meskipun mereka memilih untuk mengecualikan konten mereka dari pelatihan AI.
Prelovac mengatakan setidaknya setengah dari biaya Kagi digunakan untuk crawling dan sumber data pencarian lainnya. Indeks rinci dari web adalah tabel taruhan untuk mesin pencari, untuk menawarkan kepada pengguna tampilan rinci ke dalam konten internet. Namun bagi perusahaan yang ingin menjawab pertanyaan pengguna secara langsung menggunakan AI, model yang dipopulerkan oleh ChatGPT, data tersebut memiliki tingkat kepentingan lebih tinggi, kata Prelovac.
“Model AI generatif sendiri tidak terlalu pintar. Untuk mendapatkan hasil AI generatif berkualitas, Anda harus memiliki akses ke indeks pencarian yang sama,” kata Prelovac.
Keberadaan file robots.txt di mana-mana, yang menetapkan pedoman untuk perayapan, memaksa perusahaan startup membuat keputusan yang rumit, kata Richard Socher, founder You.com. File-file tersebut tidak ditemukan mengikat secara hukum, sehingga perusahaan dapat crawling data publik selama tidak ada login, kata Socher.
“Ketika kami melakukan crawling, kami mencoba untuk tidak terlalu membebani situs web mana pun. Situs web apa pun yang memiliki file robots.txt yang hanya mengizinkan Google untuk crawling dan tidak ada yang lain pada dasarnya mendukung monopoli pencarian Google,” jelas dia.
Neeva, sebuah startup pencarian yang didirikan oleh eks karyawan Google, yang dibeli oleh Snowflake Inc tahun lalu, menganjurkan “crawling secara netral” untuk memudahkan startup membangun indeks pencarian mereka. Setelah keputusan pengadilan yang penting yang menyatakan bahwa Google memonopoli pasar pencarian online, Departemen Kehakiman sedang mempertimbangkan untuk mencari solusi termasuk memaksa raksasa pencarian tersebut untuk berbagi lebih banyak data dengan para pesaing.
Perintah lainnya adalah membubarkan perusahaan tersebut, dilaporkan Bloomberg. Salah satu proposal yang cukup menarik perhatian adalah mengharuskan Google untuk membagikan data yang dikumpulkannya melalui Googlebot, atau membuka indeks pencariannya. Undang-Undang Pasar Digital Uni Eropa sudah mewajibkan Google untuk membagikan beberapa data permintaan pencarian.
Wiens, CEO iFixit menerangkan bahwa keuntungan yang dimiliki Google dibandingkan perusahaan AI lainnya karena pencariannya merupakan inti dari masalah antimonopoli bagi perusahaan. “Memisahkan pencarian Google dari pekerjaan AI mereka akan menimbulkan konflik,” jelas dia.
Mesin pencari DuckDuckGo mengatakan bahwa pergeseran teknologi yang sedang berlangsung dalam pencarian membuat “indeks Google terkait dengan masalah antimonopoli menjadi lebih bermasalah.” “Indeks pencarian sangat penting di era AI generatif,” kata Kamyl Bazbaz, VP bidang publik di DuckDuckGo.
Terlepas dari hasil kasus antimonopoli, perubahan yang terjadi dalam lanskap penelusuran menggarisbawahi pentingnya bagi publisher mengendalikan nasib mereka sendiri dan tidak terlalu bergantung pada satu platform teknologi - termasuk Google, kata Ragazzo dari TPM.
“Keyakinan kami adalah Anda harus membangun hubungan yang nyata dengan pembaca,” kata Ragazzo, ”dan itulah cara Anda membangun publikasi yang dapat bertahan di era yang berbeda.”
(bbn)
