Louk sudah sering mengunggah postingan di media sosial, sehingga mempermudah upaya penggunaannya untuk konten lain. Postingan palsu tersebut, yang diunggah setelah serangan, telah dilihat lebih dari tujuh juta kali. 

Bloomberg menyaksikan dan menemukan lusinan video deepfake di TikTok yang seolah menggambarkan korban tragedi yang diunggah dalam bermacam bahasa, yang berhasil menarik jutaan penayangan dan ribuan komentar. 

Terbaru adalah video-video korban perang Israel-Hamas, yang dirancang untuk menimbulkan simpati dan supaya viral, meskipun identitas pembuatnya sering kali tidak diketahui. Para peneliti AI menyebutnya sebagai “kebangkitan digital”.

Mereka mengikuti pola yang sama: Kematian tragis diliput oleh berita, dan dalam beberapa hari atau bahkan beberapa jam, pengguna mengunggah video yang mirip dengan orang tersebut yang berbicara tentang bagaimana mereka meninggal.

Format semacam ini biasanya mencakup pengantar dari sudut pandang orang yang telah meninggal tersebut, berikut gambar palsu di layar yang menceritakan bagaimana mereka meninggal.

Video-video deepfake dari orang yang sudah meninggal tersebut jelas melanggar aturan TikTok, dan biasanya mengambil target mereka yang tidak lagi dapat memberikan persetujuan atau melaporkan konten untuk dihapus, banyak berseliweran di TikTok dan menjadi viral di aplikasi ini, tanpa terjaring perangkat moderasi konten nya.

Meskipun TikTok memiliki aturan yang melarang potret warga negara secara pribadi dan anak-anak menggunakan teknologi AI sintetis atau synthetic AI, namun video-video tersebut sering kali muncul dan ditonton ribuan, bahkan jutaan user di aplikasi.

TikTok telah menghapus video-video yang telah direview Bloomberg tidak lama setelah menerima beragam contoh melalui email. Namun teknologi ini, yang mengandalkan perangkat seperti DeepWord atau DeepBrain, akan terus berkembang, dan memberikan hasil yang lebih realistis dan lebih sulit untuk dideteksi.

"Seperti halnya platform lain, TikTok terus berinvestasi dalam hal deteksi, transparansi, dan kemitraan industri untuk mengatasi teknologi yang berkembang pesat ini,” ujar juru bicara TikTok, yang merupakan anak usaha perusahaan teknologi raksasa China, ByteDance Ltd.

“Kami memiliki kebijakan yang tegas untuk menghapus konten yang dihasilkan oleh AI yang berbahaya dari platform kami.”

Video-video yang dikaji Bloomberg tersebut antara lain menampilkan anak-anak yang sudah meninggal, warga individu dan selebriti. Tidak ada satu pun unggahan tersebut menunjukkan bukti bahwa korban atau penyintas menyetujui penggunaan kemiripan orang tersebut.

Beberapa video yang dibuat oleh AI terkait korban Hamas, Ranani Glazer, menunjukkan seorang warga Brasil berusia 23 tahun, berbicara tentang kematiannya. Salah satu postingan bahkan memiliki lebih dari 81.000 views. Bahkan menjadi salah satu video direkomendasikan ketika dilakukan pencarian nama Glazer di TikTok. Video tersebut akhirnya dihapus setelah Bloomberg meminta komentar TikTok.

Ada lagi wajah Vladimir Popov, seorang pria Rusia yang tewas diserang hiu di Mesir pada bulan Juni. Ia dihidupkan kembali melalui versi foto paspornya dalam video TikTok yang diposting beberapa hari setelah kematiannya. Dalam video dinyatakan, arwahnya sekarang mengawasi ayahnya.

“Saya bisa merasakan hidup saya mulai menjauh dan saya tahu saya akan mati,” kata pengisi suara video tersebut dalam bahasa Inggris. “Pada saat-saat terakhir itu, saya memikirkan tentang semua saat indah yang saya alami bersama ayah saya. Papa, aku mencintaimu.”

Puluhan video ini masih ditayangkan dan belum dihapus oleh sistem moderasi konten TikTok, sehingga para pengunggah dapat menggunakannya untuk mengembangkan akun mereka. Diketahui hal ini menguntungkan TikTok dari peningkatan interaksi pengguna terkait konten tersebut.  

Fakta bahwa video-video tersebut muncul di samping konten TikTok lainnya yang biasanya ringan dalam sebuah scroll cepat, membuat pengguna terpapar konten-konten manipulatif tanpa konteks atau penjelasan, kata Henry Ajder, seorang peneliti deepfakes dan kecerdasan buatan generatif (AI Generatif).

“Anda  hanya scrolling, scrolling, bolak-balik video, mungkin saja Anda melihat sesuatu selama tiga detik dan kemudian Anda bosan dan melanjutkannya,” kata Ajder. “Tapi dalam tiga detik itu Anda telah melihat sesuatu yang tidak nyata, dan Anda tidak mendapatkan bagian dari video di mana hal tersebut diungkapkan atau konteksnya disediakan.”

Walaupun awalnya dikenal sebagai tempat untuk kumpulan video komedi dan lawakan  di masa pandemi, TikTok kini terjebak dalam politik global. Lebih dari satu miliar orang yang menggunakan aplikasi ini sering kali mencari berita-berita besar terbaru atau disuguhkan video tentang peristiwa terbaru. 

Tagar yang terkait dengan perang Israel-Hamas telah menghasilkan miliaran penayangan, dan platform ini telah menepis klaim bahwa mereka mempromosikan konten pro-Palestina.

Seperti kebanyakan platform media sosial, TikTok menjadi tempat bagi pengguna untuk memposting narasi yang belum diverifikasi dan informasi yang sering salah yang dengan cepat meraih banyak views di periode awal sebuah breaking news. 

Aplikasi TikTok memang dirancang untuk memviralkan video dengan topik yang diminati pengguna, bukan video yang berasal atau dibuat oleh orang-orang yang sudah memiliki banyak pengikut. Alhasil, siapa pun bisa ikut serta dalam tren viral.

Faktor tersebut, didukung dengan semakin berkembangnya teknologi AI yang murah, membuat TikTok menjadi sangat rentan terhadap konten deepfake.

Pada tahun 2021, video yang tampaknya menunjukkan aktor Tom Cruise menggigit permen lolipop atau mencoba trik koin mulai muncul di feed pengguna TikTok. Video-video lucu tersebut, yang menurut pembuatnya kepada CNN merupakan hasil dari pelatihan teknologi AI selama lebih dari dua bulan pada wajah Cruise, telah ditonton jutaan kali dan membantu sosok pria di belakangnya sukses meluncurkan perusahaan AI. 

Sebuah lagu terkenal menggunakan suara Drake dan The Weeknd yang dipalsukan diunggah ke TikTok dan layanan streaming musik, sehingga menarik perhatian publik secara luas. Video dan audio politisi yang dimanipulasi hingga yang sepenuhnya palsu juga telah diposting secara luas di media sosial.

Terkait hal tersebut, kongres kini mulai mendiskusikan langkah-langkah legislatif untuk melindungi suara selebriti dan artis. Namun yang tidak banyak dibahas dalam pembicaraan adalah perlindungan bagi warga negara biasa.

Perdebatan deepfake terkait warga negara biasa berpusat pada konten pornografi tanpa persetujuan, atau penggunaan suara "asli" untuk menipu anggota keluarga yang lebih tua untuk mengirimkan uang. 

Sejumlah kecil kampanye memang menggunakan kemiripan orang yang sudah meninggal atas persetujuan para penyintas untuk mempromosikan pesan tertentu. Setelah jurnalis Meksiko Javier Valdez Cardenas tewas dibunuh karena liputannya tentang kartel narkoba, animasi AI sosok yang dibikin mirip dengannya terus digunakan dalam sebuah kampanye yang lantas berhasil memenangkan penghargaan terkait konteks meningkatkan kesadaran tentang bahaya bagi pelaku industri media.

“Bercerita sering kali merupakan cara terbaik untuk membujuk audiens Anda atau melibatkan mereka, dan dalam hal ini, membuat orang yang sudah meninggal berbicara tentang kisahnya sendiri bisa amat efektif dalam menyampaikan ide atau membujuk orang untuk mengubah pandangan mereka,” ujar Chris Chu, asisten profesor di Fakultas Jurnalisme dan Komunikasi Universitas Florida, yang telah meneliti video yang dipalsukan sebagai alat persuasi naratif. 

Di media sosial, tanpa persetujuan dari orang yang meninggal atau penyintas, video yang dilihat oleh satu orang sebagai advokasi bermaksud baik atau in memoriam dapat dilihat oleh orang lain sebagai hal yang tidak sepatutnya. Dalam video-video yang ditinjau oleh Bloomberg, pandangan para user sudah terpecah.

“Mengapa Anda sampai membuat ini,” protes seorang pengguna pada video yang menggunakan perangkat kecerdasan buatan, diposting pada bulan September yang menggambarkan George Floyd, seorang pria kulit hitam yang dibunuh oleh petugas polisi pada tahun 2020.

Sementara yang lainnya menunjukkan dukungan bagi para korban. 

“Elena butuh keadilan!!!!” tulis seorang pengguna pada video Elena Hembree, seorang korban pembunuhan berusia 17 bulan, yang kebangkitan digitalnya mengisahkan kejadian pemerkosaan dan luka-luka yang menyebabkan kematiannya. Unggahan tersebut, dengan keterangan yang menganjurkan orang-orang untuk “membagikan kisahnya”, telah ditonton sebanyak 2,3 juta kali.

“Ada pertanyaan etis dan moral di sini, dan ini adalah tempat di mana saya pikir orang yang berakal sehat bisa tidak setuju,”  kata Hany Farid, profesor di Departemen Teknik Elektro & Ilmu Komputer dan Sekolah Informasi di Universitas California di Berkeley.

Hal ini membuat platform seperti TikTok harus memutuskan batas yang jelas antara garis moral dan etika tersebut. Upaya TikTok untuk mengawasi sejauh ini masih belum berhasil.

Menurut pedoman komunitas TikTok, “konten media yang merupakan hasil manipulasi dan menunjukkan adegan realistis” perlu diungkapkan dengan jelas. Aturan aplikasi ini tidak mengizinkan konten apa pun yang mengandung kemiripan visual atau audio dari orang pribadi atau anak di bawah umur yang berusia kurang dari 18 tahun.

TikTok mengatakan bahwa pengguna harus mengungkapkan konten yang dihasilkan oleh kecerdasan buatan yang berisi representasi realistis dengan label yang diperkenalkan aplikasi kepada pengguna.

Namun, hanya sedikit kebangkitan digital yang dikaji oleh Bloomberg yang memiliki label tersebut secara jelas dan memberi tahu pengguna bahwa kontennya dibuat oleh AI. Selain itu, sebagian besar menggambarkan sosok pribadi atau anak-anak.

Konten yang “mengerikan” atau “mengganggu” tidak diperbolehkan. Penilaian tentang apa yang melewati batas itu diserahkan kepada TikTok, algoritme moderasinya, dan moderator manusia yang mengulas video. Beberapa video kebangkitan digital membahas detail pelecehan dan pembunuhan melalui gambar anak-anak yang sudah mati dan dihasilkan oleh AI. 

TikTok mengatakan bahwa “konten yang tidak akurat, menyesatkan, atau salah yang dapat menyebabkan kerugian signifikan bagi individu atau masyarakat, apa pun maksudnya” tidak diperbolehkan.

Tidak mungkin untuk mengetahui apakah pernyataan yang disampaikan melalui kebangkitan digital mengenai apa yang dirasakan para korban selama kematian mereka itu akurat. 

Platform media sosial pada intinya dibuat untuk mendukung postingan yang melibatkan orang - baik secara positif atau negatif. Ketika orang memutuskan untuk me-like, comment, repost atau merespon video dan foto di platform seperti TikTok, hal itu diperlakukan sebagai indikasi bahwa orang-orang tertarik dengan unggahan tersebut, sehingga konten terkait sering kali diteruskan ke lebih banyak orang. 

“Mereka akan melakukan apa pun yang membuat untuk mendapatkan perhatian, baik itu perhatian baik atau perhatian buruk, dan video-video ini mendapatkan perhatian,”kata Farid dari UC Berkeley.

“Sebagian dari itu hanya urusan meng-klik, namun sebagian lagi adalah sensasionalisme, sebagian yang lain adalah keingintahuan yang tidak wajar. Realisme, kemudahan penggunaan, akses ke teknologi akan terus menjadi lebih baik.”

(bbn)