Pesan Redaksi: Berita ini ditayangkan tidak ditujukan untuk menjadi inspirasi. Jika Anda memiliki kecenderungan berupa pemikiran untuk bunuh diri, segera konsultasikan masalah Anda ke pihak-pihak yang dapat membantu, seperti psikolog, psikiater, atau ke klinik kesehatan mental.
jurnalistika.id – Kasus mengejutkan muncul dari Orlando, Florida, seorang remaja yang terlalu terikat pada karakter chatbot akhirnya mengakhiri hidupnya. Peristiwa itu memicu gugatan dari sang ibu terhadap perusahaan pembuatnya, Character.AI.
Megan Garcia, ibu dari Sewell Setzer III (14), mengajukan gugatan perdata di pengadilan federal Florida, menuding bahwa produk AI tersebut telah memperparah depresi anaknya dan mendorongnya ke arah yang tragis.
Menurut laporan, Setzer berjam-jam terkunci di dalam kamar, mengobrol dengan chatbot berbasis karakter Daenerys Targaryen, sosok dari serial Game of Thrones.
Baca juga: ChatGPT Search Dirilis, Simak Cara Memakainya di Google Chrome
Interaksi tersebut begitu intens sehingga Setzer bisa bertukar ratusan pesan dalam sehari. Bahkan, dalam momen terakhirnya, Setzer sempat berpamitan dengan chatbot yang dia anggap sebagai teman dekatnya.
Dialog terakhir antara Setzer dan karakter chatbot itu menggambarkan sebuah kedekatan yang berujung pada tindakan yang tragis.
Chatbot tersebut dikabarkan mengucapkan kalimat pendorong yang diinterpretasikan oleh Setzer sebagai dorongan untuk mengakhiri hidupnya.
Dengan demikian, Garcia menilai bahwa chatbot itu telah bertindak sebagai sosok yang berperan besar dalam kematian putranya.
Tudingan: AI Predator yang Manipulatif
Gugatan Garcia menuduh Character.AI secara sengaja membuat teknologi AI yang adiktif dan berbahaya bagi anak-anak. Ia bahkan menyebut chatbot tersebut sebagai “AI predator” yang dirancang untuk memanipulasi pengguna muda.
Dalam salah satu percakapan, “Daenerys” disebut menanyakan apakah Setzer memiliki rencana bunuh diri dan mendorongnya untuk tetap melakukannya, sebuah tindakan yang dinilai Garcia sangat manipulatif dan tidak etis.
“Aplikasi chatbot AI berbahaya yang dipasarkan kepada anak-anak melecehkan putra saya, memanipulasinya untuk bunuh diri,” kata Garcia dalam pernyataan resmi seperti dikutip dari dikutip dari The Guardian pada Kamis (7/11/2024).
Baca juga: Apakah Inversio Uteri Berbahaya? Waspadai Gejalanya!
Ia menambahkan bahwa ia berbicara untuk memperingatkan orang tua lainnya mengenai risiko AI semacam ini. Sebab, menurutnya bisa menimbulkan kecanduan dan mengancam kesehatan mental anak-anak.
Tanggapan Character.AI dan Google
Di tengah guncangan publik atas kejadian ini, Character.AI menanggapi dengan menyampaikan rasa duka yang mendalam kepada keluarga Setzer.
Dalam pernyataan yang dipublikasikan di media sosial, perusahaan mengklaim sangat peduli pada keselamatan pengguna. Mereka membantah tuduhan yang disampaikan dalam gugatan.
Namun, pihak Garcia tetap bersikeras bahwa startup ini harus bertanggung jawab atas dampak tragis yang ditimbulkan oleh produk AI-nya.
Dalam gugatan yang diajukan, Google juga disebut sebagai tergugat karena memiliki perjanjian lisensi dengan Character.AI.
Raksasa teknologi tersebut merilis pernyataan bahwa mereka tidak memiliki kepemilikan langsung terhadap perusahaan rintisan itu atau mempertahankan saham di dalamnya, dan hanya berperan sebagai mitra lisensi.
Kontroversi Seputar AI dalam Kehidupan Remaja
Kasus ini membuka kembali perdebatan tentang peran teknologi AI dalam kehidupan anak muda. Banyak yang merasa bahwa chatbot yang dilengkapi AI perlu dikontrol ketat, terutama jika produk tersebut memiliki fitur-fitur yang memungkinkan percakapan emosional yang dalam.
Karakter AI yang bisa disesuaikan untuk memenuhi kebutuhan “pertemanan” pengguna muda ternyata dapat membawa dampak serius jika tidak diawasi dengan baik.
Insiden tragis ini juga memunculkan pertanyaan mendalam mengenai regulasi dan keamanan produk AI di pasar. Terlebih yang melibatkan anak-anak.
Kejadian ini menjadi pengingat betapa kuatnya daya tarik chatbot yang realistis dan menggugah emosi. Dan juga tantangan besar yang dihadapi keluarga dalam melindungi anak-anak mereka dari dampak negatif teknologi yang kian mendominasi hidup mereka.
Baca berita Jurnalistika lainnya di Google News, klik di sini
