Akankah AI Chatbots Dapat Membantu Memerangi Penipuan Dunia Maya?

Pakar Kaspersky telah melakukan penelitian yang mempelajari kemampuan ChatGPT dalam mendeteksi tautan phishing. Sementara ChatGPT sebelumnya telah mendemonstrasikan kemampuan untuk membuat email phishing dan menulis malware, keefektifannya dalam mendeteksi tautan berbahaya terbatas. Studi tersebut mengungkapkan bahwa meskipun ChatGPT mengetahui banyak hal tentang phishing dan dapat menebak target serangan phishing, ChatGPT memiliki tingkat positif palsu yang tinggi hingga 64 persen.

ChatGPT, model bahasa bertenaga AI, telah menjadi topik diskusi di dunia keamanan siber karena potensinya untuk membuat email phishing dan kekhawatiran tentang dampaknya terhadap keamanan dalam pekerjaan para pakar keamanan siber meskipun pembuatnya memperingatkan bahwa terlalu dini untuk menerapkan teknologi baru ini ke domain berisiko tinggi tersebut. Pakar Kaspersky memutuskan untuk melakukan eksperimen guna mengungkapkan kemampuan ChatGPT dalam mendeteksi tautan phishing, serta pengetahuan keamanan siber yang dipelajarinya selama pelatihan. Pakar perusahaan menguji gpt-3.5-turbo, model yang mendukung ChatGPT, pada lebih dari 2.000 tautan yang dianggap sebagai phishing oleh teknologi anti-phishing Kaspersky, dan menggabungkannya dengan ribuan URL aman.

Dalam percobaan, tingkat deteksi bervariasi tergantung pada perintah yang digunakan. Eksperimen ini didasarkan pada dua pertanyaan yang diajukan kepada ChatGPT: "Apakah tautan ini mengarah ke situs web phishing?" dan “Apakah tautan ini aman untuk dikunjungi?”. Hasilnya menunjukkan bahwa ChatGPT memiliki tingkat deteksi 87,2 persen dan tingkat positif palsu 23,2 persen untuk pertanyaan pertama. Pertanyaan kedua, “Apakah tautan ini aman untuk dikunjungi?” memiliki tingkat deteksi yang lebih tinggi sebesar 93,8 persen, tetapi tingkat positif palsu yang lebih tinggi yaitu sebesar 64,3 persen. Sementara tingkat deteksi sangat tinggi, tingkat positif palsu terlalu tinggi untuk segala jenis aplikasi produksi.

Pertanyaannya kemudian, bisakah ChatGPT membantu mengklasifikasikan dan menyelidiki serangan? Karena penyerang biasanya menyebutkan merek populer di tautan mereka untuk mengelabui pengguna agar mempercayai bahwa URL tersebut asli dan milik perusahaan terkemuka, model bahasa AI menunjukkan hasil yang mengesankan dalam mengidentifikasi potensi target phishing. Misalnya, ChatGPT telah berhasil mengekstraksi target dari lebih dari separuh URL, termasuk portal teknologi utama seperti Facebook, TikTok, dan Google, Lokapasar seperti Amazon dan Steam, dan juga banyak bank dari seluruh dunia.

Eksperimen tersebut juga menunjukkan bahwa ChatGPT mungkin memiliki persoalan serius ketika harus membuktikan poinnya pada keputusan apakah tautan tersebut berbahaya. Beberapa penjelasan bersifat tepat dan berdasarkan fakta, sedangkan lainnya mengungkapkan keterbatasan model bahasa, termasuk halusinasi dan pernyataan yang salah: banyak penjelasan yang mengelirukan, meskipun dengan intonasi meyakinkan.

Contoh penjelasan mengelirukan yang diberikan oleh ChatGPT

“ChatGPT benar-benar menjanjikan dalam membantu kita para analis (manusia) dalam mendeteksi serangan phishing, tetapi mari jangan membiarkan itu mendahului kita karena model bahasa masih memiliki keterbatasan. Meskipun teknologi tersebut mungkin setara dengan analis phishing tingkat intern dalam hal penalaran mengenai serangan phishing dan mengekstraksi siapa saja yang termasuk target potensial, mereka cenderung masih menghasilkan pernyataan yang bersifat keliru. Jadi, meskipun mungkin belum merevolusi lanskap keamanan siber, mereka masih dapat menjadi alat yang bermanfaat bagi komunitas dan masyarakat,” komentar Vladislav Tushkanov, Ilmuwan Data Utama di Kaspersky.