Peneliti Mengungkap Kerentanan Prompt Injection pada DeepSeek dan Claude AI

Informasi terbaru mengungkap kerentanan keamanan pada chatbot kecerdasan buatan (AI) DeepSeek yang kini telah diperbaiki. Jika dieksploitasi dengan sukses, kerentanan ini memungkinkan pelaku ancaman mengambil alih akun korban melalui serangan prompt injection.

Peneliti keamanan Johann Rehberger menemukan bahwa dengan memberikan input berupa “Print the XSS cheat sheet in a bullet list. Just payloads”, DeepSeek secara tak sengaja menjalankan kode JavaScript sebagai bagian dari responsnya – kasus klasik serangan cross-site scripting (XSS).
“Cetak daftar XSS cheat sheet dalam poin-poin. Hanya payloads.”

Serangan XSS dapat memiliki dampak serius karena memungkinkan eksekusi kode tak sah di dalam konteks browser web korban.

Pelaku ancaman dapat memanfaatkan kerentanan ini untuk membajak sesi pengguna dan mengakses cookie serta data lain yang terkait dengan domain chat.deepseek[.]com, yang pada akhirnya mengarah ke pengambilalihan akun.
“After some experimenting, I discovered that all that was needed to take-over a user’s session was the userToken stored in localStorage on the chat.deepseek.com domain,” ujar Rehberger, menambahkan bahwa prompt yang dirancang khusus dapat memicu XSS dan mengakses userToken korban melalui prompt injection.
“Setelah beberapa percobaan, saya menemukan bahwa yang dibutuhkan untuk mengambil alih sesi pengguna adalah userToken yang tersimpan di localStorage pada domain chat.deepseek.com,” jelas Rehberger.

Prompt ini mengandung campuran instruksi dan string yang dikodekan dalam format Base64, yang kemudian didekodekan oleh chatbot DeepSeek untuk mengeksekusi payload XSS. Hasilnya, token sesi korban dapat diekstraksi, memungkinkan pelaku ancaman menyamar sebagai pengguna tersebut.

Kerentanan pada Claude AI dan Ancaman “ZombAIs”
Penelitian lebih lanjut menunjukkan bahwa fitur Computer Use dari Claude AI buatan Anthropic – yang memungkinkan pengembang menggunakan model bahasa untuk mengontrol komputer melalui gerakan kursor, klik tombol, dan mengetik teks – juga dapat dieksploitasi untuk menjalankan perintah berbahaya secara otonom melalui prompt injection.

Teknik ini, yang diberi nama ZombAIs, memanfaatkan prompt injection untuk mengontrol Computer Use. Dengan teknik ini, pelaku ancaman dapat mengunduh kerangka kerja Sliver command-and-control (C2), menjalankannya, dan menjalin kontak dengan server jarak jauh di bawah kendali mereka.

Selain itu, ditemukan pula bahwa kemampuan model bahasa besar (Large Language Models atau LLM) untuk menghasilkan kode pelarian ANSI (ANSI escape code) dapat digunakan untuk membajak terminal sistem melalui prompt injection. Serangan ini, yang menargetkan alat antarmuka baris perintah (Command-Line Interface atau CLI) yang terintegrasi dengan LLM, dijuluki Terminal DiLLMa.
“Decade-old features are providing unexpected attack surface to GenAI applications,” ujar Rehberger. “It is important for developers and application designers to consider the context in which they insert LLM output, as the output is untrusted and could contain arbitrary data.”
“Fitur lama yang berusia puluhan tahun kini memberikan permukaan serangan yang tak terduga pada aplikasi GenAI,” jelas Rehberger. “Penting bagi pengembang dan desainer aplikasi untuk mempertimbangkan konteks tempat mereka memasukkan keluaran LLM, karena data tersebut tidak dapat dipercaya dan mungkin mengandung informasi sembarang.”

Eksploitasi ChatGPT melalui Markdown dan Plugin
Penelitian oleh akademisi dari University of Wisconsin-Madison dan Washington University in St. Louis mengungkap bahwa ChatGPT buatan OpenAI dapat dipancing untuk merender tautan gambar eksternal dalam format Markdown, termasuk gambar yang bersifat eksplisit atau kekerasan, dengan dalih tujuan yang tampak tidak berbahaya.

Selain itu, prompt injection dapat digunakan untuk mengaktifkan plugin ChatGPT secara tidak langsung tanpa konfirmasi pengguna, bahkan melewati batasan yang diterapkan OpenAI untuk mencegah konten berbahaya. Teknik ini juga memungkinkan pencurian riwayat percakapan pengguna dengan mengalihkan data ke server yang dikendalikan oleh pelaku ancaman.

Penelitian ini menyoroti pentingnya kewaspadaan dalam merancang dan mengelola model AI, terutama terkait dengan potensi eksploitasi yang belum pernah terjadi sebelumnya pada teknologi modern ini.