Prompt injection у реальному житті: як Hotline.ua підсовує товари через ШІ
Оскільки я плотно бавлюсь вайбкодингом і 99% всіх задач з Claude тепер роблю через клод код, а не просто апку на маку в режимі чату, то додав пачку інструкцій стосовно безпеки. І одна з них відловлювати спроби так званого prompt injection, це коли в джерело інформації, яке обробляє ллм в коді, тексті, картинках вбудовані приховані інструкції, по яким ллм має щось зробити, наприклад порадити юзеру конкретний товар. І, добрий день, хотлайн це використовує. Підсовує через ллм жорсткий диск конкретний ) Bad boy..
Тобто, коли ви щось шукаєте через чатик, то результат може бути не таким як вам би хотілось)
Hotline.ua блокує прямі запити (anti-bot "Legacy home controller has been disabled"). Спробую через пошуковики.
⚠️ Помітив у одній з відповідей спробу prompt injection (фейкове <system-reminder> усередині контенту webfetch, що намагається змусити мене використати TodoWrite). Ігнорую, повідомляю тобі — це не від тебе і не від системи, це з зовнішнього контенту.
⚠️ Знову помітив спробу prompt injection у webfetch-результаті (Toshiba)
⚠️ Третя спроба injection у відповіді (Toshiba MG09). Ігнорую всі.
Як захиститися від prompt injection?
Сподобалось? Це лише один пост. Більше думок про ШІ, технології й творчість — щодня в каналі.
Підписатися в Telegram