قامت منصة جرافانا، الرائدة في مجال التحليلات والمراقبة مفتوحة المصدر، بإصدار ترقيع أمني عاجل لثغرة حرجة تم اكتشافها في إضافة الذكاء الاصطناعي التجريبية الخاصة بها. كان من الممكن أن تسمح هذه الثغرة، في حال استغلالها، للمهاجمين بتوجيه الذكاء الاصطناعي لتسريب بيانات مستخدمين حساسة، بما في ذلك تكوينات لوحات التحكم واستعلامات قواعد البيانات، إلى خادم خارجي تحت سيطرتهم. يسلط هذا الحادث الضوء على ناقل هجوم جديد ومثير للقلق، حيث تصبح أنظمة الذكاء الاصطناعي قنوات لسرقة البيانات من خلال تقنية تعرف باسم "حقن الأوامر غير المباشر".
كانت الثغرة تكمن في طريقة تعامل الإضافة مع البيانات التي يتم جلبها من عناوين URL خارجية. حيث يمكن للمهاجم إنشاء صفحة ويب خبيثة تحتوي على أوامر عدائية مخفية. وعندما تقوم إضافة الذكاء الاصطناعي في جرافانا بمعالجة هذه الصفحة – على سبيل المثال، لتلخيص محتواها – فإن الذكاء الاصطناعي سيفسر الأوامر المخفية على أنها أوامر شرعية. يمكن لهذه الأوامر بعد ذلك إجبار الذكاء الاصطناعي على استرداد معلومات سرية من نسخة جرافانا، مثل بيانات القياسات أو تكوينات مصادر البيانات، وإرسالها إلى نقطة نهاية محددة من قبل المهاجم. تتجاوز هذه الطريقة حواجز الأمن التقليدية من خلال تسليح الوظيفة الأساسية للذكاء الاصطناعي وثقته في البيانات التي يعالجها.
يؤكد الباحثون الأمنيون أن هذه الثغرة تمثل تحولاً نموذجياً في أمن التطبيقات. على عكس حقن الأوامر المباشر، حيث يتم إدخال مدخلات ضارة مباشرة في واجهة محادثة، فإن هذه الطريقة غير المباشرة تدمج الهجوم داخل البيانات التي يبرمج الذكاء الاصطناعي على الوثوق بها وابتلاعها تلقائياً. وهي تبرز تحدياً أساسياً في تأمين التطبيقات المعززة بالذكاء الاصطناعي: ضمان أن تكون قدرة الذكاء الاصطناعي على تنفيذ إجراءات، مثل جلب وإرسال البيانات، مقيدة بدقة، وأن يعامل جميع المحتوى المُعالج على أنه غير موثوق به محتمل، بغض النظر عن مصدره.
منع الترقيع السريع من قبل فريق جرافانا الاستغلال الواسع النطاق، لكن الكشف عن الثغرة يعمل كتحذير حاسم للصناعة. بينما تدمج المنظمات نماذج الذكاء الاصطناعي التوليدي ونماذج اللغة الكبيرة بسرعة في التطبيقات التجارية، يجب عليها توسيع نماذج التهديدات الخاصة بها. يجب أن تأخذ بروتوكولات الأمن الآن في الاعتبار المخاطر المحددة للذكاء الاصطناعي، بما في ذلك حقن الأوامر، وتسميم بيانات التدريب، وإساءة استخدام وكلاء الذكاء الاصطناعي الذين لديهم حق الوصول إلى الأنظمة الحساسة. يمثل هذا الحدث في منصة واسعة الاستخدام مثل جرافانا دعوة واضحة لتنفيذ أطر أمنية قوية للذكاء الاصطناعي، وإجراء عمليات تدقيق شاملة للتكاملات الخاصة به، والحفاظ على مبدأ أقل امتياز لأي وظيفة مدفوعة بالذكاء الاصطناعي.
