TL;DR
- لیست 10 برتر OWASP برای مدلهای زبان بزرگ نسخه 0.
- 1 این فهرست پیشنویسی از انواع آسیبپذیری مهم برای برنامههای هوش مصنوعی (AI) است که بر اساس مدلهای.
- زبان بزرگ (LLM) ساخته شدهاند.
چه اتفاقی افتاد
لیست 10 برتر OWASP برای مدلهای زبان بزرگ نسخه 0. 1 این فهرست پیشنویسی از انواع آسیبپذیری مهم برای برنامههای هوش مصنوعی (AI) است که بر اساس مدلهای.
زبان بزرگ (LLM) ساخته شدهاند. LLM01:.
2023 - تزریق سریع توضیحات:. دور زدن فیلترها یا دستکاری LLM با استفاده از اعلانهایی که با دقت ساخته شدهاند که باعث میشود.
مدل دستورالعملهای قبلی را نادیده بگیرد یا اقدامات ناخواسته را انجام دهد. LLM02:.
2023 - نشت داده افشای تصادفی اطلاعات حساس،. الگوریتمهای اختصاصی یا سایر جزئیات محرمانه از طریق پاسخهای LLM.
LLM03:. 2023 - Sandboxing ناکافی ناتوانی در جداسازی صحیح LLMها در صورت دسترسی به منابع خارجی یا سیستم.
های حساس،. امکان بهره برداری بالقوه و دسترسی غیرمجاز را فراهم میکند.
بهرهبرداری از LLM برای اجرای کد، دستورات یا اقدامات مخرب در سیستم زیربنایی از طریق درخواستهای زبان طبیعی. LLM05:.
2023 - آسیب پذیریهای SSRF بهرهبرداری از LLM برای انجام درخواستهای ناخواسته یا دسترسی به منابع محدود. شده،.
مانند سرویسهای داخلی،. APIها یا ذخیرههای داده.
LLM06:. 2023 - تکیه بیش از حد به محتوای تولید شده توسط LLM وابستگی بیش از حد به محتوای.
تولید شده توسط LLM بدون نظارت انسان میتواند منجر به عواقب مضری شود. LLM07:.
2023 - تراز ناکافی هوش مصنوعی عدم اطمینان از همسویی اهداف و رفتار LLM با مورد استفاده مورد. نظر،.
که منجر به پیامدهای نامطلوب یا آسیب پذیری میشود. LLM08:.
2023 - کنترلهای دسترسی ناکافی عدم اجرای صحیح کنترلهای دسترسی یا احراز هویت،. به کاربران غیرمجاز اجازه میدهد تا با LLM تعامل داشته باشند و بهطور بالقوه از آسیب پذیری.
ها سوء استفاده کنند. LLM09:.
2023 - مدیریت نادرست خطا افشای پیامهای خطا یا اشکال زدایی اطلاعاتی که میتواند اطلاعات حساس،. جزئیات سیستم یا بردارهای حمله احتمالی را نشان دهد.
LLM10:. 2023 - مسمومیت دادههای آموزشی دستکاری مخرب دادههای آموزشی یا روشهای تنظیم دقیق برای وارد.
کردن آسیب پذیریها یا درهای پشتی به LLM.
چرا مهم است
اهمیت این خبر در این است که روی استفاده واقعی از AI و تصمیمگیری سازمانی اثر میگذارد.
منبع
لینک منبع اصلی در کارت و صفحه مقاله نمایش داده میشود.