TL;DR
- در تنظیمات پرمخاطره مانند تشخیص پزشکی،.
- کاربران اغلب میخواهند بدانند چه چیزی یک مدل بینایی رایانهای را به پیشبینی خاصی سوق داده است،.
- بنابراین میتوانند تشخیص دهند که آیا به خروجی آن اعتماد کنند یا خیر.
چه اتفاقی افتاد
در تنظیمات پرمخاطره مانند تشخیص پزشکی،. کاربران اغلب میخواهند بدانند چه چیزی یک مدل بینایی رایانهای را به پیشبینی خاصی سوق داده است،.
بنابراین میتوانند تشخیص دهند که آیا به خروجی آن اعتماد کنند یا خیر. این روشها یک مدل یادگیری عمیق را مجبور میکنند تا از مجموعهای از مفاهیم،.
که برای انسان قابل درک است،. برای پیشبینی استفاده کند.
در تحقیقات جدید،. دانشمندان کامپیوتر MIT روشی را توسعه دادند که مدل را برای دستیابی به دقت بهتر و توضیحات واضح.
تر و مختصرتر متقاعد میکند. مفاهیمیکه مدل استفاده میکند معمولاً توسط متخصصان انسانی از قبل تعریف میشود.
برای مثال،. یک پزشک میتواند استفاده از مفاهیمیمانند «نقاط قهوهای خوشهای» و «رنگدانههای متنوع» را برای پیشبینی اینکه یک.
تصویر پزشکی ملانوم را نشان میدهد پیشنهاد کند. جزئیات کافی برای یک کار خاص، کاهش دقت مدل.
روش جدید مفاهیمیرا استخراج میکند که مدل قبلاً در حین آموزش برای انجام آن وظیفه خاص آموخته. است و مدل را مجبور میکند تا از آنها استفاده کند و توضیحات بهتری نسبت به مدلهای استاندارد.
تنگنای مفهومیارائه دهد. این رویکرد از یک جفت مدل تخصصی یادگیری ماشینی استفاده میکند که بهطور خودکار دانش را از یک.
مدل هدف استخراج کرده و آن را به مفاهیم زبان ساده ترجمه میکند. در پایان،.
تکنیک آنها میتواند هر مدل بینایی رایانهای از قبل آموزشدیدهشده را به مدلی تبدیل کند که بتواند از. مفاهیم برای توضیح استدلال خود استفاده کند.
«به یک معنا، ما میخواهیم بتوانیم ذهن این مدلهای بینایی رایانهای را بخوانیم. مدل تنگنای مفهومیراهی است برای کاربران تا بفهمند مدل به چه چیزی فکر میکند و چرا پیشبینی.
خاصی انجام داده است. زیرا روش ما از مفاهیم بهتری استفاده میکند، میتواند به دقت بالاتری منجر شود.
پاسخگویی مدلهای هوش مصنوعی جعبه سیاه،. میگوید،.
نویسنده اصلی،. آنتونیو دی سانتیس،.
دانشجوی فارغالتحصیل دانشگاه پلیتکنیک میلان که این تحقیق را در حین بازدید از دانشجوی فارغالتحصیلی در آزمایشگاه علوم. کامپیوتر و هوش مصنوعی (CSAIL) در MIT تکمیل کرد.
میلان؛ و نویسنده ارشد،.
لالانا کاگال،. محقق اصلی در CSAIL،.
این تحقیق در کنفرانس بینالمللی در مورد بازنماییهای یادگیری ارائه خواهد شد. پیشبینی.
این مرحله میانی یا «گلوگاه» به کاربران کمک میکند تا استدلال مدل را درک کنند. برای مثال،.
مدلی که گونههای پرنده را شناسایی میکند،. میتواند مفاهیمیمانند «پاهای زرد» و «بالهای آبی» را قبل از پیشبینی پرستو انبار انتخاب کند.
اما از آنجایی که این مفاهیم اغلب از قبل توسط انسانها یا مدلهای زبانی خاص ایجاد میشوند،. ممکن است آنها با مدلهای خاص زبانی مناسب نباشند.
بهعلاوه،. حتی اگر مجموعهای از مفاهیم از پیش تعریفشده به آن داده شود،.
گاهی اوقات مدل از اطلاعات آموختهشده نامطلوب استفاده میکند،. که مشکلی است که بهعنوان نشت اطلاعات شناخته میشود.
«این مدلها برای به حداکثر رساندن عملکرد آموزش داده میشوند،. بنابراین ممکن است مدل بهطور مخفیانه از مفاهیمیاستفاده کند که ما از آنها بیاطلاعیم».
پیش بینی برای کار خاص در دست. آنها به دنبال ساخت یک CBM با استخراج این دانش موجود و تبدیل آن به متنی بود که.
یک انسان میتواند آن را درک کند. در اولین گام روش آنها،.
یک مدل یادگیری عمیق تخصصی به نام رمزگذار خودکار پراکنده،. بهطور انتخابی مرتبطترین ویژگیهایی را که مدل آموخته است،.
میگیرد و آنها را به تعداد انگشت شماری از مفاهیم بازسازی میکند. سپس، یک LLM چندوجهی هر مفهوم را به زبان ساده توصیف میکند.
این LLM چندوجهی همچنین تصاویر را در مجموعه داده با شناسایی مفاهیم موجود و غایب در هر تصویر،. حاشیهنویسی میکند.
محققان از این مجموعه داده مشروح برای آموزش یک ماژول تنگنای مفهومیبرای تشخیص مفاهیم استفاده میکنند. آنها این ماژول را در مدل هدف وارد میکنند و آن را مجبور میکنند تنها با استفاده از.
مجموعه مفاهیم آموختهشده که محققان استخراج کردهاند،. پیشبینی کند.
برای تعیین اینکه آیا رمزگذار خودکار پراکنده مفاهیم قابل درک برای انسان را شناسایی کرده است یا خیر. برای جلوگیری از استفاده مدل از مفاهیم ناشناخته یا ناخواسته،.
آنها آن را به استفاده از پنج مفهوم برای هر پیشبینی محدود میکنند. این همچنین مدل را مجبور میکند تا مفاهیم مرتبط را انتخاب کند و توضیحات را قابل درکتر میکند.
هنگامیکه آنها رویکرد خود را با CBMهای پیشرفته در کارهایی مانند پیشبینی گونههای پرندگان و شناسایی ضایعات. پوستی در تصاویر پزشکی مقایسه کردند،.
روش آنها در عین ارائه توضیحات دقیقتر به بالاترین دقت دست یافت. رویکرد آنها همچنین مفاهیمیرا ایجاد کرد که در مجموعه دادهها کاربرد بیشتری داشت.
ما نشان داده ایم که استخراج مفاهیم از مدل اصلی میتواند عملکرد بهتری نسبت به دیگر CBMها داشته باشد،. اما هنوز هم بین تفسیرپذیری و دقت تعادلی وجود دارد که باید به آن پرداخته شود.
مدلهای جعبه سیاه که قابل تفسیر نیستند همچنان عملکرد بهتری دارند. د سانتیس میگوید.
در آینده،. محققان میخواهند راهحلهای بالقوه برای مشکل نشت اطلاعات را مطالعه کنند،.
شاید با افزودن ماژولهای تنگنای مفهومیاضافی تا مفاهیم ناخواسته نتوانند از طریق آن نشت کنند. آنها همچنین قصد دارند روش خود را با استفاده از یک LLM چندوجهی بزرگتر برای حاشیهنویسی یک آموزش.
بزرگتر،. که میتواند جهتگیری بسیار مفیدی را در یک مجموعه داده کاربردی افزایش دهد،.
افزایش دهند. آندریاس هوتو،.
پروفسور و رئیس کرسی علوم داده در دانشگاه وورزبورگ،. که با این کار درگیر نبود،.
میگوید:. و پل طبیعی را برای نمودارهای هوش مصنوعی و دانش نمادین ایجاد میکند.
«با استخراج تنگناهای مفهومیاز مکانیسمهای درونی خود مدل و نه فقط از مفاهیم تعریفشده توسط انسان،. مسیری را به سمت توضیحات ارائه میکند که فرصتهایی برای دنبال کردن مدلها و کار وفادارتر است.
دانش ساختاریافته.» این تحقیق توسط بورسیه دکتری Progetto Rocca،. وزارت دانشگاه و تحقیقات ایتالیا تحت برنامه ملی بازیابی و تاب آوری،.
Thales Alenia Space و اتحادیه اروپا تحت پروژه Next GenerationEU پشتیبانی شد.
چرا مهم است
اهمیت این خبر در این است که روی استفاده واقعی از AI و تصمیمگیری سازمانی اثر میگذارد.
منبع
لینک منبع اصلی در کارت و صفحه مقاله نمایش داده میشود.