TL;DR
- چکیده:.
- بازنمایی فرهنگی در خروجیهای مدل زبان بزرگ (LLM) عمدتاً از طریق شاخصهای تنوع فرهنگی و دقت واقعی ارزیابی.
- شده است.
چه اتفاقی افتاد
چکیده:. بازنمایی فرهنگی در خروجیهای مدل زبان بزرگ (LLM) عمدتاً از طریق شاخصهای تنوع فرهنگی و دقت واقعی ارزیابی.
شده است. با این حال،.
یک شکاف مهم در ارزیابی همسویی فرهنگی باقی میماند:. میزانی که محتوای تولید شده منعکسکننده چگونگی درک و اولویتبندی مردم بومیجنبههای فرهنگی خود است.
در این مقاله،. ما یک چارچوب انسان محور را برای ارزیابی همسویی نسلهای LLM با انتظارات محلی معرفی میکنیم.
اول،. ما یک خط پایه حقیقت زمینی مشتق شده از بردارهای اهمیت به نام بردارهای اهمیت فرهنگی را بر.
اساس مجموعهای از جنبههای فرهنگی مهم القایی از پاسخهای نظرسنجی باز که در 9 کشور جمعآوری شده است،. ایجاد میکنیم.
در مرحله بعد،. روشی را برای محاسبه بردارهای بازنمایی فرهنگی مشتق از مدل یک LLM بر اساس یک مجموعه دستوری متنوع.
از لحاظ نحوی معرفی میکنیم و آن را به کار میبریم. سه LLM مرزی (Gemini 2.
5 Pro، GPT-4o، و Claude 3. 5 Haiku).
بررسی ما در مورد همسویی بین اهمیت فرهنگی برگرفته از انسان و نمایندگیهای فرهنگی برگرفته از مدل،. یک کالیبراسیون غرب محور را برای برخی از مدلها نشان میدهد که در آنها با افزایش فاصله فرهنگی.
یک کشور از ایالات متحده،. هم ترازی کاهش مییابد.
علاوه بر این، ما امضاهای خطای سیستمیبسیار همبسته ($\rho > 0. 97$) را در همه مدلها شناسایی میکنیم که در برخی از نشانگرهای فرهنگی بیش از حد شاخص میشوند.
در حالی که اولویتهای اجتماعی و ارزشی عمیق کاربران را نادیده میگیرند. رویکرد ما فراتر از معیارهای ساده تنوع به سمت ارزیابی وفاداری محتوای تولید شده توسط هوش مصنوعی در.
ثبت صحیح سلسله مراتب متفاوت فرهنگهای جهانی حرکت میکند. صفحه، 4 شکل محاسبات و زبان (cs.
CL) استناد بهعنوان: (یا v1 [cs. CL] برای این نسخه) https:.
// شده توسط arXiv از طریق DataCite (در انتظار ثبت نام) تاریخچه ارسال از:. Erin Van Liemt [مشاهده ایمیل] [v1] جمعه،.
3 آوریل 2026،. 22:.
39:. 15 UTC (12,.
027 KB).
چرا مهم است
اهمیت این خبر در این است که روی استفاده واقعی از AI و تصمیمگیری سازمانی اثر میگذارد.
منبع
لینک منبع اصلی در کارت و صفحه مقاله نمایش داده میشود.