TL;DR
- چکیده:.
- مطالعات موجود در زمینه پیشآموزشی مستمر با زمینه طولانی (LCCP) عمدتاً بر مدلهای مقیاس کوچک و رژیمهای داده.
- محدود (دهها میلیارد توکن) تمرکز دارند.
چه اتفاقی افتاد
چکیده:. مطالعات موجود در زمینه پیشآموزشی مستمر با زمینه طولانی (LCCP) عمدتاً بر مدلهای مقیاس کوچک و رژیمهای داده.
محدود (دهها میلیارد توکن) تمرکز دارند. ما استدلال میکنیم که انتقال مستقیم این تنظیمات در مقیاس کوچک به مدلهای درجه صنعتی خطر سازگاری ناکافی.
و خاتمه زودهنگام آموزش را به دنبال دارد. علاوه بر این،.
روشهای ارزیابی کنونی به شدت بر معیارهای پایین دستی (مانند سوزن در انبار کاه) تکیه میکنند،. که اغلب حالت همگرایی ذاتی را منعکس نمیکنند و میتوانند منجر به "اشباع فریبنده" شوند.
در این مقاله،. ما اولین بررسی سیستماتیک دینامیک یادگیری LCCP را با استفاده از Hunyuan-A13B درجه صنعتی (پارامترهای کل 80B) ارائه.
میکنیم،. که تکامل آن را در یک مسیر آموزشی با توکن 200B دنبال میکند.
بهطور خاص،. ما یک چارچوب سلسله مراتبی برای تجزیه و تحلیل دینامیک LCCP در سراسر رفتاری (کاوش تنظیم دقیق نظارت.
شده) پیشنهاد میکنیم. سطوح احتمالی (سرگشتگی) و مکانیکی (الگوهای توجه).
یافتههای ما نشان میدهد:. (1) ضرورت مقیاسگذاری عظیم دادهها:.
رژیمهای آموزشی دهها میلیارد توکن برای LCCP LLMهای درجه صنعتی کافی نیستند (بهعنوان مثال،. Hunyuan-A13B پس از آموزش بیش از 150B توکن به اشباع میرسد).
(2) اشباع فریبنده در مقابل اشباع ذاتی:. نمرات سنتی NIAH "اشباع جعلی" را زود گزارش میکند،.
در حالی که تجزیه و تحلیل مبتنی بر PPL ما بهبودهای ذاتی مستمر را نشان میدهد و. با عملکرد پایین دستی ارتباط قویتری دارد.
(3) نظارت مکانیکی برای پایداری تمرین:. هدهای بازیابی بهعنوان مانیتورهای آموزشی کارآمد و کم منبع عمل میکنند،.
زیرا نمرات توجه در حال تکامل آنها بهطور قابل اعتمادی پیشرفت LCCP را دنبال میکنند و همبستگی. بالایی با نتایج SFT نشان میدهند.
این کار یک چارچوب نظارتی جامع،. سیستم ارزیابی،.
و تفسیر مکانیکی برای LCCP ارائه میکند LLM درجه صنعتی محاسبات و زبان (cs. CL) ذکر شده بهعنوان: (یا v1 [cs.
CL] برای این نسخه) https:. // تاریخچه ارسال از:.
Yupu Liang [مشاهده ایمیل] [v1] جمعه،. 3 آوریل 2026،.
02:. 26:.
28 UTC (127 KB).
چرا مهم است
اهمیت این خبر در این است که روی استفاده واقعی از AI و تصمیمگیری سازمانی اثر میگذارد.
منبع
لینک منبع اصلی در کارت و صفحه مقاله نمایش داده میشود.