TL;DR
- چکیده:.
- این مقاله تئوری مجانبی را برای تخمین کمیت از طریق نزول گرادیان تصادفی (SGD) با نرخ یادگیری ثابت.
- توسعه میدهد.
چه اتفاقی افتاد
چکیده:. این مقاله تئوری مجانبی را برای تخمین کمیت از طریق نزول گرادیان تصادفی (SGD) با نرخ یادگیری ثابت.
توسعه میدهد. تابع از دست دادن چندک نه صاف و نه به شدت محدب است.
فراتر از دیدگاهها و تکنیکهای مرسوم،. ما تکرار SGD چندکی را بهعنوان یک زنجیره مارکوف تکرارشونده غیرقابل کاهش،.
دورهای و مثبت میبینیم که بهطور چرخهای به توزیع ثابت منحصربهفرد خود بدون در نظر گرفتن مقداردهی اولیه. ثابت مینگرد.
برای به دست آوردن شکل دقیق توزیع ثابت،. ساختار تابع مشخصه آن را با بهرهبرداری از معادله ثابت تحلیل میکنیم.
ما همچنین مرزهای محدودی را برای تابع تولید لحظه (MGF) و احتمالات دنباله آن استخراج میکنیم. با ترکیب رویکردهای فوق،.
ما ثابت میکنیم که توزیع ثابت متمرکز و استاندارد شده به یک توزیع گاوسی همگرا میشود. نرخ یادگیری $\eta\rightarrow0$.
این یافته اولین تضمین نظری از نوع حد مرکزی (CLT) را برای تخمینگر SGD چندکی با نرخهای یادگیری. ثابت ارائه میکند.
ما همچنین یک الگوریتم بازگشتی برای ساخت فواصل اطمینان برآوردگرها با تضمین آماری پیشنهاد میکنیم. مطالعات عددی عملکرد نمونه محدود رضایتبخش تخمینگر آنلاین و روش استنتاج را نشان میدهد.
ابزارهای نظری توسعهیافته در این مطالعه برای بررسی الگوریتمهای عمومی SGD فرمولبندیشده بهعنوان زنجیرههای مارکوف،. بهویژه در تنظیمات غیر قوی محدب و غیر صاف،.
مورد توجه مستقل هستند. یادگیری ماشینی (stat.
ML); Machine Learning (cs. LG) بهعنوان: (یا v2 [stat.
ML] برای این نسخه) استناد کنید: https: // ArXiv. ایمیل] [v1] سه شنبه،.
4 مارس 2025،. 01:.
37:. 42 UTC (2,.
414 KB) [v2] پنجشنبه،. 2 آوریل 2026،.
18:. 09:.
14 UTC (684 KB).
چرا مهم است
اهمیت این خبر در این است که روی استفاده واقعی از AI و تصمیمگیری سازمانی اثر میگذارد.
منبع
لینک منبع اصلی در کارت و صفحه مقاله نمایش داده میشود.