این سایت در حال حاضر پشتیبانی نمی شود و امکان دارد داده های نشریات بروز نباشند
Mathematics Interdisciplinary Research، جلد ۹، شماره ۳، صفحات ۲۳۷-۲۵۳
عنوان فارسی
چکیده فارسی مقاله
کلیدواژه‌های فارسی مقاله
عنوان انگلیسی Modified‎ ‎Step‎ ‎Size‎ ‎for‎ ‎Enhanced‎ ‎Stochastic Gradient Descent‎: ‎Convergence and Experiments
چکیده انگلیسی مقاله ‎This paper introduces a novel approach to enhance the performance of the stochastic gradient descent (SGD) algorithm by incorporating a modified decay step size based on $frac{1}{sqrt{t}}$‎. ‎The proposed step size integrates a logarithmic term‎, ‎leading to the selection of smaller values in the final iterations‎. ‎Our analysis establishes a convergence rate of $O(frac{ln T}{sqrt{T}})$ for smooth non-convex functions without the Polyak-Łojasiewicz condition‎. ‎To evaluate the effectiveness of our approach‎, ‎we conducted numerical experiments on image classification tasks using the Fashion-MNIST and CIFAR10 datasets‎, ‎and the results demonstrate significant improvements in accuracy‎, ‎with enhancements of $0.5%$ and $1.4%$ observed‎, ‎respectively‎, ‎compared to the traditional $frac{1}{sqrt{t}}$ step size‎. ‎The source code can be found at  https://github.com/Shamaeem/LNSQRTStepSize.
کلیدواژه‌های انگلیسی مقاله Stochastic gradient descent‎,‎Decay step size‎,‎Convergence rate
نویسندگان مقاله Mahsa Soheil Shamaee |
‎Department of Computer Science, ‎Faculty of Mathematical Science‎, ‎University of Kashan‎, ‎Kashan‎, ‎Iran

Sajad Fathi Hafshejani |
‎Department of Applied Mathematics, ‎Shiraz University of Technology‎,‎ ‎Shiraz‎, ‎I‎. ‎R‎. ‎Iran‎

نشانی اینترنتی https://mir.kashanu.ac.ir/article_114474_dde1b8da8db0067c294448415069d8b8.pdf
فایل مقاله فایلی برای مقاله ذخیره نشده است
کد مقاله (doi)
زبان مقاله منتشر شده en
موضوعات مقاله منتشر شده
نوع مقاله منتشر شده
برگشت به: صفحه اول پایگاه   |   نسخه مرتبط   |   نشریه مرتبط   |   فهرست نشریات