مقاله تحلیل پراکنده در آموزش اولیه شبکه‌های عصبی عمیق

عنوان مقاله فارسی: تحلیل پراکنده در آموزش اولیه شبکه‌های عصبی عمیق عنوان مقاله لاتین: Sparseness Analysis in the Pretraining of Deep Neural Networks نویسندگان: Jun Li; Tong Zhang; Wei Luo; Jian Yang; Xiao-Tong Yuan; Jian Zhang تعداد صفحات: 13 سال انتشار: 2017 زبان: لاتین Abstract: A major progress in deep multilayer neural networks (DNNs) is the invention of various unsupervised pretraining methods to initialize network parameters which lead to good prediction accuracy. This paper presents the sparseness analysis on the hidden unit in the pretraining process. In particular, we use the L1-norm to measure sparseness and provide some sufficient conditions for that pretraining leads to sparseness with respect to the