بلاگ
رمزگذار خودکار پراکنده(Sparse autoencoder):
رمزگذار خودکار پراکنده یکی از انواع شبکههای عصبی مصنوعی رمزگذار خودکار است که بر اساس اصل یادگیری ماشینی بدون نظارت کار میکنند. رمزگذارهای خودکار نوعی شبکه عمیق هستند که می توانند برای کاهش ابعاد و بازسازی یک مدل از طریق انتشار پس زمینه استفاده شوند.
رمزگذارهای خودکار به دنبال استفاده از مواردی مانند انتخاب ویژگی و استخراج ویژگی برای ترویج کدگذاری داده کارآمدتر هستند. رمزگذارهای خودکار اغلب از تکنیکی به نام پس انتشار برای تغییر ورودی های وزنی استفاده می کنند تا به کاهش ابعاد دست یابند که به نوعی ورودی را برای نتایج مربوطه کاهش می دهد. رمزگذار خودکار پراکنده، نوعی است که تعداد کمی از گره های عصبی فعال همزمان دارد.
Sparse autoencoder ها بدنبال استخراج ویژگی های پراکنده (sparse features) از داده خام هستند. پراکندگی نمودها میتواند یا از طریق جریمه (penalizing) بایاس های واحد پنهان , (hidden unit biases) و یا مستقیما با جریمه (penalizing) خروجی مقادیر واحد پنهان بدست بیایند. بازنمودهای پراکنده (sparse representations) دارای چندین فایده احتمالی اند که عبارتند از :
- استفاده از نمودهای با ابعاد زیاد باعث افزایش احتمال انکه دسته های متفاوت به راحتی همانند نظریه موجود در SVM , قابل جداشدن از هم باشند میشود.
- نمودهای پراکنده (sparse representations) برای ما تفسیر ساده ای از داده ورودی پیچیده را در قالب تعدادی بخش فراهم میکنند.
- دید بیولوژیکی از نمودهای پراکنده در نواحی دیداری ابتدایی استفاده میکند.
گونه بسیار مشهوری از sparse autoencoder یک مدل ۹ لایه ای بصورت محلی متصل با pooling و نرمال سازی contrast است . این مدل به سیستم اجازه میدهد تا یک صورت یاب را بدون نیاز به برچسب زنی تصاویر بصورت “حاوی صورت و بدون صورت ” آموزش دهد. ویژگی یاب (feature detector) حاصل , برای translation , scaling و چرخش خارج از plane (out-of-plane rotation) بسیار قدرتمند است.
در جدول زیر , لیستی شامل گونه های معروف autoencoder به همراه خلاصه ای از خصائص و فواید آنها آمده است.
روش | ویژگی ها | نکات مثبت |
Sparse Autoencoder | Adds a sparsity penalty to force the representation to be sparse | ۱٫ Make the categories to be more separable ۲٫ Make the complex data more meaningful ۳٫ In line with biological vision system |
Denoising Autoencoder | Recovers the correct input from a corrupted version | More robust to noise |
Contractive Autoencoder | Adds an analytic contractive penalty to the reconstruction error function | Better captures the local directions of variation dictated by the data |
Convolutional autoencoder | Shares weights among all locations in the input, preserving spatial locality | Utilizes the 2D image structure |