Регулярлаштыруу катары жашыруун денгээлде эсептелет кокус ызы-чуу кошуп жатабы? кошуу жана окуудан жана партия нормалдашып кошуу ортосунда кандай айырма бар?


жооп 1:

Ооба, жашыруун денгээлде кокустан үн кошуп бойдон, ошондой эле регулярлаштыруу болуп саналат. нейрон жооп Ар бир катмардын боюнча ызы-чуу болсо да, анда негизги жерде туюп, башкача айтканда, окуу-чуу көп болсо алыста менен айрым категорияларына тараза түзөтүлүүсү керек. Ошондуктан, ызы-чуу классификация жок убакта жашыруун үчүн туруктуу болушу керек. Бул Max-Margin жашыруун иштешине абдан окшош, бирок биз баары билет ийгиликтүү Max Margin ыкмалары канчалык (Z. B. колдоо тараткычтарды машиналар). Бирок, ызы-чуу белги умтулган эмес деп болушу керек.

Окуудан чыгарылган бул модель орточо жүргүзөт регулярлаштыруу эсептелет. Бул окутуу бир негизи бир ыктымалдык бөлүштүрүү боюнча үлгү болуп саналат, ал эми салмагы белгиленген турган нейрон тармак моделдердин тобуна ашуун моделдин нейрондордун бири жок болушу мүмкүн, ал эми болот. Ар бир нейрон тармагынын жалпы ыктымалдыгы бир нейрон бар же жок экенин, айрым ыктымалдуулук менен аныкталат. Бул регулярлаштыруу, ал айрым учурларда бурмаланышы орточо, себеби, ал наркы милдетин себепчи жымсалдап жатат.

жашыруун катмары кокус ызы-чуу кошуу мурункудай эле иштеп жатат, ал эми ар кандай ыктымалдык бөлүштүрүү менен. Анын ордуна, негизги тараза бар, сиз сиздин катуу дисктин сактоо "чыныгы" эки башка салмактагы, башкача айтканда, тараза негизги орунда турат белгиленген топологияны, ыктымалдык жана туш келди көрсөткөн тараза бөлүштүрүү Gaussian бөлүштүрүү боюнча бар. Бул модель орточо да болуп саналат жана жөнгө салуучу таасир этиши керек, ызы-чуу ошол чектөө менен (дисперсиясы), сигнал басымдуулук керек. Мисалы, биринчи жолу партия нормаларды колдонууга, Сиз болжол менен кадимки демейки чыгаруу кароо болот (дисперсиясы нөлгө менен бурат бирдик), жана андан кийин сиз, мисал үчүн, 0,1 жана дисперсияны менен ызы-чуу колдоно алабыз. Сиз кандай иштей тургандыгын карап көрүү үчүн карама менен ойной алат.

EDIT: Суроо үзгүлтүктүү Standard эске салып кеткендей, мен партия-стандартты, чынында Регулярлаштыруу колдонулган эмес экенин көрсөтүп келген. Башкача айтканда, партия-стандартты, чыгымдарды тегиз эмес. Анын ордуна, үзгүлтүктүү Standard кайра-көбөйтүү ишин жакшыртуу боюнча кошулат. Кыскача айтканда, бул артка жайганы градиент өтө чоң же кичине кайра масштабдык жана кайра-борборунда болуп бербейт. бир ыкма катары, ал наркы бетине кыйшайып моделдештирүү аракет Экинчи тартиптеги оптималдаштыруу методдору менен канчалык байланыш бар. Жогоруда да айтылгандай, партия-стандартты, ошондой эле сиз нейрондордун кыймыл-аракеттерди кокус ызы-чуу кошуп жатканда салыштырмалуу масштабдуу туура же туура эмес экендигин камсыз кылуу үчүн да колдонсо болот.


жооп 2:

Мен Регулярлаштыруу катары оптималдаштыруу куулук караганда эле көрө турган.

таасир SGD жылы stochasticity таасири болушу керек.

тескерисинче, катуу Градиенттик ыкчам түшүү багытта төмөнкү караганда, учурда алар бир убакыт кокустук кадам менен кедей жергиликтүү минимуму SGD жана илхам Монте-Карло методдору кой кач. үчүн, же анын ар кандай катары атагы менен барабар болот. тескерисинче, дайыма бир кокустук кадам жүзөгө караганда, ар бир кадам катары бир кокустук компонентти.

төмөн салмактын кокус ызы-чуу кошуп, ошол эле так жетишилген. [Эскертүү: градиент тукуму сенин Сайттын ар бир кайталоо нерсе оордуктарды кошот]


жооп 3:

EDIT:

Тармак ызы-чуу жакшы белги айырмалай аласыз кошуу Gaussian, сенин модель маалыматтардын анча-мынча өзгөрүүлөргө күчтүү болушу мүмкүн, ар бир катмардын киргизүү маалыматтары кокус ызы-чуу менен бөлүштүрүлөт. Бул олуттуу татыктуу стохастикалык градиент болмок кантип Zeeshan Зия билдирди. Мен дагы эле эске Регулярлаштыруу чыкчу эмес. Бул дагы сенин модель белги бөлүп үн оймо үйрөнө ала турган бир ыкма болуп саналат.

бездери бир бөлүгү окуудан бир жашыруун катмары ар бир үзүндүдөн туш өчүрүлөт. Бул жакшы үлгү алып, ар кандай жолдор менен, ошол эле түшүнө билүү керек, анткени тармагын жакшыртат.

0 партия нормалдашуу Алар бардык ортосунда турукташтыруунун деп жасоо учак салып жүзүндө жана сөзсүз алып, 1. Бул тармак жактарда да жакшы жардам берет жана татыктуу бирдиктүү бойдон калууда. ушундай жол менен сиздин жантаюусу өтө чоң болгондуктан, минимумга чейин болжол менен секирүү алыс.