春困虽不是病但需如何改善？

Подання зображень на к?лькох шарах абстракц?? в глибокому навчанн?

百度 　　预报显示，26日至28日，受持续西南气流影响，京津冀区域南部空气质量改善，但是区域中部可能形成辐合带，污染物迅速积累。

Глибо?ке навча?ння (англ. deep learning, також ?нод? глиби?нне навча?ння) — це п?дмножина метод?в машинного навчання на основ? штучних нейронних мережах ?з навчанням подань. Прикметник ?глибоке? (англ. deep) вказу? на використання дек?лькох шар?в у мереж?. Використовуван? методи навчання можуть бути керованими, нап?вкерованими, та некерованими.

Арх?тектури глибокого навчання, так? як глибок? нейронн? мереж?, глибок? мереж? переконань, рекурентн? нейронн? мереж?, згортков? нейронн? мереж? та трансформери, застосовували в таких галузях як комп'ютерне бачення, розп?знавання мовлення, обробка природно? мови, машинний переклад, б?о?нформатика, конструювання л?к?в, анал?з медичних зображень, кл?матолог?я, перев?рка матер?ал?в ? програми наст?льних ?гор, де вони дали результати, пор?вня?нн?, а в деяких випадках ? кращ? за продуктивн?сть людських експерт?в.

Штучн? нейронн? мереж? (ШНМ) було натхненно обробкою ?нформац?? та розпод?леними комун?кац?йними вузлами в б?олог?чних системах. ШНМ мають р?зноман?тн? в?дм?нност? в?д б?олог?чного мозку. Зокрема, штучн? нейронн? мереж? зазвичай статичн? та символьн?, тод? як б?олог?чний мозок б?льшост? живих орган?зм?в динам?чний (пластичний) та аналоговий. ШНМ загалом розглядають як низькояк?сн? модел? функц?ювання мозку.

Визначення

Глибоке навчання — це клас алгоритм?в машинного навчання, який^:199–200? використову? дек?лька шар?в, щоби поступово вид?ляти з сирого входу ознаки щоразу вищих р?вн?в. Наприклад, при обробц? зображень нижч? шари можуть встановлювати контури, тод? як вищ? шари можуть встановлювати поняття, доречн? для людини, так? як цифри, л?тери чи обличчя.

Якщо поглянути на глибоке навчання п?д ?ншим кутом, то глибоке навчання позначу? ?комп'ютерне моделювання? або ?автоматизац?ю? процес?в навчання людиною в?д джерела (наприклад, зображення собак) до об'?кта навчання (собак). Тому мають сенс поняття, сформульован? як ?глибше? (англ. deeper) та ?найглибше? (англ. deepest) навчання. Найглибше навчання позначу? повн?стю автоматичне навчання в?д джерела до к?нцевого об'?кта навчання. Глибше навчання в?дтак позначу? зм?шаний процес навчання: процес навчання людиною в?д джерела до навченого нап?воб'?кта, за яким сл?ду? комп'ютерний процес навчання в?д навченого людиною нап?воб'?кта до к?нцевого об'?кта навчання.

Огляд

Б?льш?сть сучасних моделей глибокого навчання ?рунтуються на багатошарових штучних нейронних мережах, таких як згортков? нейронн? мереж? та трансформери, хоча до них також можуть належати пропозиц?йн? формули та латентн? зм?нн?, орган?зован? пошарово в глибоких породжувальних моделях, так? як вузли в глибоких мережах переконань чи глибоких машинах Больцмана.

У глибокому навчанн? кожен р?вень вчиться перетворювати сво? вх?дн? дан? на дещо абстрактн?ше й складн?ше подання. У застосунку для розп?знавання зображень сирий вх?д може бути матрицею п?ксел?в; перший шар подання може абстрагуватися в?д п?ксел?в ? кодувати контури; другий шар може складати та кодувати ?хн? розташування; трет?й шар може кодувати н?с та оч?; а четвертий шар може розп?знавати, що зображення м?стить обличчя. Важливо, що процес глибокого навчання може самост?йно вчитися, як? ознаки оптимально розм?стити на якому р?вн?. Це не зв?льня? в?д необх?дност? ручного настроювання; наприклад, р?зна к?льк?сть та розм?ри шар?в можуть забезпечувати р?зн? ступен? абстракц??.

Слово ?глибоке? у ?глибокому навчанн?? позначу? к?льк?сть шар?в, кр?зь як? перетворюються дан?. Точн?ше, системи глибокого навчання мають значну глибину шляху розпод?лу внеску (ШРВ, англ. credit assignment path, CAP). ШРВ — це ланцюг перетворень в?д входу до виходу. ШРВ описують потенц?йно причинно-насл?дков? зв'язки м?ж входом та виходом. Для нейронно? мереж? прямого поширення глибина ШРВ дор?вню? глибин? мереж? й ? к?льк?стю прихованих шар?в плюс один (оск?льки шар виходу також параметризовано). Для рекурентних нейронних мереж, у яких сигнал може поширюватися кр?зь шар понад один раз, глибина ШРВ потенц?йно необмежена. Нема? ун?версально узгодженого порогу глибини, який в?дд?ля? неглибоке навчання (англ. shallow learning) в?д глибокого, але б?льш?сть досл?дник?в сходяться на думц?, що глибоке навчання використову? глибину ШРВ вище 2. Було показано, що ШРВ глибини 2 це ун?версальний наближувач у тому сенс?, що в?н може моделювати будь-яку функц?ю. Поза цим, б?льше шар?в не додають н?чого до здатност? мереж? наближувати функц??. Глибок? модел? (ШРВ > 2) здатн? вид?ляти кращ? ознаки, н?ж неглибок? модел?, й отже, додатков? шари допомагають ефективно навчатися ознак.

Арх?тектури глибокого навчання можливо конструювати пошарово жад?бним методом. Глибоке навчання допомага? розплутувати ц? абстракц?? й обирати, як? ознаки покращують продуктивн?сть.

Для завдань керованого навчання методи глибокого навчання уможливлюють усування конструювання ознак, переводячи дан? до компактних пром?жних подань, под?бних до головних компонент, ? виводять багатошаров? структури, як? усувають надм?рн?сть у поданн?.

Алгоритми глибокого навчання можливо застосовувати до завдань некерованого навчання. Це важлива перевага, оск?льки нем?чен? дан? численн?ш? за м?чен?. Прикладами глибоких структур, як? можливо тренувати некерованим чином, ? глибок? мереж? переконань.

Модел? машинного навчання тепер вправн? у виявлянн? складних шаблон?в у даних ф?нансових ринк?в. Завдяки перевагам штучного ?нтелекту ?нвестори все част?ше використовують методики глибокого навчання для прогнозування та анал?зу тенденц?й на фондових та валютних ринках.

?нтерпретац??

Глибок? нейронн? мереж? зазвичай ?нтерпретують у терм?нах теореми про ун?версальне наближення або ймов?рн?сного висновування.

Класична теорема про ун?версальне наближення стосу?ться здатност? нейронно? мереж? прямого поширення з одним прихованим шаром ск?нченного розм?ру наближувати неперервн? функц??. 1989 року Джордж Цибенко опубл?кував перше ?? доведення для сигмо?дних передавальних функц?й, а 1991 року Курт Горн?к узагальнив його для багатошарових арх?тектур прямого поширення. Нещодавня робота також показала, що ун?версальне наближення також викону?ться для необмежених передавальних функц?й, таких як випрямлений л?н?йний вузол (англ. rectified linear unit) Кун?х?ко Фукус?ми.

Теорема про ун?версальне наближення для глибоких нейронних мереж розгляда? пропускну спроможн?сть мереж з обмеженою шириною, дозволяючи зростати глибин?. Лу з? сп?вавт. довели, що якщо ширина глибоко? нейронно? мереж? з передавальною функц??ю ReLU строго б?льша за розм?рн?сть входу, то ця мережа може наближувати будь-яку функц?ю, ?нтегровну за Лебегом; якщо ?? ширина менша або дор?вню? розм?рност? входу, то глибока нейронна мережа не ? ун?версальним наближувачем.

?мов?рн?сна ?нтерпретац?я походить з галуз? машинного навчання. Вона в?дводить пров?дне м?сце висновуванню, а також таким поняттям оптим?зац?? як тренування та випробування, пов'язаним ?з допасовуванням та узагальнюванням в?дпов?дно. Конкретн?ше, ймов?рн?сна ?нтерпретац?я розгляда? нел?н?йн?сть передавально? функц?? як кумулятивну функц?ю розпод?лу. ?мов?рн?сна ?нтерпретац?я призвела до запровадження виключення (англ. dropout) як регуляризатора в нейронних мережах. ?мов?рн?сну ?нтерпретац?ю запровадили досл?дники включно з Гопф?лдом, У?дроу та Нарендрою, й популяризовано в оглядах, таких як в?д Б?шопа.

?стор?я

?сну? два типи нейронних мереж: нейронн? мереж? прямого поширення (НМПП, англ. feedforward neural network, FNN) та рекурентн? нейронн? мереж? (РНМ, англ. recurrent neural network, RNN). РНМ мають цикли у структур? зв'язност?, а НМПП — н?. У 1920-х роках В?льгельм Ленц та Ернст ?з?нг створили та проанал?зували модель ?з?нга, яка, по сут?, ? арх?тектурою РНМ, що не навча?ться, ? склада?ться з нейронопод?бних порогових елемент?в. 1972 року Шун?ч? Амар? зробив цю арх?тектуру адаптивною. Його навчання РНМ популяризував Джон Гопф?лд 1982 року. РНМ стали центральними для розп?знавання мовлення та обробки мови.

Чарльз Тапперт пише, що Френк Розенблат розробив та досл?див ус? основн? складов? сучасних систем глибокого навчання, посилаючись на книгу Розенблата 1962 року, якою було запроваджено багатошаровий перцептрон (БШП) ?з трьома шарами: шаром входу, прихованим шаром ?з випадковими вагами, що не навчалися, та шаром виходу. В?н також запропонував вар?анти, включно з верс??ю з чотиришаровими перцептронами, де останн? два шари мають ваги, що навчаються (й отже, справжн?й багатошаровий перцептрон).^{:section 16} Кр?м того, терм?н глибоке навчання запропонувала 1986 року Р?на Дехтер, хоча ?стор?я його появи, схоже, набагато складн?ша.

Перший загальний, робочий алгоритм навчання для глибоких багатошарових перцептрон?в прямого поширення керованим навчанням опубл?кували 1967 року Олекс?й ?вахненко та Валентин Лапа. У статт? 1971 року описано глибоку мережу з восьми шар?в, треновану методом групового урахування аргумент?в.

Перший багатошаровий перцептрон глибокого навчання, тренований стохастичним град??нтним спуском, опубл?кував 1967 року Шун?ч? Амар?. У комп'ютерних експериментах, проведених учнем Амар?, Сайто, п'ятишаровий БШП ?з двома зм?нними шарами навчився внутр?шн?х подань для класиф?кування нел?н?йно розд?льних клас?в образ?в. 1987 року Метью Бренд пов?домив, що широк? 12-шаров? нел?н?йн? перцептрони можливо повн?стю наскр?зно тренувати в?дтворювати лог?чн? функц?? нетрив?ально? глибини ланцюга за допомогою град??нтного спуску на невеликих пакетах випадкових виб?рок вход?в/виход?в, але зробив висновок, що час тренування на тогочасному обладнанн? (домегафлопних комп'ютерах) зробив цю методику непрактичною, та запропонував використовувати незм?нн? випадков? ранн? шари як хеш входу для ?диного зм?нюваного р?вня. Натом?сть подальш? розробки апаратного забезпечення та п?длаштовування г?перпараметр?в зробили наскр?зний стохастичний град??нтний спуск нин? переважною методикою тренування.

1970 року Сеппо Л?нна?нмаа опубл?кував зворотний режим автоматичного диференц?ювання дискретно зв'язаних мереж вкладених диференц?йовних функц?й. В?н став в?домим як зворотне поширення. Це ефективне застосування ланцюгового правила, виведеного Готфр?дом В?льгельмом Лейбн?цем 1673 року, до мереж диференц?йовних вузл?в. Терм?нолог?ю ?зворотно поширюван? похибки? (англ. back-propagating errors) фактично запровадив 1962 року Розенблат, але в?н не знав, як це вт?лити, хоча Генр? Келл? вже 1960 року мав безперервного попередника зворотного поширення в контекст теор?? керування. 1982 року Пол Вербос застосував зворотне поширення до БШП у спос?б, який став стандартним. 1985 року Дев?д Румельхарт з? сп?вавт. опубл?кували експериментальний анал?з ц??? методики.

Ах?тектури глибокого навчання для згорткових нейронних мереж (ЗНМ, англ. convolutional neural networks, CNN) з? згортковими шарами та шарами зниження розд?льност? почалися з неокогн?трона, запропонованого Кун?х?ко Фукус?мою 1980 року. 1969 року в?н також запропонував передавальну функц?ю ReLU (англ. rectified linear unit, випрямлений л?н?йний вузол). Цей випрямляч (англ. rectifier) став найпопулярн?шою передавальною функц??ю для ЗНМ та глибокого навчання в ц?лому. ЗНМ стали важливим ?нструментом комп'ютерного бачення.

Терм?н глибоке навчання (англ. Deep Learning) у сп?льнот? машинного навчання запровадила 1986 року Р?на Дехтер, а для штучних нейронних мереж — ?гор Айзенберг з колегами у 2000 року в контекст? булевих порогових нейрон?в.

1988 року Вей Чжан з? сп?вавт. застосували алгоритм зворотного поширення до згортково? нейронно? мереж? (спрощений неокогн?трон з? згортковими вза?мозв'язками м?ж шарами ознак зображення та останн?м повноз'?днаним шаром) для розп?знавання абетки. Вони також запропонували вт?лення ЗНМ з оптичною обчислювальною системою. 1989 року Ян ЛеКун з? сп?вавт. застосували зворотне поширення до ЗНМ з метою розп?знавання рукописних поштових ?ндекс?в у пошт?. Хоч цей алгоритм ? працював, тренування вимагало 3 дн?в. Згодом Вей Чжан з? сп?вавт. видозм?нили свою модель, видаливши останн?й повноз'?днаний шар, та застосувавши ?? для сегментування об'?кт?в медичних зображень 1991 року, та для виявляння раку молочно? залози на мамограмах 1994 року. LeNet-5 (1998), 7-р?вневу ЗНМ в?д Яна ЛеКуна з? сп?вавт., що класиф?ку? цифри, к?лька банк?в застосували для розп?знавання рукописних чисел на чеках, оцифрованих у зображення 32×32 п?ксел?.

У 1980-х роках зворотне поширення не працювало добре для глибокого навчання з довгими шляхами розпод?лу внеску. Щоби подолати цю проблему, Юрген Шм?дхубер (1992) запропонував ??рарх?ю РНМ, попередньо тренованих пор?внево самокерованим навчанням. Вона використову? передбачувальне кодування для навчання внутр?шн?х подань у к?лькох самоорган?зованих масштабах часу. Це може ?стотно полегшувати наступне глибоке навчання. Цю ??рарх?ю РНМ можливо скласти (англ. collapse) в ?дину РНМ шляхом дистилювання фрагментувально? (англ. chunker) мереж? вищого р?вня до автоматизаторно? (англ. automatizer) мереж? нижчого р?вня. 1993 року фрагментувальник розв'язав завдання глибокого навчання, чия глибина перевищувала 1000.

1992 року Юрген Шм?дхубер також опубл?кував альтернативу РНМ (англ. alternative to RNNs), яку зараз називають л?н?йним трансформером (англ. linear Transformer) або трансформером з л?неаризованою самоувагою (за винятком оператора нормування). В?н навча?ться внутр?шн?х центр?в уваги (англ. internal spotlights of attention): пов?льна нейронна мережа прямого поширення вчиться за допомогою град??нтного спуску керувати швидкими вагами ?ншо? нейронно? мереж? через тензорн? добутки самопороджуваних шаблон?в збудження FROM ? TO (званих тепер ключем, англ. key, та значенням, англ. value, самоуваги). Це в?дображення уваги (англ. attention mapping) швидких ваг застосовують до шаблону запиту.

Сучасний трансформер (англ. Transformer) запропонували Ашиш Васван? з? сп?вавт. у сво?й прац? 2017 року ?Увага — це все, що вам треба?. В?н по?дну? це з оператором softmax та про?кц?йною матрицею. Трансформери все част?ше обирають за модель для обробки природно? мови. Багато сучасних великих мовних моделей, таких як ChatGPT, GPT-4 та BERT, використовують саме його. Трансформери також все част?ше використовують у комп'ютерн?м баченн?.

1991 року Юрген Шм?дхубер також опубл?кував змагальн? нейронн? мереж? (англ. adversarial neural networks), як? змагаються м?ж собою у форм? антагон?стично? гри, де виграш одн??? мереж? ? програшем ?ншо?. Перша мережа ? породжувальною моделлю, яка моделю? розпод?л ?мов?рност? над образами на виход?. Друга мережа навча?ться град??нтним спуском передбачувати реакц?ю середовища на ц? образи. Це було названо ?штучною ц?кав?стю? (англ. artificial curiosity). 2014 року цей принцип використали у породжувальн?й змагальн?й мереж? (англ. generative adversarial network, GAN) Ян ?удфелоу з? сп?вавт. Тут реакц?я навколишнього середовища дор?вню? 1 або 0 залежно в?д того, чи належить вих?д першо? мереж? до заданого набору. Це можливо використовувати для створення реал?стичних дипфейк?в. В?дм?нно? якост? зображення досягла StyleGAN Nvidia (2018) на основ? прогресивно? породжувально? змагально? мереж? (англ. Progressive GAN) Теро Карраса з? сп?вавт. Тут породжувач вирощу?ться в?д малого до великого п?рам?дним чином.

Дипломну працю Зеппа Хохрайтера (1991) його кер?вник Шм?дхубер назвав ?одним ?з найважлив?ших документ?в в ?стор?? машинного навчання?. В?н не лише випробував нейронний стискач ?стор??, але й виявив та проанал?зував проблему зникання град??нта. Для розв'язання ц??? проблеми Хохрайтер запропонував рекурентн? залишков? зв'язки. Це призвело до появи методу глибокого навчання, званого довгою короткочасною пам'яттю (ДКЧП, англ. long short-term memory, LSTM), опубл?кованого 1997 року. Рекурентн? нейронн? мереж? ДКЧП можуть навчатися задач ?дуже глибокого навчання? з довгими шляхами розпод?лу внеску, як? вимагають спогад?в про под??, що в?дбулися тисяч? дискретних часових крок?в тому. ?Стандартну ДКЧП? (англ. vanilla LSTM) ?з забувальним вентилем запропонували 1999 року Фел?кс ?ерс, Шм?дхубер та Фред Камм?нс. ДКЧП стала найцитован?шою нейронною мережею XX стол?ття. 2015 року Рупеш Кумар Шр?вастава, Клаус ?рефф ? Шм?дхубер використали принцип ДКЧП для створення маг?стралево? мереж?, нейронно? мереж? прямого поширення з сотнями шар?в, набагато глибшо? за попередн?. 7 м?сяц?в потому, Кайм?н Хе, Сян'ю Чжан; Шаоц?н Рен та Цзянь Сунь виграли змагання ImageNet 2015 ?з в?дкритовентильним або безвентильним вар?антом маг?стралево? мереж?, названим за?лишковою нейронною мережею (англ. Residual neural network). Вона стала найцитован?шою нейронною мережею XXI стол?ття.

1994 року Андре де Карвальо разом з Майком Фейргерстом та Дев?дом Б?ссетом опубл?кували експериментальн? результати багатошарово? булево? нейронно? мереж?, в?домо? також як безвагова нейронна мережа (англ. weightless neural network), складено? з 3-шарового самоорган?зовуваного нейромережного модуля вид?ляння ознак (англ. SOFT), з багатошаровим класиф?кац?йним нейромережним модулем (англ. GSN) за ним, тренованих незалежно. Кожен шар у модул? вид?ляння ознак вид?ляв ознаки все вищо? складност? в?дносно попереднього шару.

1995 року Брендан Фрей продемонстрував можлив?сть натренувати (протягом двох дн?в) мережу ?з шести повноз'?днаних шар?в та к?лькох сотень прихованих вузл?в, використовуючи алгоритм неспання — сну, розроблений сп?льно з П?тером Даяном та Г?нтоном.

З 1997 року Свен Бенке розширив ??рарх?чний згортковий п?дх?д прямого поширення у нейронн?й п?рам?д? абстракц?й (англ. Neural Abstraction Pyramid) за допомогою б?чних та зворотних з'?днань, щоби гнучко включати контекст у р?шення та ?теративно розв'язувати локальн? неоднозначност?.

У 1990-х ? 2000-х роках популярн?сть мали прост?ш? модел?, як? використовують сконструйован? вручну ознаки для конкретних завдань, так? як ф?льтри ?абора (англ. Gabor filters) та опорновекторн? машини (ОВМ, англ. support vector machines, SVM), через обчислювальну витратн?сть штучних нейронних мереж (ШНМ) та брак розум?ння того, як мозок спл?та? сво? б?олог?чн? мереж?.

Як неглибоке, так ? глибоке навчання (наприклад, рекурентн? мереж?) ШНМ для розп?знавання мовлення досл?джували протягом багатьох рок?в. Ц? методи н?коли не перевершували технолог?ю неоднор?дних внутр?шньо-ручних гауссових сум?шевих моделей/прихованих марковських моделей (ГСМ-ПММ, англ. GMM-HMM) на основ? породжувальних моделей мовлення, тренованих розр?знювально. Було проанал?зовано основн? труднощ?, включно з? зниканням град??нта й слабкою структурою часово? кореляц?? в нейронних передбачувальних моделях. Додатковими труднощами були брак тренувальних даних та обмежена обчислювальна потужн?сть. Б?льш?сть досл?дник?в розп?знавання мовлення в?д?йшли в?д нейронних мереж, щоби займатися породжувальним моделюванням. Винятком був SRI International наприк?нц? 1990-х рок?в. Ф?нансований агенц?ями уряду США АНБ та DARPA, SRI вивчав глибок? нейронн? мереж? в розп?знаванн? мовлення та мовця. Команда розп?знавання мовц?в на чол? з Ларр? Геком пов?домила про значний усп?х ?з глибокими нейронними мережами в обробц? мовлення на оц?нюванн? розп?знавання мовц?в Нац?онального ?нституту стандарт?в ? технолог?й 1998 року. Пот?м глибоку нейронну мережу SRI було розгорнуто в Nuance Verifier, що стало першим великим промисловим застосуванням глибокого навчання. Принцип п?днесення ?сирих? ознак над ручною оптим?зац??ю було вперше усп?шно досл?джено в арх?тектур? глибокого автокодувальника на ?сир?й? спектрограм? або ознаках л?н?йного блока ф?льтр?в наприк?нц? 1990-х, що показало його перевагу над мел-кепстровими ознаками, як? м?стять етапи незм?нного перетворення з? спектрограм. Сир? ознаки мовлення, хвилеформи, згодом дали чудов? великомасштабн? результати.

Розп?знавання мовлення перейняла ДКЧП. 2003 року ДКЧП на певних завданнях почала конкурувати з традиц?йними розп?знавачами мовлення. 2006 року Алекс ?рейвс, Сантьяго Фернандес, Фауст?но ?омес та Шм?дхубер по?днали ?? з нейромережною часовою класиф?кац??ю (НЧК, англ. connectionist temporal classification, CTC) у стеках РНМ ДКЧП. 2015 року в розп?знаванн? мовлення Google, як було пов?домлено, стався р?зкий 49-в?дсотковий стрибок продуктивност? завдяки НЧК-тренован?й ДКЧП, яку вони зробили доступною через голосовий пошук Google.

Вплив глибокого навчання в промисловост? почався на початку 2000-х рок?в, коли, за словами Яна ЛеКуна, ЗНМ вже обробляли приблизно в?д 10 % до 20 % ус?х чек?в, виписуваних у США. Промислов? застосування глибокого навчання для широкомасштабного розп?знавання мовлення почалися приблизно 2010 року.

2006 року публ?кац?? Джеффа Г?нтона, Руслана Салахутд?нова, Ос?ндеро та Тее показали, як багатошарову нейронну мережу прямого поширення можливо ефективно попередньо тренувати шар за шаром, розглядаючи кожен шар по черз? як некеровану обмежену машину Больцмана, а пот?м тонко налаштовувати ?? за допомогою керованого зворотного поширення. Ц? прац? стосувалися навчання для глибоких мереж переконань.

Мотивом сем?нару NIPS 2009 року з глибокого навчання для розп?знавання мовлення були обмеження глибоких породжувальних моделей мовлення та можлив?сть того, що завдяки потужн?шому апаратному забезпеченню та великомасштабним наборам даних глибок? нейронн? мереж? (ГНМ, англ. deep neural nets, DNN) можуть стати практичними. Вважалося, що попередн? тренування ГНМ за допомогою породжувальних моделей глибоких мереж переконань (ГМП, англ. deep belief nets, DBN) дозволить подолати основн? труднощ? нейронних мереж. Проте було виявлено, що зам?на попереднього тренування великими обсягами тренувальних даних для безпосереднього зворотного поширення при використанн? ГНМ з великими контекстнозалежними шарами виходу призводить до р?зко нижчих р?вн?в похибок, н?ж у гауссово? сум?шево? модел? (ГСМ)/приховано? марковсько? модел? (ПММ), що була на р?вн? останн?х досягнень на той час, а також н?ж у передов?ших систем на основ? породжувальних моделей. Природа похибок розп?знавання, породжуваних цими двома типами систем, характерно в?др?знялася, пропонуючи техн?чн? прояснення щодо того, як ?нтегрувати глибоке навчання в наявну високоефективну систему декодування мовлення в реальному час?, розгорнуту вс?ма основними системами розп?знавання мовлення. Анал?з близько 2009—2010 рок?в, пор?внюючи ГСМ (та ?нш? породжувальн? модел? мовлення) з моделями ГНМ, стимулював перш? промислов? ?нвестиц?? в глибоке навчання для розп?знавання мовлення. Цей анал?з було зроблено з пор?внянною продуктивн?стю (менше 1,5 % у р?вн? похибок) м?ж розр?знювальними ГНМ та породжувальними моделями. 2010 року досл?дники розширили глибоке навчання в?д TIMIT до великословникового розп?знавання мовлення, застосувавши велик? шари виходу ГНМ на основ? контекстнозалежних стан?в ПММ, побудованих за допомогою дерев р?шень.

Глибоке навчання ? частиною систем р?вня останн?х досягнень у р?зних дисципл?нах, зокрема в комп'ютерн?м баченн? та автоматичному розп?знаванн? мовлення (АРМ, англ. automatic speech recognition, ASR). Результати на загальновживаних оц?нювальних наборах, таких як TIMIT (АРМ) та MNIST (класиф?кування зображень), а також низц? завдань великословникового розп?знавання мовлення, пост?йно покращувалися. Згортков? нейронн? мереж? (ЗНМ) для АРМ було вит?снено НЧК для ДКЧП, але в комп'ютерн?м баченн? вони усп?шн?ш?.

Удосконалення апаратного забезпечення в?дновило ?нтерес до глибокого навчання. 2009 року Nvidia брала участь у так званому ?великому вибуху? глибокого навчання, ?оск?льки нейронн? мереж? глибокого навчання тренували за допомогою граф?чних процесор?в (ГП) Nvidia?. Того року Ендрю Ин визначив, що ГП можуть п?двищити швидк?сть систем глибокого навчання приблизно в 100 раз?в. Зокрема, ГП добре п?дходять для матричних/векторних обчислень, зад?яних у машинному навчанн?. ГП прискорюють алгоритми тренування на порядки, скорочуючи час роботи з тижн?в до дн?в. Кр?м того, для ефективно? обробки моделей глибокого навчання можливо використовувати спец?ал?зоване обладнання та оптим?зац?ю алгоритм?в.

Революц?я глибокого навчання

Як глибоке навчання ? п?дмножиною машинного навчання ? як машинне навчання ? п?дмножиною штучного ?нтелекту (Ш?)

Наприк?нц? 2000-х глибоке навчання почало перевершувати ?нш? методи в змаганнях з машинного навчання. 2009 року довга короткочасна пам'ять, натренована нейромережною часовою класиф?кац??ю (Алекс ?рейвс, Сантьяго Фернандес, Фауст?но ?омес та Юрген Шм?дхубер, 2006) стала першою РНМ, яка виграла конкурси з розп?знавання образ?в, вигравши три змагання з розп?знавання неперервного рукописного тексту. П?зн?ше Google використала натреновану НЧК ДКЧП для розп?знавання мовлення на смартфон?.

Значний вплив на розп?знавання зображень або об'?кт?в в?дчувався з 2011 по 2012 роки. Хоча ЗНМ, тренован? зворотним поширенням, ?снували десятил?ттями, а вт?лення НМ на ГП — роками, включно ?з ЗНМ, для прогресу в комп'ютерн?м баченн? знадобилися швидш? вт?лення ЗНМ на граф?чних процесорах. 2011 року DanNet Дена Чирешана, Ул? Ме?ра, Джонатана Маск?, Луки Мар?? Гамбардели та Юргена Шм?дхубера вперше досягла надлюдських результат?в у змаганн? з розп?знавання в?зуальних образ?в, перевершивши традиц?йн? методи втрич?. Також 2011 року DanNet виграла конкурс ?з китайського рукописного тексту ICDAR, а в травн? 2012 року перемогла в конкурс? з сегментування зображень ISBI. До 2011 року ЗНМ не в?д?гравали велико? рол? на конференц?ях з комп'ютерного бачення, але в червн? 2012 року публ?кац?я Чирешана з? сп?вавт. на пров?дн?й конференц?? CVPR показала, як максим?зувально агрегувальн? ЗНМ на ГП можуть значно покращувати багато еталонних рекорд?в у баченн?. У вересн? 2012 року DanNet також виграла конкурс ICPR з анал?зу великих медичних зображень для виявляння раку, а наступного року також ? MICCAI Grand Challenge на ту ж тему. У жовтн? 2012 року под?бна AlexNet Олекс?я Крижевського, ?лл? Суцкевера та Джефр? Г?нтона виграла великомасштабне змагання ImageNet з? значним в?дривом в?д неглибоких метод?в машинного навчання. Мережа VGG-16 Карена Симоняна та Ендрю З?ссермана ще б?льше знизила р?вень похибок ? виграла конкурс ImageNet 2014, сл?дуючи под?бн?й тенденц?? у широкомасштабному розп?знаванн? мовлення.

Пот?м класиф?кування зображень було розширено до складн?шого завдання породжування опис?в (п?дпис?в) для зображень, часто як по?днання ЗНМ та ДКЧП.

2012 року команда п?д проводом Джорджа Даля виграла конкурс ?Merck Molecular Activity Challenge?, використовуючи багатозадачн? глибок? нейронн? мереж? для передбачування б?омолекулярно? м?шен? одного препарату. 2014 року група Зеппа Хохрайтера використала глибоке навчання для виявляння нец?льових ? токсичних вплив?в х?м?чних речовин навколишнього середовища у поживних речовинах, побутових товарах ? л?ках, ? виграла ?Tox21 Data Challenge? NIH, FDA та NCATS.

2016 року Роджер Парлофф зазначив ?революц?ю глибокого навчання?, яка зм?нила галузь Ш?.

У березн? 2019 року Йошуа Бенж?о, Джефр? Г?нтона та Яна ЛеКуна було нагороджено прем??ю Тюр?нга за концептуальн? та ?нженерн? прориви, як? зробили глибок? нейронн? мереж? критично важливою складовою обчислювально? техн?ки.

Нейронн? мереж?

Спрощений приклад тренування нейронно? мереж? у виявлянн? об'?кт?в: Мережу тренують к?лькома зображеннями, в?домими як зображення морських з?рок та морських ?жак?в, що корелюють з ?вузлами?, як? подають в?зуальн? ознаки. Морськ? з?рки в?дпов?дають текстур? в кружечок та з?рковому контуров?, тод? як б?льш?сть морських ?жак?в в?дпов?дають смугаст?й текстур? й овальн?й форм?. Проте, приклад морського ?жака з текстурою в кружечок створю? слабко зважену пов'язан?сть м?ж ними.

Наступний запуск мереж? на вх?дному зображенн? (л?воруч): Мережа правильно виявля? морську з?рку. Проте, слабко зважена пов'язан?сть м?ж текстурою в кружечок ? морським ?жаком також переда? слабкий сигнал останньому в?д одного з двох пром?жних вузл?в. Кр?м того, черепашка, яку не було включено до тренування, да? слабкий сигнал для овально? форми, що також призводить до слабкого сигналу для виходу морського ?жака. Ц? слабк? сигнали можуть призвести до хибно позитивного результату для морського ?жака.
В реальност? текстури та контури не буде подано поодинокими вузлами, а радше пов'язаними ваговими шаблонами дек?лькох вузл?в.

Шту?чн? нейро?нн? мере?ж? (ШНМ, англ. artificial neural networks, ANN) або коннекц?он??стськ? систе?ми (англ. connectionist systems) — це обчислювальн? системи, натхненн? б?олог?чними нейронними мережами, як? складають мозок тварин. Так? системи вчаться (поступово вдосконалюють сво? зд?бност?) виконувати завдання, розглядаючи приклади, як правило, без програмування п?д конкретне завдання. Наприклад, у розп?знаванн? зображень вони можуть навчитися встановлювати зображення, як? м?стять кот?в, анал?зуючи приклади зображень, м?чен? вручну як ?к?т? чи ?кота нема?, ? використовуючи результати цього анал?зу для встановлювання кот?в на ?нших зображеннях. Вони знайшли найб?льше використання в застосуваннях, як? важко висловити за допомогою традиц?йного комп'ютерного алгоритму з використанням програмування на основ? правил.

ШНМ ?рунту?ться на сукупност? з'?днаних вузл?в, званих штучними нейронами (аналог?чно б?олог?чним нейронам у б?олог?чному мозку). Кожне з'?днання (синапс) м?ж нейронами може передавати сигнал ?ншому нейронов?. Приймальний (постсинаптичний) нейрон може обробляти сигнал(и), а пот?м сигнал?зувати подальшим нейронам. Нейрони можуть мати стан, як правило, поданий д?йсними числами, зазвичай м?ж 0 та 1. Нейрони та синапси також можуть мати вагу, яка зм?ню?ться в м?ру навчання, що може зб?льшувати або зменшувати силу сигналу, який вони надсилають дал?.

Як правило, нейрони впорядковано в шари (англ. layers). Р?зн? шари можуть виконувати р?зн? типи перетворень над сво?ми входами. Сигнали проходять в?д першого шару (шару входу) до останнього шару (шару виходу), можливо, п?сля проходження шарами дек?лька раз?в.

Початкова мета нейромережного п?дходу полягала у розв'язуванн? задач таким же чином, як це робив би людський мозок. З часом увага зосередилася на в?дпов?дност? конкретним розумовим зд?бностям, що призвело до в?дхилень в?д б?олог??, таких як зворотне поширення, або передавання ?нформац?? у зворотному напрямку з п?длаштовуванням мереж? в?дображувати цю ?нформац?ю.

Нейронн? мереж? використовували для р?зноман?тних завдань, включно з комп'ютерним баченням, розп?знаванням мовлення, машинним перекладом, ф?льтруванням соц?альних мереж, грою в наст?льн? та в?део?гри та медичною д?агностикою.

Станом на 2017 р?к нейронн? мереж? зазвичай мають в?д к?лькох тисяч до к?лькох м?льйон?в вузл?в та м?льйони з'?днань. Попри те, що це число на к?лька порядк?в менше за число нейрон?в у мозку людини, ц? мереж? можуть виконувати багато завдань на р?вн?, що перевершу? людський (наприклад, розп?знавати обличчя або грати в ??о?).

Глибок? нейронн? мереж?

Глибока нейронна мережа (ГНМ, англ. deep neural network, DNN) — це штучна нейронна мережа (ШНМ) ?з к?лькома шарами м?ж шарами входу та виходу. ?снують р?зн? типи нейронних мереж, але вони завжди складаються з тих же складових: нейрон?в, синапс?в, ваг, зм?щень та функц?й. Ц? складов? в ц?лому функц?онують у спос?б, що ?м?ту? функц?ювання людського мозку, ? ?х, як ? будь-який ?нший алгоритм МН, можливо тренувати.^{[джерело?]}

Наприклад, ГНМ, тренована розп?знавати породи собак, проходитиме заданим зображенням й обчислюватиме ймов?рн?сть того, що зображений собака належить до певно? породи. Користувач може переглядати результати й обирати, як? ймов?рност? мережа повинна в?дображувати (вище певного порогу тощо) й повертати запропоновану м?тку. Кожну математичну ман?пуляц?ю як таку вважають шаром,^{[джерело?]} ? складн? ГНМ мають багато шар?в, зв?дси й назва ?глибок?? мереж?.

ГНМ можуть моделювати складн? нел?н?йн? зв'язки. Арх?тектури ГНМ породжують композиц?йн? модел?, де об'?кт виражають багатошаровою композиц??ю прим?тив?в. Додатков? шари дозволяють комб?нувати ознаки з нижчих шар?в, потенц?йно моделюючи складн? дан? меншою к?льк?стю вузл?в, н?ж неглибок? мереж? з под?бною продуктивн?стю. Наприклад, було доведено, що розр?джен? багатовим?рн? многочлени експоненц?йно легше наближувати за допомогою ГНМ, н?ж за допомогою неглибоких мереж.

До глибоких арх?тектур належать багато вар?ант?в к?лькох основних п?дход?в. Кожна арх?тектура досягла усп?ху в певних областях. Не завжди можливо пор?вняти продуктивн?сть к?лькох арх?тектур, якщо ?х оц?нювали не на однакових наборах даних.

ГНМ, як правило, ? мережами прямого прямого поширення, в яких дан? проходять з шару входу до шару виходу без повернення назад. Спочатку ГНМ створю? карту в?ртуальних нейрон?в ? призначу? зв'язкам м?ж ними випадков? числов? значення, або ?ваги?. Ваги та входи перемножуються й повертають результат м?ж 0 та 1. Якщо мережа не розп?зна? певний образ точно, алгоритм п?длаштову? ц? ваги. Таким чином алгоритм може робити певн? параметри впливов?шими, доки не визначить правильну математичну операц?ю для повно? обробки даних.

Рекурентн? нейронн? мереж? (РНМ, англ. recurrent neural networks, RNN), в яких дан? можуть простувати в будь-якому напрямку, використовують для таких застосувань як моделювання мови. Для цього використання особливо ефективна довга короткочасна пам'ять.

Згортков? глибок? нейронн? мереж? (ЗНМ, англ. convolutional deep neural networks, CNN) використовують у комп'ютерн?м баченн?. ЗНМ також застосовували до акустичного моделювання для автоматичного розп?знавання мовлення (АРМ, англ. automatic speech recognition, ASR).

Виклики

Як ? з ШНМ, при на?вному тренуванн? ГНМ може виникати багато проблем. Двома поширеними проблемами ? перенавчання та обчислювальний час.

ГНМ схильн? до перенавчання через додан? шари абстрагування, як? дозволяють ?м моделювати р?дк?сн? залежност? в тренувальних даних. Для боротьби з перенавчанням п?д час тренування можливо застосовувати методи регуляризац??, так? як обр?зання вузл?в (англ. unit pruning) ?вахненка, ослаблення ваг (англ. weight decay, $\ell _{2}$-регуляризац?я) та розр?джен?сть (англ. sparsity, $\ell _{1}$-регуляризац?я). Альтернативна регуляризац?я виключенням (англ. dropout) випадковим чином вилуча? вузли з прихованих шар?в п?д час тренування. Це допомага? виключати р?дк?сн? залежност?. Нарешт?, дан? можливо доповнювати за допомогою таких метод?в як обр?зання та обертання, щоби менш? тренувальн? набори можливо було зб?льшити в розм?р? задля зменшення ймов?рност? перенавчання.

ГНМ повинн? враховувати багато параметр?в тренування, таких як розм?р (к?льк?сть шар?в ? к?льк?сть вузл?в на шар), темп навчання та первинн? ваги. Проч?сування простору параметр?в для отримання оптимальних значень може бути недосяжним через часов? та обчислювальн? витрати. Обчислення прискорюють р?зн? трюки, так? як пакетування (англ. batching, обчислення град??нта на к?лькох тренувальних прикладах одночасно, зам?сть обчислення на окремих). Велик? оброблювальн? можливост? багатоядерних арх?тектур (таких як граф?чн? процесори та Intel Xeon Phi) призвели до значного прискорення тренування через придатн?сть таких оброблювальних арх?тектур для матричних та векторних обчислень.

Кр?м того, ?нженери можуть шукати ?нш? типи нейронних мереж ?з прост?шими та зб?жн?шими алгоритмами тренування. Одним ?з таких вид?в нейронних мереж ? АКММ (артикуляц?йний контролер мозочково? модел?, англ. cerebellar model articulation controller, CMAC). В?н не потребу? темп?в навчання та увипадковлених первинних ваг. Може бути гарантовано зб?жн?сть його процесу тренування за один крок ?з новим пакетом даних, а обчислювальна складн?сть алгоритму тренування л?н?йна щодо к?лькост? зад?яних нейрон?в.

Апаратне забезпечення

З 2010-х рок?в прогрес як в алгоритмах машинного навчання, так ? в комп'ютерному апаратному забезпеченн? призв?в до ефективн?ших метод?в тренування глибоких нейронних мереж, як? м?стять багато шар?в нел?н?йних прихованих вузл?в ? дуже великий шар виходу. До 2019 року граф?чн? процесори (ГП), часто з? спец?альними вдосконаленнями для Ш?, вит?снили ЦП як переважний метод тренування великомасштабного комерц?йного хмарного Ш?. OpenAI оц?нила апаратн? обчислення, як? використовували в найб?льших про?ктах глибокого навчання в?д AlexNet (2012) ? до AlphaZero (2017), ? виявила 300 000-кратне зб?льшення необх?дного обсягу обчислень ?з тенденц??ю подво?ння часу кожн? 3,4 м?сяця.

Для прискорення алгоритм?в глибокого навчання було розроблено спец?альн? електронн? схеми, зван? процесорами глибокого навчання. До процесор?в глибокого навчання належать нейронн? процесори (НП, англ. neural processing units, NPU) у моб?льних телефонах Huawei та серверах хмарних обчислень, так? як тензорн? процесори (ТП, англ. tensor processing units, TPU) у Google Cloud Platform. Cerebras Systems також створила спец?альну систему для обробки великих моделей глибокого навчання, CS-2, що ?рунту?ться на найб?льшому процесор? в галуз?, другому покол?нн? Wafer Scale Engine (WSE-2).

Атомарно тонк? нап?впров?дники вважають перспективними для енергоефективного апаратного забезпечення глибокого навчання, де одну й ту ж базову структуру пристрою використовують як для лог?чних операц?й, так ? для збер?гання даних. 2020 року Марега з? сп?вавт. опубл?кували експерименти з активноканальним матер?алом велико? площ? для розробки пристро?в ? схем з лог?чною пам'яттю на основ? польових транзистор?в з плавни?м затвором (англ. floating-gate field-effect transistors, FGFET).

2021 року Й. Фельдманн з? сп?вавт. запропонували ?нтегрований фотонний апаратний прискорювач для паралельно? згортково? обробки. Автори вид?ляють дв? ключов? переваги ?нтегровано? фотон?ки над ?? електронними аналогами: (1) масивна паралельна передача даних через мультиплексування за довжиною хвил? в по?днанн? з частотними греб?нцями та (2) надзвичайно висока швидк?сть модуляц?? даних. ?хня система може виконувати трильйони операц?й множення-додавання за секунду, що вказу? на потенц?ал ?нтегровано? фотон?ки у застосуваннях штучного ?нтелекту, як? потребують великих даних.

Застосування

Автоматичне розп?знавання мовлення

Великомасштабне автоматичне розп?знавання мовлення — це перший ? найпереконлив?ший усп?шний приклад глибокого навчання. РНМ ДКЧП можуть навчатися завдань ?дуже глибокого навчання?, до яких належать багатосекундн? ?нтервали, що м?стять мовленн?в? под??, розд?лен? тисячами дискретних часових крок?в, де один часовий крок в?дпов?да? приблизно 10 мс. ДКЧП ?з забувальними вентилями на певних завданнях конкурентоспроможн? з традиц?йними розп?знавачами мовлення.

Початковий усп?х у розп?знаванн? мовлення ?рунтувався на невеликих завданнях розп?знавання на основ? TIMIT. Цей наб?р даних м?стить 630 нос??в восьми основних д?алект?в американсько? англ?йсько?, де кожен чита? 10 речень. Його невеликий розм?р дозволя? випробувати багато конф?гурац?й. Що ще важлив?ше, завдання TIMIT стосу?ться розп?знавання фональних посл?довностей, яке, на в?дм?ну в?д розп?знавання посл?довност? сл?в, дозволя? використовувати слабк? фоноб?грамн? мовн? модел?. Це дозволя? легше анал?зувати силу аспект?в акустичного моделювання розп?знавання мовлення. Частоту похибки, наведену нижче, включно з цими ранн?ми результатами, вим?ряну у в?дсотках р?вн?в фональних похибок (РФП, англ. phone error rates, PER), було узагальнено з 1991 року.

Метод	В?дсоток р?вня фонально? похибки (РФП) (%)
РНМ з випадковими початковими значеннями	26,1
Ба?сова трифональна ГСМ-ПММ	25,6
Модель приховано? тра?ктор?? (породжувальна)	24,8
Монофональна ГНМ з випадковими початковими значеннями	23,4
Монофональна ГМП-ГНМ	22,4
Трифональна ГСМ-ПММ з навчанням ПМВ?	21,7
Монофональна ГМП-ГНМ на блоц? ф?льтр?в	20,7
Згорткова ГНМ	20,0
Згорткова ГНМ з р?знор?дним агрегуванням	18,7
Ансамблева ГНМ/ЗНМ/РНМ	18,3
Двоспрямована ДКЧП	17,8
??рарх?чна згорткова глибока максимумовиходова мережа	16,5

Дебют ГНМ для розп?знавання мовц?в наприк?нц? 1990-х та розп?знавання мовлення приблизно в 2009—2011 роках, а також ДКЧП приблизно в 2003—2007 роках прискорили прогрес у восьми основних областях:

• Масштабування вгору/назовн? та прискорення тренування та декодування ГНМ
• Посл?довн?сно розр?знювальне тренування
• Обробка ознак глибокими моделями з ц?л?сним розум?нням механ?зм?в, що лежать в ?хн?й основ?
• Пристосування ГНМ та спор?днених глибоких моделей
• Багатозадачне та передавальне навчання за допомогою ГНМ ? спор?днених глибоких моделей
• ЗНМ та як ?х про?ктувати, щоби найкращим чином використати предметн? знання щодо мовлення
• РНМ та ?хн? численн? вар?анти з ДКЧП
• ?нш? типи глибоких моделей, включно з моделями на основ? тензор?в та комб?нованими породжувально/розр?знювальними моделями.

Ус? основн? комерц?йн? системи розп?знавання мовлення (наприклад, Microsoft Cortana, Xbox, Перекладач Skype, Amazon Alexa, Google Now, Apple Siri, Baidu та голосовий пошук iFlytek, а також низка мовленн?вих продукт?в Nuance тощо) ?рунтуються на глибокому навчанн?.

Розп?знавання зображень

Поширеним оц?нковим набором для класиф?кування зображень ? наб?р даних бази даних MNIST. В?н склада?ться з рукописних цифр ? м?стить 60 000 навчальних та 10 000 випробувальних приклад?в. Як ? у випадку з TIMIT, його невеликий розм?р дозволя? користувачам випробувати к?лька конф?гурац?й. Доступний вичерпний перел?к результат?в на цьому набор?.

Розп?знавання зображень на основ? глибокого навчання стало ?надлюдським?, даючи точн?ш? результати, н?ж люди, учасники змагання. Вперше це сталося 2011 року з розп?знаванням дорожн?х знак?в, а 2014 року з розп?знаванням облич людей.

Тренован? глибоким навчанням транспортн? засоби тепер ?нтерпретують камери кругового огляду. ?ншим прикладом ? нов?тн?й анал?з у лицев?й дисморфолог?? (англ. Facial Dysmorphology Novel Analysis, FDNA), який використовують для анал?зу випадк?в вад розвитку людини, пов'язаних ?з великою базою даних генетичних синдром?в.

Обробка образотворчого мистецтва

В?зуальна художня обробка Джимм? Вейлза у Франц?? у стил? ?Крику? Мунка, застосованого за допомогою нейронного перенесення стилю

З прогресом, досягнутим у розп?знаванн? зображень, т?сно пов'язане все ширше застосування методик глибокого навчання до р?зноман?тних завдань образотворчого мистецтва. ГНМ довели свою здатн?сть, наприклад, у

• встановлюванн? пер?оду стилю задано? картини
• Нейронн?м перенесенн? стилю — вловлюванн? стилю певного твору мистецтва та застосуванн? його в?зуально при?мним чином до дов?льно? фотограф?? чи в?део
• створенн? вражаючих зображень на основ? випадкових вх?дних зорових пол?в.

Обробка природно? мови

Нейронн? мереж? використовують для вт?лення мовних моделей з початку 2000-х рок?в. ДКЧП допомогла покращити машинний переклад ? моделювання мови.

?ншими ключовими методиками в ц?й галуз? ? негативне вибирання (англ. negative sampling) та вкладання сл?в. Вкладання сл?в, наприклад word2vec, можливо розглядати як шар подання в арх?тектур? глибокого навчання, який перетворю? атомарне слово в подання розташування слова в?дносно ?нших сл?в у набор? даних; розташування пода?ться як точка у векторному простор?. Використання вкладення сл?в як вх?дного р?вня РНМ дозволя? ц?й мереж? анал?зувати речення та фрази за допомогою ефективно? композиц?йно? векторно? граматики. Композиц?йну векторну граматику можливо розглядати як ?мов?рн?сну контекстнов?льну граматику (?КВГ, англ. probabilistic context free grammar, PCFG), вт?лену РНМ. Рекурсивн? автокодувальники, збудован? поверх вкладень сл?в, можуть оц?нювати схож?сть речень та виявляти перефразування. Глибок? нейронн? арх?тектури забезпечують найкращ? результати для анал?зу складник?в, тональност?, пошуку ?нформац??, розум?ння розмовно? мови, машинного перекладу, контекстного зв'язування об'?кт?в, розп?знавання стилю написання, розп?знавання ?менованих сутностей (класиф?кування лексем), класиф?кування тексту та ?нших.

Останн? розробки узагальнюють вкладання сл?в до вкладання речень.

Перекладач Google використову? велику наскр?зну мережу довго? короткочасно? пам'ят? (ДКЧП). Нейронний машинний переклад Google використову? метод машинного перекладу на основ? приклад?в, у якому система ?вчиться на м?льйонах приклад?в?. В?н переклада? ?ц?л? речення за раз, а не частини?. Перекладач Google п?дтриму? понад сто мов. Мережа коду? ?семантику речення, а не просто запам'ятову? пофразов? переклади?. Перекладач Google використову? англ?йську як пром?жну м?ж б?льш?стю мовних пар.

Пошук нових л?к?в та токсиколог?я

Значний в?дсоток л?к?в-кандидат?в не отриму? схвалення регуляторних орган?в. Ц? невдач? спричинен? недостатньою ефективн?стю (впливом на м?шень), небажаними вза?мод?ями (впливами поза м?шенню) або непередбаченими токсичними впливами. Досл?дники вивчали використання глибокого навчання для передбачування б?омолекулярних м?шеней, антим?шеней та токсичних вплив?в х?м?чних речовин навколишнього середовища у поживних речовинах, побутових товарах ? л?ках.

AtomNet — це система глибокого навчання для рац?онального конструювання л?к?в на основ? структури. AtomNet використовували для передбачування нов?тн?х б?омолекул-кандидат?в для м?шеней таких захворювань як в?рус Ебола та розс?яний склероз.

2017 року графов? нейронн? мереж? було вперше використано для передбачування р?зних властивостей молекул у великому набор? токсиколог?чних даних. 2019 року породжувальн? нейронн? мереж? було використано для створення молекул, як? було перев?рено експериментально в?д початку до к?нця на мишах.

Управл?ння в?дносинами з кл??нтами

Глибоке навчання з п?дкр?пленням використовували для наближування ц?нност? можливих д?й прямого маркетингу, визначених у терм?нах зм?нних RFM. Було показано, що ця функц?я оц?нки ц?нност? ма? природну ?нтерпретац?ю як пожитт?ва ц?нн?сть кл??нта.

Рекомендац?йн? системи

Рекомендац?йн? системи використовували глибоке навчання для вид?ляння значущих ознак для модел? латентних чинник?в для музичних та журнальних рекомендац?й на основ? вм?сту. Для навчання уподобань користувач?в ?з к?лькох областей було застосовано багатоаспектне глибоке навчання (англ. multi-view deep learning). Ця модель використову? г?бридний сп?льний та оснований на вм?ст? п?дх?д, ? покращу? рекомендац?? в дек?лькох завданнях.

Б?о?нформатика

Автокодувальну ШНМ використовували в б?о?нформатиц? для передбачування анотац?й генно? онтолог?? та зв'язк?в м?ж генами й функц?ями.

У медичн?й ?нформатиц? глибоке навчання використовували для передбачування якост? сну на основ? даних з носимих пристро?в та для передбачування ускладнень здоров'я з даних електронних медичних запис?в.

Оц?нювання глибокими нейронними мережами

Глибок? нейронн? мереж? (ГНМ) можливо використовувати для оц?нювання ентроп?? стохастичних процес?в, ?х називають нейронними оц?нювачами сп?льно? ентроп?? (НОСЕ, англ. Neural Joint Entropy Estimator, NJEE). Таке оц?нювання да? уявлення про вплив випадкових зм?нних входу на незалежну випадкову зм?нну. На практиц?, ГНМ тренують як класиф?катор, який в?дображу? вектор або матрицю входу X у розпод?л ?мов?рност? виходу над можливими класами випадково? зм?нно? Y за заданого входу X. Наприклад, у завданнях класиф?кування зображень НОСЕ в?дображу? вектор значень кольор?в п?ксел?в у ймов?рност? над можливими класами зображень. На практиц? розпод?л ?мов?рност? Y отримують за допомогою шару Softmax ?з к?льк?стю вузл?в, яка дор?вню? розм?ру абетки Y. НОСЕ використову? неперервно диференц?йовн? передавальн? функц??, так що умови теореми про ун?версальне наближення виконуються. Показано, що цей метод забезпечу? сильно слушну оц?нку й перевершу? ?нш? методи в раз? великих розм?р?в абетки.

Анал?з медичних зображень

Було показано, що глибоке навчання да? конкурентоспроможн? результати в медичних застосуваннях, таких як класиф?кування ракових кл?тин, виявляння уражень, сегментування орган?в та покращування зображень. Сучасн? ?нструменти глибокого навчання демонструють високу точн?сть виявляння р?зних захворювань та доц?льн?сть використання ?х фах?вцями для п?двищення ефективност? д?агностування.

Моб?льна реклама

Знайти в?дпов?дну моб?льну аудитор?ю для моб?льно? реклами завжди складно, оск?льки необх?дно розглянути та проанал?зувати багато точок даних, перш н?ж стане можливо створити ц?льовий сегмент ? використати його для розм?щення реклами на будь-якому рекламному сервер?. Глибоке навчання використовували для ?нтерпретування великих, багатовим?рних набор?в рекламних даних. П?д час циклу ?нтернет-реклами запит/подача/натискання збирають багато точок даних. Ця ?нформац?я може ставати основою машинного навчання для покращення обирання оголошень.

В?дновлювання зображень

Глибоке навчання було усп?шно застосовано до обернених задач, таких як знешумлювання, надвисока розд?льн?сть, заповнювання прогалин та кольоризування ф?льм?в. До цих застосувань входять так? методи навчання як ?Shrinkage Fields for Effective Image Restoration?, який трену?ться на набор? зображень, та глибоке апр?орне зображень (англ. Deep Image Prior), що трену?ться на зображенн?, якому потр?бне в?дновлення.

Виявляння ф?нансового шахрайства

Глибоке навчання усп?шно застосовують для виявляння ф?нансового шахрайства, ухилення в?д сплати податк?в та боротьби з в?дмиванням грошей.

Матер?алознавство

У листопад? 2023 року досл?дники з Google DeepMind та Нац?онально? лаборатор?? ?м. Лоуренса в Беркл? оголосили, що вони розробили систему Ш?, в?дому як GNoME. Ця система зробила внесла внесок до матер?алознавства, в?дкривши понад 2 м?льйони нових матер?ал?в за в?дносно короткий час. GNoME використову? методики глибокого навчання для ефективного досл?дження потенц?йних структур матер?ал?в, досягаючи значного зростання у встановлюванн? стаб?льних неорган?чних кристал?чних структур. Передбачення ц??? системи були п?дтверджен? за допомогою автономних роботизованих експеримент?в, продемонструвавши вражаючий р?вень усп?шност? в 71 %. Дан? про новов?дкрит? матер?али доступн? публ?чно через базу даних Materials Project, надаючи досл?дникам можлив?сть встановлювати матер?али з бажаними властивостями для р?зних застосувань. Цей розвиток ма? насл?дки для майбутнього наукових в?дкритт?в та ?нтегрування Ш? в досл?дження матер?алознавства, потенц?йно прискорюючи нововведення в матер?алах та знижуючи варт?сть розробки продукт?в. Використання Ш? та глибокого навчання натяка? на можлив?сть м?н?м?зац?? або виключення ручних лабораторних експеримент?в та дозволя? науковцям б?льше зосередитися на про?ктуванн? й анал?з? ун?кальних сполук.

В?йськов?

М?н?стерство оборони Сполучених Штат?в застосовувало глибоке навчання, щоб тренувати робот?в виконувати нов? завдання через спостереження.

Диференц?альн? р?вняння з частинними пох?дними

Ф?зичн? нейронн? мереж? (англ. physics informed neural networks) використовували для розв'язування диференц?альних р?внянь ?з частинними пох?дними як у прямих, так ? в обернених задачах на основ? даних. Одним ?з приклад?в ? в?дбудова потоку р?дини, керована р?вняннями Нав'? — Стокса. Використання ф?зичних нейронних мереж не потребу? часто витратного породжування с?тки, на яке спираються звичайн? методи обчислювально? г?дродинам?ки.

В?дбудова зображень

В?дбудова зображень (англ. image reconstruction) — це в?дбудова зображень, що лежать в основ? пов'язаних ?з зображеннями вим?рювань. Дек?лька праць показали кращу та в?дм?нну продуктивн?сть метод?в глибокого навчання пор?вняно з анал?тичними методами для р?зних застосувань, наприклад, спектральних та ультразвукових зображень.

Еп?генетичний годинник

Еп?генетичний годинник (англ. epigenetic clock) — це б?ох?м?чний тест, який можливо використовувати для вим?рювання в?ку. Галк?н з? сп?вавт. використали глибок? нейронн? мереж?, щоби натренувати еп?генетичний годинник стар?ння з безпрецедентною точн?стю, використавши понад 6000 зразк?в кров?. Цей годинник використову? ?нформац?ю з 1000 CpG-остр?вц?в ? передбачу? людей з певними станами старше здорових контрольних груп: ЗЗК, лобово-скроневою деменц??ю, раком я?чника, ожир?нням. Цей годинник стар?ння планувала випустити для загального використання 2021 року доч?рня компан?я компан?? Insilico Medicine, Deep Longevity.

В?дношення до когн?тивного розвитку людини та розвитку мозку

Глибоке навчання т?сно пов'язане з класом теор?й розвитку мозку (особливо ново? кори), запропонованих когн?тивними нейроб?ологами на початку 1990-х рок?в. Ц? теор?? розвитку було вт?лено в обчислювальних моделях, що зробило ?х попередниками систем глибокого навчання. Ц? модел? розвитку под?ляють таку властив?сть, що р?зн? запропонован? динам?ки навчання в мозку (наприклад, хвиля чинника росту нерв?в) п?дтримують самоорган?зац?ю, дещо аналог?чну нейронним мережам, як? використовують у моделях глибокого навчання. Як ? нова кора, нейронн? мереж? використовують ??рарх?ю багатошарових ф?льтр?в, у яких кожен шар розгляда? ?нформац?ю з попереднього шару (або робочого середовища), а пот?м переда? св?й вих?д (?, можливо, початковий вх?д) ?ншим шарам. Цей процес вида? самоорган?зований стос вим?рювальних перетворювач?в, добре п?длаштованих до ?хнього робочого середовища. В опис? 1995 року зазначено: ?…мозок немовляти, зда?ться, орган?зову?ться п?д впливом хвиль так званих чинник?в росту… р?зн? д?лянки мозку стають з'?днаними посл?довно, причому один шар тканини дозр?ва? ран?ше ?ншого, ? так дал?, поки не дозр?? весь мозок?.

Було використано р?зноман?тн? п?дходи для досл?дження правдопод?бност? моделей глибокого навчання з нейроб?олог?чно? точки зору. З одного боку, було запропоновано дек?лька вар?ант?в алгоритму зворотного поширення з метою п?двищення реал?стичност? його обробки. ?нш? досл?дники стверджують, що до б?олог?чно? д?йсност? можуть бути ближчими форми некерованого глибокого навчання, так? як т?, що ?рунтуються на ??рарх?чних породжувальних моделях та глибоких мережах переконань. У цьому в?дношенн? модел? породжувальних нейронних мереж пов'язували з нейроб?олог?чними св?дченнями обробки в кор? головного мозку на основ? виб?рки.

Хоча систематичного пор?вняння м?ж орган?зац??ю людського мозку та нейронним кодуванням у глибоких мережах створено ще не було, було пов?домлено про к?лька аналог?й. Наприклад, обчислення, як? виконуються блоками глибокого навчання, можуть бути под?бними до обчислень справжн?х нейрон?в ? нейронних популяц?й. Под?бним чином, подання, вироблен? моделями глибокого навчання, под?бн? до тих, як? вим?рюють у зоров?й систем? примат?в як на р?вн? окремого вузла, так ? на р?вн? популяц??.

Комерц?йна д?яльн?сть

Лаборатор?я Ш? Facebook викону? так? завдання як автоматичне м?чення завантажених зображень ?менами людей на них.

Google DeepMind Technologies розробила систему, здатну навчитися грати у в?део?гри Atari, використовуючи як дан? входу лише п?ксел?. 2015 року вони продемонстрували свою систему AlphaGo, яка навчилася гр? ?о наст?льки добре, що перемогла профес?йного гравця. Перекладач Google використову? нейронну мережу, щоби перекладати м?ж понад 100 мовами.

2017 року було запущено Covariant.ai, зосереджений на ?нтегруванн? глибокого навчання на заводах.

Станом на 2008 р?к досл?дники Техаського ун?верситету в Ост?н? (UT) розробили систему машинного навчання п?д назвою Training an Agent Manually via Evaluative Reinforcement (укр. ручне тренування агента через оц?нювальне п?дкр?плення), або TAMER, яка запропонувала нов? методи для робот?в та комп'ютерних програм, як вчитися виконувати завдання шляхом вза?мод?? з людиною-?нструктором. Спершу розроблений як TAMER, новий алгоритм п?д назвою Deep TAMER було п?зн?ше представлено 2018 року п?д час сп?впрац? м?ж Досл?дницькою лаборатор??ю арм?? США (ARL) та досл?дниками UT. Deep TAMER використовував глибоке навчання, щоби забезпечити роботов? здатн?сть навчатися нових завдань шляхом спостер?гання. Використовуючи Deep TAMER, робот навчався завдання разом ?з тренером-людиною, переглядаючи в?деопотоки або спостер?гаючи, як людина викону? завдання особисто. П?зн?ше робот в?дпрацьовував завдання за допомогою тренера, який давав в?дгуки, так? як ?добра робота? та ?погана робота?.

Критика та коментар?

Глибоке навчання притягувало як критику, так ? коментар?, у деяких випадках поза межами галуз? ?нформатики.

Теор?я

Основна критика стосу?ться браку теор?? навколо деяких метод?в. Навчання в найпоширен?ших глибоких арх?тектурах вт?лено за допомогою добре зрозум?лого град??нтного спуску. Проте теор?я навколо цих алгоритм?в, таких як контрастове розходження, не така ясна^{[джерело?]} (наприклад: В?н зб?га?ться? Якщо так, то як швидко? Що в?н наближу??). На методи глибокого навчання часто дивляться як на чорну скриньку, роблячи б?льш?сть п?дтверджень емп?рично, а не теоретично.

?нш? зазначають, що глибоке навчання сл?д розглядати як крок до вт?лення сильного Ш?, а не як всеохопне р?шення. Попри потужн?сть метод?в глибокого навчання, ?м все ще браку? значно? частини функц?ональност?, необх?дно?, щоби вт?лити цю мету повн?стю. Психолог-досл?дник ?ер? Маркус зазначив:

Насправд? глибоке навчання це лише частина б?льшого завдання створення розумних машин. Таким методикам браку? способ?в подання причинно-насл?дкових зв'язк?в (…) вони не мають очевидних способ?в зд?йснення лог?чних висновк?в, ? вони також ще далек? в?д по?днання абстрактних знань, таких як ?нформац?я про те, чим ? об'?кти, для чого вони, ? як ?х зазвичай використовують. Найпотужн?ш? системи Ш?, так? як Watson (…) використовують так? методики, як глибоке навчання, як лише один з елемент?в у дуже складному ансамбл? методик, починаючи в?д статистичних методик ба?сового висновування, ? аж до дедуктивного м?ркування.

Серед подальших в?дсилань до т??? ?де?, що художня чутлив?сть може бути притаманна в?дносно низьким р?вням когн?тивно? ??рарх??, опубл?кована низка граф?чних зображень внутр?шн?х стан?в глибоких (20—30 шар?в) нейронних мереж, як? намагаються розглед?ти серед по сут? випадкових даних зображення, на яких ?х було треновано, демонстру? в?зуальну приваблив?сть: первинне пов?домлення про це досл?дження отримало набагато б?льше за 1000 коментар?в ? було предметом протягом деякого часу найв?дв?дуван?шо? статт? на вебсайт? ?ард?ан.

Помилки

Деяк? арх?тектури глибокого навчання демонструють проблематичну повед?нку, наприклад, впевнене класиф?кування невп?знанних зображень як належних до знайомо? категор?? звичайних зображень (2014) та неправильне класиф?кування незначних збурень правильно класиф?кованих зображень (2013). ?ьорцель припустив, що така повед?нка зумовлена обмеженнями у ?хн?х внутр?шн?х поданнях, ? що ц? обмеження перешкоджатимуть ?нтегруванню до гетерогенно? багатокомпонентно? арх?тектури загального штучного ?нтелекту (ЗШ?). Можливо, ц? проблеми можна розв'язати за допомогою арх?тектур глибокого навчання, як? внутр?шньо утворюють стани, гомолог?чн? розкладам граматики зображень спостережуваних об'?кт?в та под?й. Виведення граматики (в?зуально? чи мовно?) з тренувальних даних було би р?внозначним обмеженню системи м?ркуваннями здорового глузду, як? оперують поняттями в терм?нах граматичних породжувальних правил, ? ? основною метою як засво?ння мови людиною, так ? штучного ?нтелекту (Ш?).

К?берзагроза

Коли глибоке навчання перем?щу?ться з лаборатор?? у св?т, досл?дження та досв?д показують вразлив?сть штучних нейронних мереж до хакер?в та обману. Визначаючи схеми, як? ц? системи використовують для функц?ювання, зловмисники можуть зм?нювати вх?дн? дан? до ШНМ таким чином, що ШНМ знаходить в?дпов?дн?сть, яку люди-спостер?гач? не розп?знають. Наприклад, зловмисник може внести незначн? зм?ни в зображення таким чином, що ШНМ знайде зб?г, нав?ть якщо для людини зображення вигляда? зовс?м не схожим на ц?ль пошуку. Таке ман?пулювання називають ?змагальною атакою? (англ. adversarial attack).

2016 року досл?дники скористалися одн??ю ШНМ, щоби, п?дкориговуючи зображення, методом спроб ? помилок визначити, на чому зосереджу?ться ?нша, й таким чином створити зображення, як? вводили ?? в оману. Для людського ока зм?нен? зображення н?чим не в?др?знялися. ?нша група показала, що роздрук?вки п?дроблених зображень, як? пот?м фотографували, усп?шно обманювали систему класиф?кування зображень. Одним ?з засоб?в захисту ? зворотний пошук зображень, п?д час якого можливе п?дроблене зображення надсила?ться на сайт, наприклад TinEye, який пот?м може знайти ?нш? його прим?рники. Одне ?з вдосконалень поляга? у пошуку з використанням лише частин зображення, щоби встановити зображення, з яких цей фрагмент могло бути взято.

?нша група показала, що певн? психодел?чн? видовища можуть змусити систему розп?знавання облич вважати звичайних людей знаменитостями, потенц?йно дозволяючи одн?й людин? видавати себе за ?ншу. 2017 року досл?дники додали нал?пки до знак?в заборони про?зду без зупинки, змусивши ШНМ класиф?кувати ?х неправильно.

Проте ШНМ можливо додатково тренувати виявляти спроби обману, що потенц?йно веде до перегон?в озбро?нь м?ж зловмисниками й захисниками, под?бних до тих, як? вже ? основою ?ндустр?? захисту в?д зловмисних програм. ШНМ було навчено перемагати програмне забезпечення захисту в?д зловмисного програмного забезпечення на основ? ШНМ шляхом повторюваних атак на захист зловмисним програмним забезпеченням, яке пост?йно зм?нювалося генетичним алгоритмом, доки воно не ошукало протизловмисне програмне забезпечення, збер?гаючи свою здатн?сть пошкоджувати ц?ль.

2016 року ?нша група продемонструвала, що певн? звуки можуть змусити систему голосових команд Google Now в?дкрити певну вебадресу, й висунула г?потезу, що це може ?послужити сходинкою для подальших атак (наприклад, в?дкривання вебстор?нки, на як?й розм?щено зловмисне програмне забезпечення)?.

В ?отруюванн? даними? до тренувального набору системи машинного навчання систематично п?дкидають хибн? дан?, щоби завадити ?й досягти майстерност?.

Етика збирання даних

Б?льш?сть систем глибокого навчання покладаються на тренувальн? та контрольн? (англ. verification) дан?, породжуван? та/або розм?чуван? людьми. У ф?лософ?? засоб?в масово? ?нформац?? стверджують, що для ц??? мети регулярно використовують не лише низькооплачувану кл?кпрацю (наприклад, на Amazon Mechanical Turk), а й неявн? форми людсько? м?кропрац?, як? часто не визнають як таку. Ф?лософ Райнер Мюльхоф розр?зня? п'ять тип?в ?машинного заволод?вання? людською м?кропрацею для породжування тренувальних даних: (1) ?гроф?кац?я (вбудовування розм?чування або обчислювальних завдань у пот?к гри), (2) ?захоплювання та в?дстежування? (наприклад, CAPTCHA для розп?знавання зображень, або в?дстежування кл?к?в на стор?нках результат?в пошуку Google), (3) використання соц?альних мотив?в (наприклад, позначування облич у Facebook для отримування позначених зображень обличчя), (4) розроблення ?нформац?? (наприклад, за допомогою пристро?в самооцифровування, таких як в?дстежувач? активност?), та (5) кл?кпрацю.

Мюльхоф стверджу?, що в б?льшост? комерц?йних застосувань глибокого навчання для к?нцевих користувач?в, таких як система розп?знавання облич Facebook, потреба в тренувальних даних п?сля тренування ШНМ не зника?. Скор?ше, ?сну? пост?йна потреба в контрольних даних, створюваних людьми, щоби пост?йно кал?брувати та уточнювати ШНМ. З ц??ю метою Facebook запровадив функц?ю, що щойно користувач?в автоматично розп?знано на зображенн?, вони отримують спов?щення. Вони можуть обрати, чи хочуть вони бути публ?чно позначеними на цьому зображенн?, чи пов?домити Facebook, що на зображенн? не вони. Цей ?нтерфейс користувача ? механ?змом породжування ?пост?йного потоку контрольних даних? для подальшого тренування мереж? в режим? реального часу. Як стверджу? Мюльхоф, залучення людей-користувач?в до породжування тренувальних та контрольних даних наст?льки типове для б?льшост? комерц?йних застосувань глибокого навчання для к?нцевих користувач?в, що так? системи можна назвати ?штучним ?нтелектом з участю людини? (англ. human-aided artificial intelligence).

Див. також

• Застосування штучного ?нтелекту
• Пор?вняння програмного забезпечення глибокого навчання
• Стиснене сприйняття
• Диференц?йовне програмування
• Мережа з в?длунням стану
• Перел?к про?кт?в штучного ?нтелекту
• Перел?к набор?в даних для досл?джень машинного навчання
• Резервуарне обчислення
  • Мережа з в?длунням стану
  • Р?дкий ск?нченний автомат
• Прост?р масштаб?в та глибоке навчання
• Розр?джене кодування
• Стохастичний папуга

Л?тература

• Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). Deep Learning (англ.). MIT Press. ISBN 978-0-26203561-3. Арх?в ориг?налу за 16 кв?тня 2016. Процитовано 9 травня 2021, introductory textbook.{{cite book}}: Обслуговування CS1: Стор?нки з? значенням параметра postscript, що зб?га?ться з? стандартним значенням в обраному режим? (посилання)

Додаткова л?тература

Книги

• Ye, Jong Chul (2022). Geometry of deep learning: a signal processing perspective. Mathematics in industry (англ.). Singapore: Springer Nature. ISBN 978-981-16-6046-7.
• Calin, Ovidiu L. (2020). Deep learning architectures: a mathematical approach. Springer series in the data sciences (англ.). Cham, Switzerland: Springer. ISBN 978-3-030-36721-3.
• Kelleher, John D. (2019). Deep learning. The MIT press essential knowledge series (англ.). Cambridge, Massachusetts London: MIT Press. ISBN 978-0-262-53755-1.

Статт?

• Talaei Khoei, Tala; Ould Slimane, Hadjar; Kaabouch, Naima (листопад 2023). Deep learning: systematic review, models, challenges, and research directions (PDF). Neural Computing and Applications (англ.). 35 (31). doi:10.1007/s00521-023-08957-4.