SDN/NFV：现状 挑战和未来
Резервуа?рне обчи?слення (англ. reservoir computing) — це система обчислення, яку можна розглядати як розширення нейронних мереж.[1] Як правило, входовий сигнал пода?ться до незм?нно? (випадково?) динам?чно? системи, що називають резервуаром (англ. reservoir), ? динам?ка резервуара в?дображу? вх?д до вищого вим?ру. Пот?м простий механ?зм зчитування (англ. readout) тренують читати стан резервуару й в?дображувати його на бажаний вих?д. Головна перевага поляга? в т?м, що тренування викону?ться лише на стад?? зчитування, а резервуар ? незм?нним. Двома основними типами резервуарних обчислень ? р?дк? ск?нченн? автомати[2] та мереж? з в?длунням стану.[3][4]
Резервуарне обчислення — це найкращий у сво?му клас? алгоритм машинного навчання для обробки ?нформац??, створено? динам?чними системами, використовуючи спостережуван? часов? ряди даних. Важливо те, що в?н вимага? дуже малих набор?в даних для навчання, використову? л?н?йну оптим?зац?ю, а отже, вимага? м?н?мальних обчислювальних ресурс?в. Однак алгоритм використову? матриц? випадково? виб?рки для визначення базово? рекурентно? нейронно? мереж? та ма? безл?ч метапараметр?в, як? необх?дно оптим?зувати. Останн? результати демонструють екв?валентн?сть обчислення пласт?в нел?н?йн?й векторн?й авторегрес??, яка не вимага? випадкових матриць, потребу? меншо? к?лькост? метапараметр?в ? забезпечу? результати, як? можливо ?нтерпретувати. Нел?н?йна векторна авторегрес?я в?дм?нно справля?ться з контрольними завданнями обчислення пласт?в ? вимага? ще коротших набор?в даних для навчання та часу навчання, проголошуючи наступне покол?ння обчислень для пласт?в.[5]
Резервуар склада?ться з з?брання рекурентно з'?днаних вузл?в. Структура зв'язност?, як правило, ? випадковою, а вузли, як правило, ? нел?н?йними. Загальна динам?ка резервуара зада?ться його входом, а також залежить в?д минулого. Багате з?брання динам?чних в?дображень вход?в-виход?в ? вир?шальною перевагою над простими нейронними мережами з часовою затримкою.
Зчитування зд?йсню?ться ?з застосуванням л?н?йного перетворення виходу резервуару. Це перетворення п?длаштовують до потр?бно? задач?, застосовуючи л?н?йну або гребеневу регрес?ю з використанням навчального сигналу.
Ранн?м прикладом резервуарних обчислень була контекстно-реверберац?йна мережа (англ. context reverberation network).[6] В ц?й арх?тектур? входовий шар пода?ться до динам?чно? системи високо? розм?рност?, яку читають тренованим одношаровим перцептроном. Було описано два види динам?чних систем: рекурентна нейронна мережа з незм?нними випадковими вагами, ? неперервна реакц?йно-дифузна система[en], натхнена моделлю морфогенезу Алана Тюр?нга. У тренованому шар? перцептрон пов'язу? поточний вх?д ?з сигналами, як? реверберують у динам?чн?й систем?; про останню казали, що вона забезпечу? динам?чний ?контекст? для вход?в. Мовою п?зн?ших праць, реакц?йно-дифузна система слугувала резервуаром.
Зворотне поширення — декореляц?я (ЗПДК, англ. backpropagation-decorrelation, BPDC)
Модель деревно? мереж? з в?длунням стану (англ. Tree Echo State Network, TreeESN)[7] явля? собою узагальнення системи резервуарного обчислення для деревно структурованих даних.
Досл?джу?ться апаратний п?дх?д штучного ?нтелекту, який використову? адаптивне резервуарне обчислення б?олог?чних нейронних мереж в мозкових органо?дах. У цьому п?дход?, який назива?ться Brainoware, обчислення виконуються шляхом надсилання та отримання ?нформац?? в?д органо?да мозку за допомогою матриц? м?кроелектрод?в[en] високо? щ?льност?. Застосовуючи просторово-часову електричну стимуляц?ю, досяга?ться нел?н?йна динам?ка та властивост? запам’ятовування, а також неконтрольоване навчання на основ? тренувальних даних шляхом зм?ни функц?ональних зв’язк?в в органо?дах. Був продемонстрований практичний потенц?ал ц??? методики, використовуючи ?? для розп?знавання мовлення та прогнозування нел?н?йних р?внянь у систем? резервуарних обчислень.[8]
Резервуарн? обчислення з ?х ун?кальною арх?тектурою та адаптивною природою знаходять широке застосування в р?зних сферах, революц?он?зуючи спос?б вир?шення складних завдань. Його здатн?сть ефективно обробляти ?нформац?ю призвела до ефективних застосувань у к?лькох сферах[9][10]:
- Розп?знавання мовлення: Забезпечення точно? транскрипц?? розмовно? мови, сприяння робот? в?ртуальних пом?чник?в ? голосових систем.[11][12]
- Обробка зображень ? в?део: сприяння розп?знаванню об’?кт?в, розум?ння сцени та анал?зу в?део в програмах реального часу.[13][14]
- Бездротовий зв'язок: покращення обробки сигналу в системах бездротового зв'язку для кращо? передач? та прийому даних.[15]
- Ф?нансов? ринки: прогнозування коливань фондового ринку та тенденц?й для прийняття об?рунтованих ?нвестиц?йних р?шень.[16][17][18]
- Прогноз погоди: Надання точних прогноз?в погоди шляхом анал?зу ?сторичних моделей даних.[19][20][21]
- Прогнозування попиту на енерг?ю: Прогнозування попиту на енерг?ю для ефективного розпод?лу ресурс?в в електромережах.[22]
- Мон?торинг здоров’я: анал?з медичних даних для д?агностики захворювань, спостереження за пац??нтами та персонал?зованого медичного обслуговування.[23][24]
- Нейрокомп'ютерн? ?нтерфейси: сприяння зв’язку м?ж мозком ? зовн?шн?ми пристроями.[25][26]
- Розумн? електромереж?: управл?ння та оптим?зац?я розпод?лу електроенерг?? в розумних мережах, забезпечення ефективного використання енерг??.[27][28]
- Управл?ння дорожн?м рухом: оптим?зац?я транспортного потоку та зменшення затор?в шляхом анал?зу даних датчик?в руху в реальному час?.[29]
- Мовний переклад: удосконалення систем машинного перекладу для точного перекладу з урахуванням контексту.[30]
- Анал?з настро?в: анал?з настро?в у текстових даних для досл?дження ринку та анал?зу в?дгук?в кл??нт?в.[31]
- Моделювання кл?мату: допомога в моделюванн? кл?мату та анал?з? складних даних про навколишн? середовище.[21]
- Ф?зика елементарних частинок: анал?з величезно? к?лькост? даних, отриманих за допомогою прискорювач?в елементарних частинок ? експеримент?в.[32]
- Виявлення аномал?й: виявлення аномал?й у мережевому траф?ку та шаблонах для запоб?гання к?берзагрозам ? атакам.[33]
- Системи виявлення вторгнень: удосконалення систем безпеки для раннього виявлення та пом’якшення загроз.[33]
- Reservoir Computing using delay systems, Nature Communications 2011
- Optoelectronic Reservoir Computing, Scientific Reports February 2012
- Optoelectronic Reservoir Computing, Optics Express 2012
- All-optical Reservoir Computing, Nature Communications 2013
- Memristor Models for Machine learning, Neural Computation 2014 arxiv
- Nakajima Kohei; Fischer Ingo, ред. (2021). Reservoir computing: theory, physical implementations, and applications. Natural computing series. Singapore: Springer Nature. ISBN 978-981-13-1686-9.
- Gauthier, Daniel J.; Bollt, Erik; Griffith, Aaron; Barbosa, Wendson A. S. (21 вересня 2021). Next generation reservoir computing. Nature Communications (англ.) 12 (1). с. 5564. ISSN 2041-1723. doi:10.1038/s41467-021-25801-2.
- Tanaka, Gouhei; Yamane, Toshiyuki; Héroux, Jean Benoit; та ?н. (1 липня 2019). Recent advances in physical reservoir computing: A review. Neural Networks 115. с. 100–123. ISSN 0893-6080. doi:10.1016/j.neunet.2019.03.005.
- ↑ Schrauwen, Benjamin, David Verstraeten, and Jan Van Campenhout. ?An overview of reservoir computing: theory, applications, and implementations.? Proceedings of the European Symposium on Artificial Neural Networks ESANN 2007, pp. 471—482. (англ.)
- ↑ Mass, Wolfgang, T. Nachtschlaeger, and H. Markram. ?Real-time computing without stable states: A new framework for neural computation based on perturbations.? Neural Computation 14(11): 2531—2560 (2002). (англ.)
- ↑ Jaeger, Herbert, ?The echo state approach to analyzing and training recurrent neural networks.? Technical Report 154 (2001), German National Research Center for Information Technology. (англ.)
- ↑ Echo state network, Scholarpedia (англ.)
- ↑ Gauthier, Daniel J.; Bollt, Erik; Griffith, Aaron; Barbosa, Wendson A. S. (21 вересня 2021). Next generation reservoir computing. Nature Communications (англ.). Т. 12, № 1. с. 5564. doi:10.1038/s41467-021-25801-2. ISSN 2041-1723. Процитовано 14 грудня 2023.
- ↑ Kirby, Kevin. ?Context dynamics in neural sequential learning.? Proceedings of the Florida Artificial Intelligence Research Symposium FLAIRS (1991), 66-70. (англ.)
- ↑ Gallicchio, Claudio; Micheli, Alessio (2013). Tree Echo State Networks. Neurocomputing. 101: 319—337. (англ.)
- ↑ Cai, Hongwei; Ao, Zheng; Tian, Chunhui; Wu, Zhuhao; Liu, Hongcheng; Tchieu, Jason; Gu, Mingxia; Mackie, Ken; Guo, Feng (11 грудня 2023). Brain organoid reservoir computing for artificial intelligence. Nature Electronics (англ.). с. 1—8. doi:10.1038/s41928-023-01069-w. ISSN 2520-1131. Процитовано 12 грудня 2023.
- ↑ Tanaka, Gouhei; Yamane, Toshiyuki; Héroux, Jean Benoit; Nakane, Ryosho; Kanazawa, Naoki; Takeda, Seiji; Numata, Hidetoshi; Nakano, Daiju; Hirose, Akira (1 липня 2019). Recent advances in physical reservoir computing: A review. Neural Networks. Т. 115. с. 100—123. doi:10.1016/j.neunet.2019.03.005. ISSN 0893-6080. Процитовано 14 грудня 2023.
- ↑ Gauthier, Daniel J.; Bollt, Erik; Griffith, Aaron; Barbosa, Wendson A. S. (21 вересня 2021). Next generation reservoir computing. Nature Communications (англ.). Т. 12, № 1. с. 5564. doi:10.1038/s41467-021-25801-2. ISSN 2041-1723. PMC 8455577. PMID 34548491. Процитовано 14 грудня 2023.
{{cite news}}: Обслуговування CS1: Стор?нки з PMC з ?ншим форматом (посилання) - ↑ Abreu Araujo, Flavio; Riou, Mathieu; Torrejon, Jacob; Tsunegi, Sumito; Querlioz, Damien; Yakushiji, Kay; Fukushima, Akio; Kubota, Hitoshi; Yuasa, Shinji (15 с?чня 2020). Role of non-linear data processing on speech recognition task in the framework of reservoir computing. Scientific Reports (англ.). Т. 10, № 1. с. 328. doi:10.1038/s41598-019-56991-x. ISSN 2045-2322. Процитовано 14 грудня 2023.
- ↑ Speech recognition through physical reservoir computing with neuromorphic nanowire networks | IEEE Conference Publication | IEEE Xplore. ieeexplore.ieee.org. doi:10.1109/ijcnn55064.2022.9892078. Процитовано 14 грудня 2023.
- ↑ Picco, Enrico; Antonik, Piotr; Massar, Serge (1 серпня 2023). High speed human action recognition using a photonic reservoir computer. Neural Networks. Т. 165. с. 662—675. doi:10.1016/j.neunet.2023.06.014. ISSN 0893-6080. Процитовано 14 грудня 2023.
- ↑ Li, Wenrui; Ma, Zhengyu; Deng, Liang-Jian; Wang, Penghong; Shi, Jinqiao; Fan, Xiaopeng (27 жовтня 2023). Reservoir Computing Transformer for Image-Text Retrieval. Proceedings of the 31st ACM International Conference on Multimedia. Association for Computing Machinery. с. 5605—5613. doi:10.1145/3581783.3611758. ISBN 979-8-4007-0108-5. Процитовано 14 грудня 2023.
- ↑ Brain-Inspired Wireless Communications: Where Reservoir Computing Meets MIMO-OFDM | IEEE Journals & Magazine | IEEE Xplore. ieeexplore.ieee.org. doi:10.1109/tnnls.2017.2766162. Процитовано 14 грудня 2023.
- ↑ Budhiraja, Rajat; Kumar, Manish; Das, Mrinal K.; Bafila, Anil Singh; Singh, Sanjeev (12 лют. 2021 р.). A reservoir computing approach for forecasting and regenerating both dynamical and time-delay controlled financial system behavior. PLOS ONE (англ.). Т. 16, № 2. с. e0246737. doi:10.1371/journal.pone.0246737. ISSN 1932-6203. PMC 7880499. PMID 33577571. Процитовано 14 грудня 2023.
{{cite news}}: Обслуговування CS1: Стор?нки з PMC з ?ншим форматом (посилання) Обслуговування CS1: Стор?нки ?з непозначеним DOI з безкоштовним доступом (посилання) - ↑ Wang, Wei-Jia; Tang, Yong; Xiong, Jason; Zhang, Yi-Cheng (15 вересня 2021). Stock market index prediction based on reservoir computing models. Expert Systems with Applications. Т. 178. с. 115022. doi:10.1016/j.eswa.2021.115022. ISSN 0957-4174. Процитовано 14 грудня 2023.
- ↑ Optica Publishing Group. opg.optica.org. doi:10.1364/oe.454973. Процитовано 14 грудня 2023.
- ↑ Mammedov, Yslam D.; Olugu, Ezutah Udoncy; Farah, Guleid A. (1 кв?тня 2022). Weather forecasting based on data-driven and physics-informed reservoir computing models. Environmental Science and Pollution Research (англ.). Т. 29, № 16. с. 24131—24144. doi:10.1007/s11356-021-17668-z. ISSN 1614-7499. Процитовано 14 грудня 2023.
- ↑ Platt, Jason A.; Penny, Stephen G.; Smith, Timothy A.; Chen, Tse-Chun; Abarbanel, Henry D. I. (1 вересня 2022). A systematic exploration of reservoir computing for forecasting complex spatiotemporal dynamics. Neural Networks. Т. 153. с. 530—552. doi:10.1016/j.neunet.2022.06.025. ISSN 0893-6080. Процитовано 14 грудня 2023.
- ↑ а б Bretherton, Christopher S. (16 вересня 2023). Old Dog, New Trick: Reservoir Computing Advances Machine Learning for Climate Modeling. Geophysical Research Letters (англ.). Т. 50, № 17. doi:10.1029/2023GL104174. ISSN 0094-8276. Процитовано 14 грудня 2023.
- ↑ Fujimoto, Yu; Fujita, Megumi; Hayashi, Yasuhiro (15 вересня 2021). Deep reservoir architecture for short-term residential load forecasting: An online learning scheme for edge computing. Applied Energy. Т. 298. с. 117176. doi:10.1016/j.apenergy.2021.117176. ISSN 0306-2619. Процитовано 14 грудня 2023.
- ↑ Toward Real-Time, At-Home Patient Health Monitoring Using Reservoir Computing CMOS IC | IEEE Journals & Magazine | IEEE Xplore. ieeexplore.ieee.org. doi:10.1109/jetcas.2021.3128587. Процитовано 14 грудня 2023.
- ↑ Masuda, Arata; Takashima, Konosuke (4 вересня 2023). Physical Reservoir-Based Health Monitoring of a Structure with Nonlinear Attachments. PHM Society Asia-Pacific Conference (англ.). Т. 4, № 1. doi:10.36001/phmap.2023.v4i1.3610. ISSN 2994-7219. Процитовано 14 грудня 2023.
- ↑ Cucchi, Matteo; Gruener, Christopher; Petrauskas, Lautaro; Steiner, Peter; Tseng, Hsin; Fischer, Axel; Penkovsky, Bogdan; Matthus, Christian; Birkholz, Peter (2021-08). Reservoir computing with biocompatible organic electrochemical networks for brain-inspired biosignal classification. Science Advances (англ.). Т. 7, № 34. с. eabh0693. doi:10.1126/sciadv.abh0693. ISSN 2375-2548. PMC 8373129. PMID 34407948. Процитовано 14 грудня 2023.
{{cite news}}: Обслуговування CS1: Стор?нки з PMC з ?ншим форматом (посилання) - ↑ Damicelli, Fabrizio; Hilgetag, Claus C.; Goulas, Alexandros (16 лист. 2022 р.). Brain connectivity meets reservoir computing. PLOS Computational Biology (англ.). Т. 18, № 11. с. e1010639. doi:10.1371/journal.pcbi.1010639. ISSN 1553-7358. PMC 9710781. PMID 36383563. Процитовано 14 грудня 2023.
{{cite news}}: Обслуговування CS1: Стор?нки з PMC з ?ншим форматом (посилання) Обслуговування CS1: Стор?нки ?з непозначеним DOI з безкоштовним доступом (посилання) - ↑ Muqeet, Hafiz Abdul; Liaqat, Rehan; Jamil, Mohsin; Khan, Asharf Ali (2023-01). A State-of-the-Art Review of Smart Energy Systems and Their Management in a Smart Grid Environment. Energies (англ.). Т. 16, № 1. с. 472. doi:10.3390/en16010472. ISSN 1996-1073. Процитовано 14 грудня 2023.
{{cite news}}: Обслуговування CS1: Стор?нки ?з непозначеним DOI з безкоштовним доступом (посилання) - ↑ Kim, Kisong; Sasahara, Hampei; Imura, Jun-ichi (1 с?чня 2023). Cyberattack Detection in Smart Grids based on Reservoir Computing. IFAC-PapersOnLine. Т. 56, № 2. с. 971—976. doi:10.1016/j.ifacol.2023.10.1691. ISSN 2405-8963. Процитовано 14 грудня 2023.
- ↑ Sun, Xiaochuan; Gao, Jiahui; Wang, Yu (2023-05). Towards Fault Tolerance of Reservoir Computing in Time Series Prediction. Information (англ.). Т. 14, № 5. с. 266. doi:10.3390/info14050266. ISSN 2078-2489. Процитовано 14 грудня 2023.
{{cite news}}: Обслуговування CS1: Стор?нки ?з непозначеним DOI з безкоштовним доступом (посилання) - ↑ Cucchi, Matteo; Abreu, Steven; Ciccone, Giuseppe; Brunner, Daniel; Kleemann, Hans (2022-08). Hands-on reservoir computing: a tutorial for practical implementation. Neuromorphic Computing and Engineering (англ.). Т. 2, № 3. с. 032002. doi:10.1088/2634-4386/ac7db7. ISSN 2634-4386. Процитовано 14 грудня 2023.
- ↑ Zhou, Jian; Zhao, Tiantian; Xie, Yong; Xiao, Fu; Sun, Lijuan (1 вересня 2022). Emotion Recognition Based on Brain Connectivity Reservoir and Valence Lateralization for Cyber-Physical-Social Systems. Pattern Recognition Letters. Т. 161. с. 154—160. doi:10.1016/j.patrec.2022.08.009. ISSN 0167-8655. Процитовано 14 грудня 2023.
- ↑ Casanova, Maxime; Dalena, Barbara; Bonaventura, Luca; Giovannozzi, Massimo (23 червня 2023). Ensemble reservoir computing for dynamical systems: prediction of phase-space stable region for hadron storage rings. The European Physical Journal Plus (англ.). Т. 138, № 6. doi:10.1140/epjp/s13360-023-04167-y. ISSN 2190-5444. Процитовано 14 грудня 2023.
- ↑ а б Casper Andersson (2021). RESERVOIR COMPUTING APPROACH FOR NETWORK INTRUSION DETECTION (PDF).