关注杭州教育微信 拿嘟嘟城、海底世界门票

百度 已经分别与复旦大学、同济大学宣布共同发起设立校企合作科技创新平台，加速推动名校科技、产业优势与绿地资本、市场优势对接。

У машинному навчанн? вар?ац?йний автокодувальник (англ. variational autoencoder), в?домий також як ВАК (англ. VAE), — це арх?тектура штучно? нейронно? мереж?, запроваджена Д?дер?ком П. К?нгмою та Максом Велл?нгом, що належить до с?мейств ?мов?рн?сних графових моделей та вар?ац?йних ба?сових метод?в.

?? часто асоц?юють ?з моделлю автокодувальника через ?? арх?тектурну спор?днен?сть, але м?ж ними ? значн? в?дм?нност? як у ц?л?, так ? в математичному формулюванн?. Вар?ац?йн? автокодувальники призначено для стискання ?нформац?? входу до обмеженого багатовим?рного латентного розпод?лу (кодування), щоби в?дбудовувати ?? якомога точн?ше (декодування). Хоча первинно цей тип модел? було розроблено для некерованого навчання, його д??в?сть було доведено й в ?нших областях машинного навчання, таких як нап?вкероване та кероване навчання.

Арх?тектура

Вар?ац?йн? автокодувальники ? вар?ац?йними ба?совими методами з багатовим?рним розпод?лом як апр?орне, й апостер?орним, наближуваним штучною нейронною мережею, що утворюють так звану структуру вар?ац?йного кодувальника-декодувальника.

Стандартний кодувальник ? штучною нейронною мережею, здатною зводити свою вх?дну ?нформац?ю до найвужчого подання, що називають латентним простором. В?н явля? собою першу половину арх?тектури як автокодувальника, так ? вар?ац?йного автокодувальника: для першого виходом ? ф?ксований вектор штучних нейрон?в, а в другому ?нформац?я виходу стиска?ться до ймов?рн?сного латентного простору, що все ще склада?ться з? штучних нейрон?в. Проте в арх?тектур? вар?ац?йного автокодувальника вони представляють ? ?х розглядають як два р?зн? вектори однаково? вим?рност?, що подають вектор середн?х значень та вектор стандартних в?дхилень в?дпов?дно.

Стандартний декодувальник все ще ? штучною нейронною мережею, призначеною в?ддзеркалювати арх?тектуру кодувальника. В?н бере на вход? стиснену ?нформац?ю, що надходить ?з латентного простору, а пот?м розгорта? ??, виробляючи вих?д, якомога ближчий до входу кодувальника. ? хоча для автокодувальника вх?д декодувальника ? просто вектором д?йсних значень ф?ксовано? довжини, для вар?ац?йного автокодувальника необх?дно ввести пром?жний етап: враховуючи ймов?рн?сну природу латентного простору, можливо розглядати його як багатовим?рний гаусс?в вектор. За цього припущення й за допомогою методики, в?домо? як перепараметрувальний трюк (англ. reparametrization trick), можливо вибирати сукупност? з цього латентного простору й розглядати ?х точно як вектор д?йсних значень ф?ксовано? довжини.

З системно? точки зору модел? як стандартного, так ? вар?ац?йного автокодувальник?в отримують як вх?д наб?р даних велико? розм?рност?. Пот?м вони адаптивно стискають його до латентного простору (кодування) ?, нарешт?, намагаються якомога точн?ше його в?дбудувати (декодування). Враховуючи природу його латентного простору, вар?ац?йний автокодувальник характеризу?ться дещо ?ншою ц?льовою функц??ю: в?н ма? м?н?м?зувати функц?ю втрат в?дбудови, як ? стандартний автокодувальник. Проте в?н також врахову? розходження Кульбака — Лейблера м?ж латентним простором та вектором нормальних гаусс?ан.

Формулювання

Базова схема вар?ац?йного автокодувальника. Модель отриму? $\mathbf {x}$ як вх?д. Кодувальник стиска? його до латентного простору. Декодувальник отриму? як вх?д ?нформац?ю, вибрану з цього латентного простору, й виробля? $\mathbf {x'}$, що ? якомога под?бн?шим до $\mathbf {x}$.

З формально? точки зору, за заданого набору даних входу $\mathbf {x}$, описуваного нев?домою функц??ю ймов?рност? $P(\mathbf {x} )$, та багатовим?рного вектора латентного кодування $\mathbf {z}$, мета поляга? в моделюванн? цих даних як розпод?лу $p_{\theta }(\mathbf {x} )$, де $\theta$ визначено як наб?р параметр?в мереж?.

Цей розпод?л можливо формал?зувати як

$p_{\theta }(\mathbf {x} )=\int _{\mathbf {z} }p_{\theta }(\mathbf {x,z} )d\mathbf {z}$

де $p_{\theta }$ ? св?дченням даних ц??? модел? з в?дособленням, виконаним над неспостережуваними зм?нними, й в?дтак $p_{\theta }(\mathbf {x,z} )$ пода? сп?льний розпод?л даних входу та ?хнього латентного подання в?дпов?дно до параметр?в мереж? $\theta$.

В?дпов?дно до теореми Ба?са, це р?вняння можливо переписати як

$p_{\theta }(\mathbf {x} )=\int _{\mathbf {z} }p_{\theta }(\mathbf {x|z} )p_{\theta }(\mathbf {z} )d\mathbf {z}$

У стандартному вар?ац?йному автокодувальнику ми вважа?мо, що $\mathbf {z}$ ма? ск?нченну розм?рн?сть, ? що $p_{\theta }(\mathbf {x|z} )$ ? гауссовим розпод?лом, тод? $p_{\theta }(\mathbf {x} )$ ? сум?шшю гауссових розпод?л?в.

Тепер можливо визначити наб?р вза?мозв'язк?в м?ж даними входу та ?х латентним поданням як

• Апр?орне $p_{\theta }(\mathbf {z} )$
• Правдопод?бн?сть $p_{\theta }(\mathbf {x} |\mathbf {z} )$
• Апостер?орне $p_{\theta }(\mathbf {z} |\mathbf {x} )$

На жаль, обчислення $p_{\theta }(\mathbf {x} )$ ? дуже витратним, ? в б?льшост? випадк?в нав?ть неп?ддатливим. Щоби пришвидшити це обчислення й зробити його зд?йсненним, необх?дно ввести додаткову функц?ю для наближення апостер?орного розпод?лу:

$q_{\Phi }(\mathbf {z|x} )\approx p_{\theta }(\mathbf {z|x} )$

де $\Phi$ визначено як наб?р д?йсних значень, що параметру? $q$.

Таким чином загальну задачу можливо легко перевести до област? визначення автокодувальника, в якому розпод?л умовно? правдопод?бност? $p_{\theta }(\mathbf {x} |\mathbf {z} )$ провадиться ?мов?рн?сним кодувальником (англ. probabilistic encoder), а наближений апостер?орний розпод?л $q_{\Phi }(\mathbf {z|x} )$ обчислю?ться ?мов?рн?сним декодувальником (англ. probabilistic decoder).

Функц?я втрат НМЕС

Як ? в будь-як?й задач? глибокого навчання, щоб уточнювати ваги мереж? шляхом зворотного поширення, необх?дно визначити диференц?йовну функц?ю втрат.

Для вар?ац?йних автокодувальник?в ?дея поляга? в сп?льному м?н?м?зуванн? параметр?в породжувально? модел? $\theta$, щоби зменшувати похибку в?дбудови м?ж входом ? виходом мереж?, та $\Phi$, щоби мати $q_{\Phi }(\mathbf {z|x} )$ якомога ближчою до $p_{\theta }(\mathbf {z} |\mathbf {x} )$.

Як втрати в?дбудови, добрими вар?антами ? середньоквадратична похибка та перехресна ентроп?я.

Як втрати в?дстан? м?ж цими двома розпод?лами, добрим вибором, щоби втискувати $q_{\Phi }(\mathbf {z|x} )$ п?д $p_{\theta }(\mathbf {z} |\mathbf {x} )$, ? обернене розходження Кульбака — Лейблера $D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z|x} ))$.

Щойно визначен? втрати в?дстан? розкриваються як

${\begin{aligned}D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z|x} ))&=\int q_{\Phi }(\mathbf {z|x} )\log {\frac {q_{\Phi }(\mathbf {z|x} )}{p_{\theta }(\mathbf {z|x} )}}d\mathbf {z} \\&=\int q_{\Phi }(\mathbf {z|x} )\log {\frac {q_{\Phi }(\mathbf {z|x} )p_{\theta }(\mathbf {x} )}{p_{\theta }(\mathbf {z,x} )}}d\mathbf {z} \\&=\int q_{\Phi }(\mathbf {z|x} )\left(\log(p_{\theta }(\mathbf {x} ))+\log {\frac {q_{\Phi }(\mathbf {z|x} )}{p_{\theta }(\mathbf {z,x} )}}\right)d\mathbf {z} \\&=\log(p_{\theta }(\mathbf {x} ))+\int q_{\Phi }(\mathbf {z|x} )\log {\frac {q_{\Phi }(\mathbf {z|x} )}{p_{\theta }(\mathbf {z,x} )}}d\mathbf {z} \\&=\log(p_{\theta }(\mathbf {x} ))+\int q_{\Phi }(\mathbf {z|x} )\log {\frac {q_{\Phi }(\mathbf {z|x} )}{p_{\theta }(\mathbf {x|z} )p_{\theta }(\mathbf {z} )}}d\mathbf {z} \\&=\log(p_{\theta }(\mathbf {x} ))+E_{\mathbf {z} \sim q_{\Phi }(\mathbf {z|x} )}(\log {\frac {q_{\Phi }(\mathbf {z|x} )}{p_{\theta }(\mathbf {z} )}}-\log(p_{\theta }(\mathbf {x|z} )))\\&=\log(p_{\theta }(\mathbf {x} ))+D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z} ))-E_{\mathbf {z} \sim q_{\Phi }(\mathbf {z|x} )}(\log(p_{\theta }(\mathbf {x|z} )))\end{aligned}}$

На цьому етап? можливо переписати це р?вняння як

$\log(p_{\theta }(\mathbf {x} ))-D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z|x} ))=E_{\mathbf {z} \sim q_{\Phi }(\mathbf {z|x} )}(\log(p_{\theta }(\mathbf {x|z} )))-D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z} ))$

Метою ? максим?зувати логарифм?чну правдопод?бн?сть л?во? частини цього р?вняння для пол?пшення якост? породжуваних даних та м?н?м?зування в?дстаней м?ж розпод?лами справжнього та оц?нюваного апостер?орних.

Це ? р?внозначним м?н?м?зуванню в?д'?мно? логарифм?чно? правдопод?бност?, що ? типовою практикою в задачах оптим?зац??.

Отриману таким чином функц?ю втрат, яку також називають функц??ю втрат нижньо? меж? св?дчення (англ. evidence lower bound), скорочено НМЕС (англ. ELBO), можливо записати як

$L_{\theta ,\Phi }=-\log(p_{\theta }(\mathbf {x} ))+D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z|x} ))=-E_{\mathbf {z} \sim q_{\Phi }(\mathbf {z|x} )}(\log(p_{\theta }(\mathbf {x|z} )))+D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z} ))$

Враховуючи властив?сть нев?д'?мност? розходження Кульбака — Лейблера, буде правильним стверджувати, що

$-L_{\theta ,\Phi }=\log(p_{\theta }(\mathbf {x} ))-D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z|x} ))\leq \log(p_{\theta }(\mathbf {x} ))$

Оптимальними параметрами ? т?, як? м?н?м?зують цю функц?ю втрат. Цю задачу можливо узагальнити як

$\theta ^{*},\Phi ^{*}={\underset {\theta ,\Phi }{argmin}}L_{\theta ,\Phi }$

Основна перевага цього формулювання поляга? в можливост? сп?льного оптим?зування за параметрами $\theta$ та $\Phi$.

Перш н?ж застосовувати функц?ю втрат НМЕС до задач? оптим?зування для зворотного поширення град??нта, необх?дно зробити ?? диференц?йовною, застосувавши так званий трюк перепараметрування (англ. reparameterization trick), щоб усунути стохастичне вибирання з цього формування, й таким чином зробити ?? диференц?йовною.

Трюк перепараметрування

Схема трюку перепараметрування. Зм?нну випадковост? $\mathbf {\varepsilon }$ вводять до латентного простору $\mathbf {z}$ як зовн?шн?й вх?д. Таким чином можливо зворотно поширювати град??нт без залучення стохастично? зм?нно? п?д час уточнення.

Щоб зробити формулювання НМЕС придатним для ц?лей тренування, необх?дно ввести подальшу незначну зм?ну до формулювання задач?, а також до структури вар?ац?йного автокодувальника.

Стохастичне вибирання ? недиференц?йовною операц??ю, через яку можливо вибирати з латентного простору й подавати на ймов?рн?сний декодувальник.

Щоб уможливити застосування процес?в зворотного поширення, таких як стохастичний град??нтний спуск, запроваджують трюк перепараметрування.

Основним припущенням про латентний прост?р ? те, що його можливо розглядати як сукупн?сть багатовим?рних гауссових розпод?л?в ?, отже, можливо описати як

$\mathbf {z} \sim q_{\phi }(\mathbf {z} \vert \mathbf {x} )={\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\sigma }}^{2})$

Схема вар?ац?йного автокодувальника п?сля трюку перепараметрування.

Якщо ${\boldsymbol {\epsilon }}\sim {\mathcal {N}}(0,{\boldsymbol {I}})$, а $\odot$ визначено як поелементний добуток, то трюк перепараметрування зм?ню? наведене вище р?вняння до

$\mathbf {z} ={\boldsymbol {\mu }}+{\boldsymbol {\sigma }}\odot {\boldsymbol {\epsilon }}$.

Завдяки цьому перетворенню, яке можливо поширити й на ?нш? розпод?ли, в?дм?нн? в?д гауссового, вар?ац?йний автокодувальник п?дда?ться тренуванню, а ймов?рн?сний кодувальник ма? навчатися в?дображувати стиснене подання вх?дних даних у два латентн? вектори ${\boldsymbol {\mu }}$ та ${\boldsymbol {\sigma }}$, тод? як стохастичн?сть залиша?ться виключеною з процесу уточнювання, й вводиться до латентного простору як зовн?шн?й вх?д через випадковий вектор ${\boldsymbol {\epsilon }}$.

Р?зновиди

?сну? багато застосувань ? розширень вар?ац?йних автокодувальник?в для пристосовування ц??? арх?тектури до р?зних областей та пол?пшення ?? продуктивност?.

β-ВАК (англ. β-VAE) ? вт?ленням з? зваженим членом розходження Кульбака — Лейблера для автоматичного виявляння та ?нтерпретування розкладених латентних подань. За допомогою цього вт?лення можливо нав'язувати розплутування многовиду для значень $\beta$, б?льших за одиницю. Автори показали здатн?сть ц??? арх?тектури породжувати високояк?сн? синтетичн? зразки.

Ще одне вт?лення, назване умовним вар?ац?йним автокодувальником (англ. conditional variational autoencoder), скорочено УВАК (англ. CVAE), як вважають, вставля? м?ткову ?нформац?ю до латентного простору, нав'язуючи детерм?новане обмежене подання навчених даних.

Деяк? структури безпосередньо займаються як?стю породжуваних зразк?в або вт?люють понад одного латентного простору для подальшого пол?пшення навчання подань.

Деяк? арх?тектури по?днують структури вар?ац?йних автокодувальник?в та породжувальних змагальних мереж, щоб отримувати г?бридн? модел? з високими породжувальними спроможностями.

Див. також

• Автокодувальник
• Глибоке навчання
• Зб?льшування даних
• Зворотне поширення
• Навчання подань
• Навчання розр?джених словник?в
• Породжувальна змагальна мережа
• Штучна нейронна мережа