簡介：深度學**已經存在了幾十年，不斷發(fā)展不同的結構和架構以適應不同的用例。其中一些基于我們對大腦的看法，而另一些則基于大腦的實際工作方式。本文簡單介紹了目前業(yè)界使用的一些先進架構。

作者：謝林·托馬斯(Sherin Thomas)、蘇丹舒·帕西(Sudhanshu Passi)

來源：華碩科技

01 全連接網絡全連接、密集、線性網絡是最基本但最強大的架構。這是機器學**的直接擴展，使用具有單個隱藏層的神經網絡。全連接層作為每個架構的最后一部分，用于獲取使用底層深度網絡獲得的分數(shù)的概率分布。

顧名思義，完全連接的網絡將其上下層中的所有神經元互連。網絡最終可能會通過設置權重關閉一些神經元，但理想情況下所有神經元最初都會參與訓練。

02 編碼器和解碼器編碼器和解碼器可能是深度學**中最基本的架構之一。所有網絡都有一個或多個編碼器/解碼器層。全連接層的隱藏層可以被認為是編碼器的編碼形式，輸出層可以被認為是解碼器，對隱藏層進行解碼并將其作為輸出提供。編碼器通常將輸入編碼為中間狀態(tài)（即向量），然后解碼器網絡將中間狀態(tài)解碼為所需的輸出格式。

編碼器/解碼器網絡的標準示例是序列到序列(seq2seq) 網絡（圖1.11），可用于機器翻譯。句子被編碼成中間向量表示，其中整個句子以一些浮點數(shù)的形式表示，解碼器根據(jù)中間向量對其進行解碼，以產生目標語言的句子作為輸出。

圖1.11 seq2seq網絡

自動編碼器（圖1.12）是屬于無監(jiān)督學**類別的特殊編碼器/解碼器網絡。自動編碼器嘗試從未標記的數(shù)據(jù)中學**并將目標值設置為輸入值。

例如，如果輸入是大小為100x100 的圖像，則輸入向量的維度為10,000。因此，輸出大小也將為10 000，但隱藏層大小可能為500。也就是說，我們試圖將輸入轉換為更小的隱藏狀態(tài)表示，然后從隱藏狀態(tài)重新生成相同的輸入。

圖1.12 自動編碼器結構

如果我們可以訓練一個能夠做到這一點的神經網絡，我們就可以找到良好的壓縮算法，可以將高維輸入轉換為具有數(shù)量級增益的低維向量。

目前，自動編碼器廣泛應用于不同場景和行業(yè)。

03 循環(huán)神經網絡循環(huán)神經網絡（RNN）是席卷全球的最流行的深度學**算法之一。當前自然語言處理和理解方面最先進的性能大部分來自RNN 的變體。循環(huán)網絡嘗試識別數(shù)據(jù)中的最小單元并將數(shù)據(jù)組織成一組這樣的單元。

在自然語言示例中，處理句子時最常見的方法是將單詞視為單元，將句子視為單詞的集合。我們將RNN 分布在整個句子中，一次處理一個單詞（圖1.13）。 RNN 具有適用于不同數(shù)據(jù)集的變體，您可以根據(jù)效率選擇變體。長短期記憶(LSTM) 和門控重復單元(GRU) 是最常見的RNN 單元。

圖1.13 循環(huán)網絡中單詞的向量表示

04 循環(huán)神經網絡循環(huán)神經網絡，顧名思義，是用于理解序列數(shù)據(jù)的層次結構的樹狀網絡。遞歸網絡被研究人員廣泛用于自然語言處理，特別是Salesforce 首席科學家Richard Socher 及其團隊。

詞向量可以有效地將詞義映射到向量空間，但是當涉及到整個句子的含義時，還沒有像word2vec這樣對單詞友好的解決方案。循環(huán)神經網絡是此類應用中最常用的算法之一。

循環(huán)網絡可以創(chuàng)建解析樹和組合向量并映射其他層次關系（圖1.14），這可以幫助找到組合單詞形成句子的規(guī)則。斯坦福自然語言推理小組開發(fā)了一種眾所周知且常用的算法，稱為SNLI。這是應用循環(huán)網絡的一個很好的例子。

圖1.14 遞歸網絡中單詞的向量表示

05 卷積神經網絡卷積神經網絡(CNN)（圖1.15）在計算機視覺方面實現(xiàn)了超人的性能。它在2010 年代初期就達到了人類的準確度，并且其準確度還在逐年提高。

卷積網絡是最容易理解的，因為它們具有可視化工具，可以向您顯示每一層正在做什么。

Facebook 人工智能研究(FAIR) 負責人Yann LeCun 在20 世紀90 年代發(fā)明了CNN。人們無法使用它，因為當時沒有足夠的數(shù)據(jù)集和計算能力。 CNN 像滑動窗口一樣掃描輸入并生成中間表示。中間表示被逐層抽象，最終到達全連接層。 CNN 也已成功應用于圖像以外的數(shù)據(jù)集。

圖1.15 通用CNN

Facebook 研究人員發(fā)現(xiàn)了一種基于卷積神經網絡的先進自然語言處理系統(tǒng)，其性能優(yōu)于RNN，而RNN 被認為是任何序列數(shù)據(jù)集的首選架構。盡管一些神經科學家和人工智能研究人員不喜歡CNN（因為他們認為大腦不會做CNN 所做的事情），但基于CNN 的網絡的性能優(yōu)于所有現(xiàn)有的網絡實現(xiàn)。

06 生成對抗網絡生成對抗網絡（GAN）由Ian Goodfellow 于2014 年發(fā)明。此后它摧毀了整個人工智能社區(qū)。盡管它是最簡單、最明顯的實現(xiàn)之一，但它的功能已經引起了全世界的關注。 GAN的配置如圖1.16所示。

圖1.16 GAN配置

在GAN 中，兩個網絡相互競爭并最終達到平衡，其中生成網絡能夠生成數(shù)據(jù)，而判別網絡則難以將其與真實圖像區(qū)分開來。

現(xiàn)實生活中的一個例子是警察與造假者之間的斗爭。假設一名造假者試圖制造假鈔，而警方則試圖找出真相。最初，造假者沒有足夠的知識來制造看起來真實的假幣。隨著時間的推移，造假者越來越擅長制造與真實貨幣相似的假幣。至此，警方最初未能識別出這些假鈔，但最終再次成功識別出來。

這種生成和對抗的過程最終導致平衡。 GAN 具有顯著的優(yōu)勢。

07 強化學**通過交互進行學**是人類智能的基礎，而強化學**正是引領我們朝這個方向發(fā)展的方法。強化學**曾經是一個完全不同的領域，人們認為人類是通過嘗試和錯誤來學**的。然而，隨著深度學**的進步，出現(xiàn)了另一個領域，稱為“深度強化學**”，它將深度學**和強化學**結合起來。

現(xiàn)代強化學**使用深度網絡來學**這些規(guī)則，而不是讓人類顯式地對其進行編碼。探索Q-learning 和深度Q-learning，并展示使用深度學**的強化學**和不使用深度學**的強化學**之間的差異。

強化學**被認為是通向通用智能的途徑之一，計算機或智能體通過與現(xiàn)實世界、物體、實驗或反饋進行交互來學**。訓練強化學**智能體與訓練狗非常相似，都通過正激勵和負激勵。當你的狗撿起球時獎勵一塊餅干，或者因為你的狗沒有撿起球而對你的狗大喊大叫，這將通過積極和消極的獎勵來強化你的狗大腦中的知識。

我們對AI 代理做了同樣的事情，但正獎勵將是正數(shù)，負獎勵將是負數(shù)。強化學**不能被視為類似于CNN/RNN 等的獨立架構，而應被視為使用深度神經網絡解決現(xiàn)實世界問題的另一種技術，如圖1.17 所示。

圖1.17 強化學**配置

關于作者：Sherin Thomas 的職業(yè)生涯始于信息安全專業(yè)人員，然后將重點轉向基于深度學**的安全系統(tǒng)。他幫助世界各地的多家公司構建人工智能流程，并在印度班加羅爾快速發(fā)展的初創(chuàng)公司CoWrks 工作。

Sudhanshu Passi 是CoWrks 的技術專家。在CoWrks，他是所有機器學**背后的驅動力。他在簡化復雜概念方面的專業(yè)知識使他的書成為初學者和專家的理想讀物。

本文摘自《PyTorch深度學**實戰(zhàn)》，經出版社許可發(fā)布。

擴展閱讀《PyTorch深度學**實戰(zhàn)》

建議：本書是一本深度學**實用指南，重點關注PyTorch中各種深度學**場景的實際實現(xiàn)，不包括模型層面的原理分析。本書通過大量的示例和代碼，詳細介紹了如何使用PyTorch 構建深度學**模型的原型、構建深度學**工作流程并將這些原型投入生產。