神經(jīng)網(wǎng)絡(luò)的分類（神經(jīng)網(wǎng)絡(luò)的分類及特點(diǎn)）

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于神經(jīng)網(wǎng)絡(luò)的分類的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

• 1、神經(jīng)網(wǎng)絡(luò)（Neural Network）

• 2、神經(jīng)網(wǎng)絡(luò)是什么？

• 3、神經(jīng)網(wǎng)絡(luò)的種類有那些，主要區(qū)別是什么？

• 4、神經(jīng)網(wǎng)絡(luò)包括卷積層，還包括哪些層

一、神經(jīng)網(wǎng)絡(luò)（Neural Network）

（1）結(jié)構(gòu)：許多樹(shù)突（dendrite）用于輸入，一個(gè)軸突 （axon）用于輸出。

（2）特性：興奮性和傳導(dǎo)性。興奮性是指當(dāng)信號(hào)量超過(guò)某個(gè)閾值時(shí)，細(xì)胞體就會(huì)被激活，產(chǎn)生電脈沖。傳導(dǎo)性是指電脈沖沿著軸突并通過(guò)突觸傳遞到其它神經(jīng)元。

（3）有兩種狀態(tài)的機(jī)器：激活時(shí)為“是”，不激活時(shí)為“否”。神經(jīng)細(xì)胞的狀態(tài)取決于從其他神經(jīng)細(xì)胞接收到的信號(hào)量，以及突觸的性質(zhì)（抑制或加強(qiáng)）。

（1）神經(jīng)元——不重要

① 神經(jīng)元是包含權(quán)重和偏置項(xiàng)的 函數(shù) ：接收數(shù)據(jù)后，執(zhí)行一些計(jì)算，然后使用激活函數(shù)將數(shù)據(jù)限制在一個(gè)范圍內(nèi)（多數(shù)情況下）。

② 單個(gè)神經(jīng)元：線性可分的情況下，本質(zhì)是一條直線， ，這條直線將數(shù)據(jù)劃分為兩類。而線性分類器本身就是一個(gè)單層神經(jīng)網(wǎng)絡(luò)。

③ 神經(jīng)網(wǎng)絡(luò)：非線性可分的情況下，神經(jīng)網(wǎng)絡(luò)通過(guò)多個(gè)隱層的方法來(lái)實(shí)現(xiàn)非線性的函數(shù)。

（2）權(quán)重/參數(shù)/連接（Weight）——最重要

每一個(gè)連接上都有一個(gè)權(quán)重。一個(gè)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法就是讓權(quán)重的值調(diào)整到最佳，以使得整個(gè)網(wǎng)絡(luò)的預(yù)測(cè)效果最好。

（3）偏置項(xiàng)（Bias Units）——必須

① 如果沒(méi)有偏置項(xiàng)，所有的函數(shù)都會(huì)經(jīng)過(guò)原點(diǎn)。

② 正則化偏置會(huì)導(dǎo)致欠擬合：若對(duì)偏置正則化，會(huì)導(dǎo)致激活變得更加簡(jiǎn)單，偏差就會(huì)上升，學(xué)習(xí)的能力就會(huì)下降。

③ 偏置的大小度量了神經(jīng)元產(chǎn)生激勵(lì)（激活）的難易程度。

（1）定義：也稱為轉(zhuǎn)換函數(shù)，是一種將輸入 (input) 轉(zhuǎn)成輸出 (output) 的函數(shù)。

（2）作用：一般直線擬合的精確度要比曲線差很多，引入激活函數(shù)能給神經(jīng)網(wǎng)絡(luò) 增加一些非線性 的特性。

（3）性質(zhì)：

① 非線性：導(dǎo)數(shù)不是常數(shù)，否則就退化成直線。對(duì)于一些畫一條直線仍然無(wú)法分開(kāi)的問(wèn)題，非線性可以把直線變彎，就能包羅萬(wàn)象；

② 可微性：當(dāng)優(yōu)化方法是基于梯度的時(shí)候，處處可導(dǎo)為后向傳播算法提供了核心條件；

③ 輸出范圍：一般限定在[0,1]，使得神經(jīng)元對(duì)一些比較大的輸入會(huì)比較穩(wěn)定；

④ 非飽和性：飽和就是指，當(dāng)輸入比較大的時(shí)候輸出幾乎沒(méi)變化，會(huì)導(dǎo)致梯度消失；

⑤ 單調(diào)性：導(dǎo)數(shù)符號(hào)不變，輸出不會(huì)上躥下跳，讓神經(jīng)網(wǎng)絡(luò)訓(xùn)練容易收斂。

（1）線性函數(shù) (linear function)—— purelin()

（2）符號(hào)函數(shù) (sign function)—— hardlim() 

① 如果z值高于閾值，則激活設(shè)置為1或yes，神經(jīng)元將被激活。

② 如果z值低于閾值，則激活設(shè)置為0或no，神經(jīng)元不會(huì)被激活。

（3）對(duì)率函數(shù) (sigmoid function)—— logsig()

① 優(yōu)點(diǎn)：光滑S型曲線連續(xù)可導(dǎo)，函數(shù)閾值有上限。

② 缺點(diǎn)：❶ 函數(shù)飽和使梯度消失，兩端梯度幾乎為0，更新困難，做不深；

                ❷ 輸出不是0中心，將影響梯度下降的運(yùn)作，收斂異常慢；

                ❸ 冪運(yùn)算相對(duì)來(lái)講比較耗時(shí)

（4）雙曲正切函數(shù)(hyperbolic tangent function)—— tansig()

① 優(yōu)點(diǎn)：取值范圍0中心化，防止了梯度偏差

② 缺點(diǎn)：梯度消失現(xiàn)象依然存在，但相對(duì)于sigmoid函數(shù)問(wèn)題較輕

（5）整流線性單元 ReLU 函數(shù)(rectified linear unit)

① 優(yōu)點(diǎn)：❶ 分段線性函數(shù)，它的非線性性很弱，因此網(wǎng)絡(luò)做得很深；

                ❷ 由于它的線性、非飽和性， 對(duì)于隨機(jī)梯度下降的收斂有巨大的加速作用；

② 缺點(diǎn)：❶ 當(dāng)x<0，梯度都變成0，參數(shù)無(wú)法更新，也導(dǎo)致了數(shù)據(jù)多樣化的丟失；

                ❷ 輸出不是0中心

（6）滲漏型整流線性單元激活函數(shù) Leaky ReLU 函數(shù)

① 優(yōu)點(diǎn)：❶ 是為解決“ReLU死亡”問(wèn)題的嘗試，在計(jì)算導(dǎo)數(shù)時(shí)允許較小的梯度；

                ❷ 非飽和的公式，不包含指數(shù)運(yùn)算，計(jì)算速度快。

② 缺點(diǎn)：❶ 無(wú)法避免梯度爆炸問(wèn)題； （沒(méi)有體現(xiàn)優(yōu)于ReLU）

                ❷ 神經(jīng)網(wǎng)絡(luò)不學(xué)習(xí) α 值。

（7）指數(shù)線性單元 ELU (Exponential Linear Units)

① 優(yōu)點(diǎn)：❶ 能避免“死亡 ReLU” 問(wèn)題；

                ❷ 能得到負(fù)值輸出，這能幫助網(wǎng)絡(luò)向正確的方向推動(dòng)權(quán)重和偏置變化；

                ❸ 在計(jì)算梯度時(shí)能得到激活，而不是讓它們等于 0。

② 缺點(diǎn)：❶ 由于包含指數(shù)運(yùn)算，所以計(jì)算時(shí)間更長(zhǎng)；

                ❷ 無(wú)法避免梯度爆炸問(wèn)題； （沒(méi)有體現(xiàn)優(yōu)于ReLU）

                ❸ 神經(jīng)網(wǎng)絡(luò)不學(xué)習(xí) α 值。

（8）Maxout（對(duì) ReLU 和 Leaky ReLU的一般化歸納）

① 優(yōu)點(diǎn)：❶ 擁有ReLU的所有優(yōu)點(diǎn)（線性和不飽和）

                ❷ 沒(méi)有ReLU的缺點(diǎn)（死亡的ReLU單元）

                ❸ 可以擬合任意凸函數(shù)

② 缺點(diǎn) ：參數(shù)數(shù)量增加了一倍。難訓(xùn)練，容易過(guò)擬合

（9）Swish

① 優(yōu)點(diǎn)：❶ 在負(fù)半軸也有一定的不飽和區(qū)，參數(shù)的利用率更大

                ❷ 無(wú)上界有下界、平滑、非單調(diào)

                ❸ 在深層模型上的效果優(yōu)于 ReLU

每個(gè)層都包含一定數(shù)量的單元（units）。增加層可增加神經(jīng)網(wǎng)絡(luò)輸出的非線性。

（1）輸入層：就是接收原始數(shù)據(jù)，然后往隱層送

（2）輸出層：神經(jīng)網(wǎng)絡(luò)的決策輸出

（3）隱藏層：神經(jīng)網(wǎng)絡(luò)的關(guān)鍵。把前一層的向量變成新的向量，讓數(shù)據(jù)變得線性可分。

（1）結(jié)構(gòu)：僅包含輸入層和輸出層，直接相連。

（2）作用：僅能表示 線性可分 函數(shù)或決策，且一定可以在有限的迭代次數(shù)中收斂。

（3）局限：可以建立與門、或門、非門等，但無(wú)法建立更為復(fù)雜的異或門（XOR），即兩個(gè)輸入相同時(shí)輸出1，否則輸出0。 （“AI winter”）

（1）目的：擬合某個(gè)函數(shù)      （兩層神經(jīng)網(wǎng)絡(luò)可以逼近任意連續(xù)函數(shù)）

（2）結(jié)構(gòu)：包含輸入層、隱藏層和輸出層 ，由于從輸入到輸出的過(guò)程中不存在與模型自身的反饋連接，因此被稱為“前饋”。    （層與層之間全連接）

（3）作用： 非線性 分類、聚類、預(yù)測(cè)等，通過(guò)訓(xùn)練，可以學(xué)習(xí)到數(shù)據(jù)中隱含的知識(shí)。

（4）局限：計(jì)算復(fù)雜、計(jì)算速度慢、容易陷入局部最優(yōu)解，通常要將它們與其他網(wǎng)絡(luò)結(jié)合形成新的網(wǎng)絡(luò)。

（5）前向傳播算法（Forward Propagation）

① 方法：從左至右逐級(jí)依賴的算法模型，即網(wǎng)絡(luò)如何根據(jù)輸入X得到輸出Y，最終的輸出值和樣本值作比較， 計(jì)算出誤差 。

② 目的：完成了一次正反向傳播，就完成了一次神經(jīng)網(wǎng)絡(luò)的訓(xùn)練迭代。通過(guò)輸出層的誤差，快速求解對(duì)每個(gè)ω、b的偏導(dǎo)，利用梯度下降法，使Loss越來(lái)越小。

② 局限：為使最終的誤差達(dá)到最小，要不斷修改參數(shù)值，但神經(jīng)網(wǎng)絡(luò)的每條連接線上都有不同權(quán)重參數(shù)，修改這些參數(shù)變得棘手。

（6）誤差反向傳播（Back Propagation）

① 原理：梯度下降法求局部極值

② 方法：從后往前，從輸出層開(kāi)始計(jì)算 L 對(duì)當(dāng)前層的微分，獲得各層的誤差信號(hào)，此誤差信號(hào)即作為修正單元權(quán)值的依據(jù)。計(jì)算結(jié)束以后，所要的兩個(gè)參數(shù)矩陣的 梯度 就都有了。

③ 局限：如果激活函數(shù)是飽和的，帶來(lái)的缺陷就是系統(tǒng)迭代更新變慢，系統(tǒng)收斂就慢，當(dāng)然這是可以有辦法彌補(bǔ)的，一種方法是使用 交叉熵函數(shù) 作為損失函數(shù)。

（1）原理：隨著網(wǎng)絡(luò)的層數(shù)增加，每一層對(duì)于前一層次的抽象表示更深入。在神經(jīng)網(wǎng)絡(luò)中，每一層神經(jīng)元學(xué)習(xí)到的是前一層神經(jīng)元值的更抽象的表示。通過(guò)抽取更抽象的特征來(lái)對(duì)事物進(jìn)行區(qū)分，從而獲得更好的區(qū)分與分類能力。

（2）方法：ReLU函數(shù)在訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)時(shí)，更容易收斂，并且預(yù)測(cè)性能更好。

（3）優(yōu)點(diǎn)：① 易于構(gòu)建，表達(dá)能力強(qiáng)，基本單元便可擴(kuò)展為復(fù)雜的非線性函數(shù)

                      ② 并行性號(hào)，有利于在分布是系統(tǒng)上應(yīng)用

（4）局限：① 優(yōu)化算法只能獲得局部極值，性能與初始值相關(guān)

                      ② 調(diào)參理論性缺乏

                      ③ 不可解釋，與實(shí)際任務(wù)關(guān)聯(lián)性模糊

（1）原理：由手工設(shè)計(jì)卷積核變成自動(dòng)學(xué)習(xí)卷積核

（2）卷積（Convolutional layer）： 輸入與卷積核相乘再累加 （內(nèi)積、加權(quán)疊加）

① 公式：

② 目的：提取輸入的不同特征，得到維度很大的 特征圖（feature map）

③ 卷積核：需要訓(xùn)練的參數(shù)。一般為奇數(shù)維，有中心像素點(diǎn)，便于定位卷積核

④ 特點(diǎn)：局部感知、參數(shù)變少、權(quán)重共享、分層提取

（3）池化（Pooling Layer）：用更高層的抽象表達(dá)來(lái)表示主要特征，又稱“降采樣”

① 分類： 最大 （出現(xiàn)與否）、平均（保留整體）、隨機(jī)（避免過(guò)擬合）

② 目的：降維，不需要訓(xùn)練參數(shù)，得到新的、維度較小的特征

（4）步長(zhǎng)（stride）：若假設(shè)輸入大小是n∗n，卷積核的大小是f∗f，步長(zhǎng)是s，則最后的feature map的大小為o∗o，其中

（5）填充（zero-padding）

① Full模式：即從卷積核（fileter）和輸入剛相交開(kāi)始做卷積，沒(méi)有元素的部分做補(bǔ)0操作。

② Valid模式：卷積核和輸入完全相交開(kāi)始做卷積，這種模式不需要補(bǔ)0。

③ Same模式：當(dāng)卷積核的中心C和輸入開(kāi)始相交時(shí)做卷積。沒(méi)有元素的部分做補(bǔ)0操作。

（7）激活函數(shù)：加入非線性特征

（8）全連接層（Fully-connected layer）

如果說(shuō)卷積層、池化層和激活函數(shù)層等是將原始數(shù)據(jù)映射到隱層特征空間（決定計(jì)算速度），全連接層則起到將學(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間的作用（決定參數(shù)個(gè)數(shù)）。

參考：

[1]  神經(jīng)網(wǎng)絡(luò)（入門最詳細(xì)）_ruthy的博客-CSDN博客_神經(jīng)網(wǎng)絡(luò)算法入門

[2]  神經(jīng)網(wǎng)絡(luò)（容易被忽視的基礎(chǔ)知識(shí)） - Evan的文章 - 知乎

[3]  人工神經(jīng)網(wǎng)絡(luò)——王的機(jī)器

[4]  如何簡(jiǎn)單形象又有趣地講解神經(jīng)網(wǎng)絡(luò)是什么？ - 舒小曼的回答 - 知乎

[5]  神經(jīng)網(wǎng)絡(luò)15分鐘入門！足夠通俗易懂了吧 - Mr.括號(hào)的文章 - 知乎

[6]  神經(jīng)網(wǎng)絡(luò)——最易懂最清晰的一篇文章_illikang的博客-CSDN博客_神經(jīng)網(wǎng)絡(luò)

[7]  直覺(jué)化深度學(xué)習(xí)教程——什么是前向傳播——CSDN

[8]  “反向傳播算法”過(guò)程及公式推導(dǎo)（超直觀好懂的Backpropagation）_aift的專欄-CSDN

[9]  卷積、反卷積、池化、反池化——CSDN

[10]  浙大機(jī)器學(xué)習(xí)課程- bilibili.com

二、神經(jīng)網(wǎng)絡(luò)是什么？

神經(jīng)網(wǎng)絡(luò)可以指向兩種，一個(gè)是生物神經(jīng)網(wǎng)絡(luò)，一個(gè)是人工神經(jīng)網(wǎng)絡(luò)。

生物神經(jīng)網(wǎng)絡(luò)：一般指生物的大腦神經(jīng)元，細(xì)胞，觸點(diǎn)等組成的網(wǎng)絡(luò)，用于產(chǎn)生生物的意識(shí)，幫助生物進(jìn)行思考和行動(dòng)。

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡(jiǎn)寫為ANNs）也簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)（NNs）或稱作連接模型（Connection Model），它是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。

人工神經(jīng)網(wǎng)絡(luò)：是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型。在工程與學(xué)術(shù)界也常直接簡(jiǎn)稱為“神經(jīng)網(wǎng)絡(luò)”或類神經(jīng)網(wǎng)絡(luò)。

三、神經(jīng)網(wǎng)絡(luò)的種類有那些，主要區(qū)別是什么？

BP網(wǎng)絡(luò)，徑向基網(wǎng)絡(luò)，遞歸網(wǎng)絡(luò)，主要區(qū)別在反饋函數(shù)。

四、神經(jīng)網(wǎng)絡(luò)包括卷積層，還包括哪些層

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，對(duì)于大型圖像處理有出色表現(xiàn)。[1] 它包括卷積層(alternating convolutional layer)和池層(pooling layer)。

卷積神經(jīng)網(wǎng)絡(luò)是近年發(fā)展起來(lái)，并引起廣泛重視的一種高效識(shí)別方法。20世紀(jì)60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時(shí)發(fā)現(xiàn)其獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，繼而提出了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks-簡(jiǎn)稱CNN）?，F(xiàn)在，CNN已經(jīng)成為眾多科學(xué)領(lǐng)域的研究熱點(diǎn)之一，特別是在模式分類領(lǐng)域，由于該網(wǎng)絡(luò)避免了對(duì)圖像的復(fù)雜前期預(yù)處理，可以直接輸入原始圖像，因而得到了更為廣泛的應(yīng)用。 K.Fukushima在1980年提出的新識(shí)別機(jī)是卷積神經(jīng)網(wǎng)絡(luò)的第一個(gè)實(shí)現(xiàn)網(wǎng)絡(luò)。隨后，更多的科研工作者對(duì)該網(wǎng)絡(luò)進(jìn)行了改進(jìn)。其中，具有代表性的研究成果是Alexander和Taylor提出的“改進(jìn)認(rèn)知機(jī)”，該方法綜合了各種改進(jìn)方法的優(yōu)點(diǎn)并避免了耗時(shí)的誤差反向傳播。

以上就是關(guān)于神經(jīng)網(wǎng)絡(luò)的分類相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。

推薦閱讀：

神經(jīng)網(wǎng)絡(luò)的三要素（神經(jīng)網(wǎng)絡(luò)的三要素是什么）

神經(jīng)內(nèi)科醫(yī)院排行榜（全國(guó)神經(jīng)內(nèi)科醫(yī)院排名前十名）

深度神經(jīng)網(wǎng)絡(luò)原理（深度神經(jīng)網(wǎng)絡(luò)原理圖）

室內(nèi)景觀設(shè)計(jì)加盟品牌排名（室內(nèi)景觀設(shè)計(jì)公司）

上海免費(fèi)創(chuàng)業(yè)空間（上海免費(fèi)創(chuàng)業(yè)空間公司）