近日，中科院自動(dòng)化所聽覺模型與認(rèn)知計(jì)算團(tuán)隊(duì)面向嘈雜背景下的視覺感知問題，提出具有同層側(cè)向激勵(lì)和抑制的卷積脈沖神經(jīng)網(wǎng)絡(luò)模型，在多個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上表現(xiàn)出較好地識(shí)別性能和噪音魯棒性。該論文已被IJCAI 2020大會(huì)接收。

如果有人朝你扔過來一個(gè)球，通常你會(huì)怎么辦？——當(dāng)然是馬上把它接住。
這個(gè)問題是不是很簡單？但實(shí)際上，這一過程是最復(fù)雜的處理過程之一：首先，在復(fù)雜的背景環(huán)境下，球進(jìn)入人的視野，被視網(wǎng)膜捕捉到后，經(jīng)視覺通路發(fā)送到大腦處理視覺信息的腦區(qū)，進(jìn)行更加徹底的圖像分析。同時(shí)視皮層與其他腦區(qū)協(xié)作，判斷物體的種類，預(yù)測它的行進(jìn)軌跡，最終通過傳出神經(jīng)控制肌肉的運(yùn)動(dòng)，決定人的下一步行動(dòng)：舉起雙手、接住球。上述過程只在零點(diǎn)幾秒內(nèi)發(fā)生，幾乎完全是下意識(shí)的行為，也很少會(huì)出差錯(cuò)。
為了讓計(jì)算機(jī)模仿這一過程，首先需要讓計(jì)算機(jī)做到像人類那樣“看”，尤其是在嘈雜背景下像人類那樣快速準(zhǔn)確地“看”，成為了近年來視覺感知這一研究領(lǐng)域備受關(guān)注的關(guān)鍵問題之一。

近年來，基于梯度反向傳播的脈沖神經(jīng)網(wǎng)絡(luò)（SNN）訓(xùn)練方法逐漸興起。在這種訓(xùn)練方法下，SNN能夠在保留神經(jīng)元內(nèi)部動(dòng)力學(xué)的同時(shí)獲得較好的性能。
在此基礎(chǔ)上，自動(dòng)化所聽覺模型與認(rèn)知計(jì)算團(tuán)隊(duì)模仿刻畫視聽覺系統(tǒng)神經(jīng)元側(cè)向作用的數(shù)學(xué)模型動(dòng)態(tài)神經(jīng)場，提出了具有側(cè)向作用的SNN——LISNN，用于圖像識(shí)別任務(wù)。并且在測試中，根據(jù)側(cè)向作用的動(dòng)力學(xué)特點(diǎn)，人為加入噪聲以驗(yàn)證側(cè)向作用對網(wǎng)絡(luò)魯棒性的提升。
在生物神經(jīng)系統(tǒng)的感受器中存在著臨近神經(jīng)元間的相互抑制和相互激勵(lì)。其中，側(cè)向抑制最初為解釋馬赫帶效應(yīng)而提出，即人們在明暗變化邊界上常常會(huì)在亮處看到一條更亮的光帶而在暗區(qū)看到一條更暗的線條（見圖1）。這種側(cè)向作用后來在鱟、貓等多種動(dòng)物的不同感覺系統(tǒng)中被證實(shí)并應(yīng)用在仿生的計(jì)算模型中。 

圖1. 馬赫帶效應(yīng)示意（圖引wiki）

LISNN的結(jié)構(gòu)如圖2所示，前端是兩層具有卷積感受野的脈沖神經(jīng)元層，每層后面有一層平均池化層，后端是兩層全連接的脈沖神經(jīng)元層。具有卷積感受野的脈沖神經(jīng)元在模型中承擔(dān)特征提取的功能，類似于感受器的作用，因此只在這層結(jié)構(gòu)中使用側(cè)向作用。在側(cè)向作用機(jī)制下，每個(gè)脈沖神經(jīng)元的膜電位都額外受鄰域內(nèi)的其他神經(jīng)元上一時(shí)刻狀態(tài)的影響。在目前已有的使用側(cè)向作用的計(jì)算模型中，側(cè)向作用系數(shù)往往是固定的和神經(jīng)元間距離相關(guān)的函數(shù)，而LISNN中的側(cè)向作用系數(shù)則可以通過反向傳播進(jìn)行學(xué)習(xí)。


圖2 LISNN模型結(jié)構(gòu)示意圖
該研究工作分別在靜態(tài)數(shù)據(jù)集MNIST與Fashion MNIST、動(dòng)態(tài)數(shù)據(jù)集N-MNIST上對LISNN的性能進(jìn)行了驗(yàn)證。輸入數(shù)據(jù)以特定方式編碼為一定長度的脈沖序列，每個(gè)時(shí)刻的序列規(guī)模與原圖像（或事件點(diǎn)坐標(biāo)范圍）相同。模型在MNIST和N-MNIST數(shù)據(jù)集上均取得了和已有最好性能相近的結(jié)果；在Fashion-MNIST數(shù)據(jù)集上則取得了SNN中的最好性能。本模型與已發(fā)表模型的性能對比見表1-3。


除此之外，團(tuán)隊(duì)還選擇在MNIST和Fashion MNIST的測試集中加入不同水平的高斯噪聲和脈沖噪聲，以進(jìn)一步測試側(cè)向作用對網(wǎng)絡(luò)魯棒性的提升。圖3展示了部分原始圖片和加噪后的圖片。

圖3 （a）三行依次為原始MNIST測試集圖片、加入高斯噪聲后的圖片、加入脈沖噪聲后的圖片
（b）三行依次為原始Fashion MNIST測試集圖片、加入高斯噪聲后的圖片、加入脈沖噪聲后的圖片
圖4中，灰線和藍(lán)線分別代表LISNN和沒有側(cè)向作用的SNN在添加了高斯噪聲的測試集上的準(zhǔn)確率；黃線和橙線分別代表LISNN和沒有側(cè)向作用的SNN在添加了脈沖噪聲的測試集上的準(zhǔn)確率。在大部分情況下，LISNN的性能損失都小于沒有側(cè)向作用的SNN，尤其是在訓(xùn)練集中沒有添加噪聲數(shù)據(jù)的情況下。




圖4 （a）模型在無噪聲的MNIST訓(xùn)練集上訓(xùn)練。（b）模型在無噪聲的Fashion MNIST訓(xùn)練集上訓(xùn)練
（c）模型在有高斯噪聲的MNIST訓(xùn)練集上訓(xùn)練。（d）模型在有高斯噪聲的Fashion MNIST訓(xùn)練集上訓(xùn)練

與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法相比，所提算法能取得較好的性能并自然地實(shí)現(xiàn)對噪聲干擾的抗性，具有一定理論研究價(jià)值和工程實(shí)用價(jià)值。