中國科學(xué)家成功構(gòu)建并開源深度脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)框架“驚蜇”

　　中新網(wǎng)北京10月11日電 (記者 孫自法)中國科學(xué)院自動化研究所10月11日發(fā)布消息說，該所李國齊研究員與北京大學(xué)計算機學(xué)院田永鴻教授團隊合作，成功構(gòu)建并開源了深度脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)框架(SpikingJelly)，其英文名直譯中文為“尖峰海蜇”，科研團隊遂以與中國傳統(tǒng)二十四節(jié)氣之一“驚蟄”同音、近義、形似的“驚蜇”命名中文名稱。

　　“驚蜇”框架可提供全棧式的脈沖深度學(xué)習(xí)解決方案，支持神經(jīng)形態(tài)數(shù)據(jù)處理、深度脈沖神經(jīng)網(wǎng)絡(luò)構(gòu)建、替代梯度訓(xùn)練、人工神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換脈沖神經(jīng)網(wǎng)絡(luò)、權(quán)重量化和神經(jīng)形態(tài)芯片部署等功能，并具有簡單易用、擴展性強、超高性能等優(yōu)勢。

　　“驚蜇”(SpikingJelly)框架的整體結(jié)構(gòu)、示例代碼、仿真速度、生態(tài)位以及典型應(yīng)用。中國科學(xué)院自動化所 供圖

　　由中國科學(xué)家完成的這項深度脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)框架研究重要成果論文，近日在國際著名學(xué)術(shù)期刊《科學(xué)》旗下《科學(xué)進展》(Science Advances)在線發(fā)表。

　　論文共同通訊作者李國齊研究員介紹說，脈沖神經(jīng)網(wǎng)絡(luò)被譽為第三代神經(jīng)網(wǎng)絡(luò)，其使用更低層次的生物神經(jīng)系統(tǒng)的抽象，既是神經(jīng)科學(xué)中研究大腦原理的基本工具，又因其稀疏計算、事件驅(qū)動、超低功耗的特性而備受計算科學(xué)的關(guān)注。隨著深度學(xué)習(xí)方法的引入，脈沖神經(jīng)網(wǎng)絡(luò)的性能得到大幅度提升，脈沖深度學(xué)習(xí)成為新興的研究熱點。

　　“驚蜇”(SpikingJelly)框架中的典型模塊。中國科學(xué)院自動化所 供圖

　　傳統(tǒng)脈沖神經(jīng)網(wǎng)絡(luò)框架更多關(guān)注生物可解釋性，致力于構(gòu)建精細(xì)脈沖神經(jīng)元并仿真真實生物神經(jīng)系統(tǒng)，并不支持自動微分，無法充分利用圖形處理器(GPU)的大規(guī)模并行計算能力，也缺乏對神經(jīng)形態(tài)傳感器和計算芯片的支持。為解決這一問題，中國科學(xué)院自動化所與北京大學(xué)團隊通過合作研究，構(gòu)建并開源了深度脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)框架“驚蜇”。

　　在超高性能優(yōu)勢方面，“驚蜇”充分利用脈沖神經(jīng)網(wǎng)絡(luò)的特性，通過計算圖遍歷順序優(yōu)化、即時編譯、半自動統(tǒng)一計算設(shè)備架構(gòu)代碼生成等技術(shù)來加速脈沖神經(jīng)網(wǎng)絡(luò)仿真，與其他框架相比可達11倍的訓(xùn)練加速。第三方獨立社區(qū)組織對“驚蜇”和美國、德國、瑞典等多個脈沖神經(jīng)網(wǎng)絡(luò)框架進行精細(xì)的速度基準(zhǔn)測試，結(jié)果顯示，“驚蜇”具有最快的仿真速度，比其他框架快10倍以上。

　　“驚蜇”(SpikingJelly)框架的典型應(yīng)用。中國科學(xué)院自動化所 供圖

　　李國齊表示，“驚蜇”框架自2019年冬季一經(jīng)推出就受到科研同行的關(guān)注和廣泛使用，基于“驚蜇”的研究工作成果也大量出版，目前已有超過95篇公開論文使用“驚蜇”框架進行實驗。同時，脈沖神經(jīng)網(wǎng)絡(luò)的應(yīng)用從簡單的數(shù)據(jù)集分類擴展到人類水平的圖像分類、網(wǎng)絡(luò)部署、事件相機數(shù)據(jù)處理等實際應(yīng)用。這些應(yīng)用和研究表明，“驚蜇”框架開源，已極大促進脈沖深度學(xué)習(xí)領(lǐng)域發(fā)展。(完)