Page 44 - 112-2小論文

第三代人工智慧 SNN 模型原理解析與前景

壹、前言

1. 研究動機

AI 規模隨著需求攀升不斷擴張，廣泛運用於大型語言模型 (LLM)和圖像識別
等領域的人工神經網絡 (ANN, Artificial Neural Networks work)因其計算矩陣和張量的
特性，能耗也隨矩陣尺寸的多項式規模及層數大幅上漲。因此除了在硬體層面做優
化之外，找尋更加優良的演算法亦是一大要事。脈衝神經網絡 (SNN, Spiking Neural
Network)，其脈衝傳遞的性質不但令計算高效、節能，更是擁有極高的時間敏感性
及生物真實性 (Biological Plausibility)。因此，筆者初次見到第三代人工智慧本因其
特性預期 SNN 模型應得到應用，然而卻並非如此。

當代算力與能耗比常決定了戰略和商業上的優勢，但 SNN 沒有被廣泛工程師
所青睞必然有其原因。基於好奇，故本文致力於瞭解 SNN 模型的理論架構以探討
發展阻礙和前景，並和 ANN 模型比較其優劣之處。

2. 研究目的

（一） 深入瞭解 SNN 模型的工作原理、機制，研討其架構帶來的特性。
（二） 根據 SNN 模型的特性探討其發展過程中可能產生的阻礙。
（三） 由 SNN 模型的特性觀望其發展前景。

貳、文獻探討

1. SNN 概述

第三代人工智慧——脈衝神經網絡 (SNN)，是一種基於生物神經元活動啟發的
神經網路 (Chiustin, 2020)，與傳統的人工神經網路 (ANN)在網路架構上頗為相似，
但在信息傳遞協議和神經元模型上存在根本性差異。 SNN 通過離散的尖峰 (spike)
序列來表示和傳輸資訊，同時採用了類似於生物神經的膜電位激活機制。這些差異
不僅使得 SNN 能夠以較低的功耗處理資訊，而且通過脈衝的時序動態為 SNN 模型
賦予了處理高時間分辨率資料的能力，以及更接近生物神經系統的生物真實性。

2. 對比 ANN 來瞭解 SNN 運行與計算優勢

ANN 和 SNN 的主要區別為信息傳遞協議和神經元模型兩項，如下圖圖一所示。
傳統人工神經網路中的神經元從突觸前神經元接收連續的實數，並計算它們的加權
及和相應的激活函數，如 Sigmoid、 ReLU 等。在這種情況下，神經元的輸出也是連
續的實數。SNN 中的神經元接收來自突觸前神經元的尖峰訓練，並根據模型定義更
新膜電位為 ( )。在圖中顯示了一個簡單的 Integrate and Fire (IF)模型。將更新後
的 ( )與閾值（ ）進行比較，以確定是否發射尖峰。如果尖峰觸發，則需要將
ℎ
( )重置為零或靜息膜電位。在這種情況下，神經元的輸出是一個尖峰序列。

1