邊緣人工視覺系統因其在自動駕駛、智能家居、視頻監控等場景的大量應用，已成為一個備受關注的研究領域。傳統的人工視覺系統由于采用“感—存—算”分離的架構，大量冗余傳感數據在不同模塊間的頻繁遷移導致了系統高延遲、高功耗。采用神經形態計算技術，開發集成傳感、存儲和處理與一體的感內或近感計算人工視覺系統是解決這一問題的重要途徑之一。儲池計算是一種計算復雜度低、能耗小的神經形態計算技術，非常適合與傳感器結合應用于資源受限的邊緣端。但由于儲池權重固定，在降低訓練成本的同時，其網絡適應能力受到限制，難以應用于復雜多變的實際環境。
針對這一問題，微電子所微電子器件與集成技術重點實驗室劉明院士團隊的尚大山研究員同北京師范大學何聰麗博士、香港大學王中銳博士和中科院物理所張廣宇研究員團隊合作，利用二維單層MoS2場效應管（FET）光電非線性響應機制和動力學特性，結合生物視覺系統中水平細胞反饋機制，開發了具有明/暗光自適應功能的感算一體延時儲池計算技術。
生物視網膜中存在亮度響應閾值不同的兩類光感知器細胞，即視錐細胞和視桿細胞，分別適用于明亮和昏暗環境下的視覺行為。這兩類光感知細胞通過水平細胞的反饋機制進行動態調制，使視覺系統的光敏程度可隨著環境光強的增加（減小）而增強（減弱），從而實現明暗視覺適應功能。受生物視網膜啟發，團隊采用單層MoS2為溝道材料、HfO2薄膜為柵電介質、Si/SiO2為襯底的背柵結構光電FET器件，通過數學建模定量描述了器件受光強調制的轉移特性和受柵壓調制的光電流衰退過程，并基于器件測試數據構建了光電延時儲池計算模型，實現了對動態視覺信息的識別。團隊在光電延時儲池網絡基礎上，從仿生角度出發，借鑒視網膜水平細胞調制機制，研發了輕量化水平調制神經網絡模塊，利用柵壓調控機制模擬光感知細胞光敏特性的切換過程，實現了儲池計算的自適應調制過程，在混合光強MNIST數據集上的識別率得到顯著提升。與固定結構的延時儲池計算相比，自適應延時儲池計算充分利用了器件的光電動力學可調特性，提高了系統的泛化能力和不同環境下的穩定性，并保留了儲池計算硬件友好、網絡輕量化、訓練成本低等特點。該結果為開發可用于邊緣智能的高能效、自適應的仿生視覺系統提供了參考。
該項研究得到了科技部、國家自然科學基金委、中科院和香港大學的支持。成果近期發表在《先進光學材料》期刊上（Advanced Optical Materials, DOI: 10.1038/s42256-023-00609-5），微電子所專業碩士研究生江南佳為文章的第一作者。
圖1 a）二維單層MoS2光電FET陣列；b）器件在不同輸入光功率下的轉移曲線；c）不同柵壓下光電流Iph與光照強度的依賴關系；d）不同柵壓下的歸一化光電流衰退曲線；e）器件非線性光響應動態累積過程；f）不同柵壓下器件的動態響應范圍（DPR）
圖2 a）混合光強MNIST手寫數字數據集示意圖；b）具有水平調制（HM）網絡模塊的延進儲池的視覺自適應工作流程；c）柵壓調制下器件動力學響應過程；d）光電自適應延時儲池計算過程示意圖；e）基準網絡（左）、小調制范圍網絡（中）和大調制范圍網絡（右）識別率；f）初始儲池網絡（黑）、小調制范圍網絡（藍）和大調制網絡（紅）的識別率比較
文章鏈接：
Bio-inspired in-sensor reservoir computing for self-adaptive visual recognition with two-dimensional dual-mode phototransistors
Najia Jiang, Jian Tang, Woyu Zhang, Yi Li, Na Li, Xiuzhen Li, Xi Chen, Renrui Fang, Zeyu Guo, Fei Wang, Jun Wang, Zhi Li, Congli He, Guangyu Zhang, Zhongrui Wang, Dashan Shang
Advanced Optical Materials DOI: 10.1002/adom.202300271 (2023)
綜合信息