轉于ScienceAI 

編輯 | 白菜葉

研究人員開發了一系列模擬和其他非常規機器學習系統，期望它們將證明比今天的計算機更節能。但是訓練這些人工智能來完成它們的任務一直是一個很大的絆腳石。NTT 設備技術實驗室和東京大學的研究人員現在表示，他們已經提出了一種訓練算法（NTT 上個月宣布），該算法對讓這些系統實現其承諾大有幫助。

他們的結果建立在光學模擬計算機上，代表了在獲得研究人員長期以來從「非常規」計算機架構中尋求的潛在效率增益方面取得的進展。

現代人工智能程序使用一種名為人工神經網絡的受生物學啟發的架構來執行圖像識別或文本生成等任務�？刂朴嬎爿敵龅娜斯ど窠浽�之間的連接強度必須使用標準算法進行修改或訓練。這些算法中最突出的稱為反向傳播，它會更新連接強度以減少網絡錯誤，同時處理試驗數據。由于對某些參數的調整取決于對其他參數的調整，因此需要計算機進行主動信息傳遞和路由。

正如 Spectrum 在別處解釋的那樣，「錯誤反向傳播就像反向運行推理，從網絡的最后一層回到第一層；weight update 然后將來自原始前向推理運行的信息與這些反向傳播的錯誤結合起來，以一種使模型更準確的方式調整網絡權重�！�

以復雜性換取效率的替代計算架構通常無法執行算法所需的信息傳遞。因此，網絡的訓練參數必須從整個硬件設置及其信息處理的獨立物理模擬中獲得。但是創建足夠質量的模擬本身就具有挑戰性。

「我們發現將反向傳播算法應用于我們的設備非常困難�！箙⑴c該研究的研究人員之一、NTT 設備技術實驗室的 Katsuma Inoue 說，「由于多種因素，例如物理噪聲和不準確的建模，數學模型與真實設備之間始終存在差距�！�

實施反向傳播的困難促使作者研究和實施替代訓練算法。它建立在一種稱為直接反饋對齊（DFA）的算法之上，該算法于 2016 年在一篇論文中首次引入。該算法減少了訓練期間傳遞信息的需要，因此減少了物理系統需要模擬的程度。作者的新「增強 DFA」算法完全消除了對任何詳細設備模擬的需要。

為了研究和測試算法，他們在光學模擬計算機上實現了它。其中，神經元之間的連接表示為穿過光纖環的光強度，而不是數字表示的數字。神經網絡的連接用穿過環形光纖的光束的強度表示�！高@是一個絕對必要的演示�！狗▏�公共研究機構 FEMTO-ST 研究所的 Daniel Brunner 說。Brunner 開發了與研究人員在研究中使用的類似類型的非常規光子計算機�！高@種特殊算法的美妙之處在于它在硬件中實現起來并不難——這就是為什么它如此重要�！�

相關報道：https://spectrum.ieee.org/analog-ai-optical-training