戴永久院士團隊：水文氣象人工智能預報的可解釋性
轉載于： 2023-06-28 19:51 發表于湖南
水文氣象人工智能預報的可解釋性
隨著人工智能（AI, Artificial intelligence）技術在水文氣象預測中的廣泛應用，AI的可解釋性問題變得尤為重要。由于AI的“黑箱性”，它通常無法提供物理上可解釋的信息。為了解決這一問題，可解釋的人工智能（XAI, Explainable AI）作為一種解釋AI的技術，可以為預測結果提供解釋信息，識別AI的行為，并從AI模型中獲取見解。為了提高水文氣象人工智能預報的可解釋性，中山大學戴永久院士團隊的黃菲妮博士（第一作者）、上官微教授（通訊作者）等人開展了一系列研究，論文分別發表在《Environmental Modelling & Software》,《Environmental Research Letters》和《Agriculture》等期刊（Huang et al, 2023a, 2023b, 2023c）。該系列研究結合多種XAI方法，以土壤濕度的預測為例，研究站點預測、時空預測和極端干旱預測的可解釋性。結果表明，XAI方法基本上能獲取物理一致的解釋，在模型表現較好的基礎上，有望打破預測準確度和可解釋性的權衡。為了提高AI在水文氣象領域應用的可解釋性、可信任性和實用性，我們提倡使用XAI工具，并且開發了一個集成的解釋工具（ExplainAI, https://pypi.org/project/ExplainAI/）用于水文氣象的預測。
1. 站點預測的可解釋性
本研究基于中國海北的Ha2站點的土壤濕度預測，采用了隨機森林模型，并應用了集成XAI框架對預測結果進行解釋。首先，選取了16個特征，包括氣象強迫、能量通量、土壤濕度滯后量和降水滯后量，用隨機森林模型建立了表層土壤濕度預測模型，并評估了預測準確度。結果表明，訓練良好的RF模型能夠有效捕捉Ha2站點土壤濕度的變化特征，預測精度較高。然后，應用集成XAI框架從多個方面評估土壤濕度預測的可解釋性，包括：
1. 1. 隨機森林重要性（MFI）評估每個特征對土壤濕度預測結果的影響的重要性；
2. 2. SHAP(Shapley values)評估每個特征對實時土壤濕度預測和平均土壤濕度值之間差異的貢獻；
3. 3. 一維PDP(partial dependence plot)和ALE(Accumulated local effects)，以反映土壤濕度 預測如何隨每個特征而變化，并顯示不同時期特征效應對土壤濕度的演變；
4. 4. ICE(Individual conditional expectation)和DICE(derivative ICE)表示每個特征如何影響每個事件（特別是極端事件）中的土壤濕度；
5. 5. 二維ALE顯示兩個特征對土壤濕度預測的交互作用。
結果表明，XAI揭示了重要特征對預測的影響，并且具有一定的物理一致性。首先，土壤濕度的時間記憶性在預測中起著重要作用，MFI和SHAP的重要性評估都反映了滯后的土壤濕度的重要性（圖1）。SHAP顯示滯后土壤濕度的影響會隨著時間的推移而減弱，較高的滯后土壤濕度對土壤濕度的影響更大，延長滯后天數會削弱效果，這符合基本的物理認知。類似地，ALE也呈現了低值時滯后土壤濕度與土壤濕度預測之間明顯的線性關系，高值時線性關系有所減弱（圖2a）。其次，XAI 工具可以捕獲影響土壤濕度的土壤溫度的動態關系。Ha2站點受到冬季積雪的影響，土壤濕度和溫度的關系相對比較明確。ALE（圖3e）和ICE（圖4e）都明確捕捉到了這個融雪的關系，當溫度低于0℃且升高時，淺層土壤的解凍會導致土壤濕度迅速增加。溫度對土壤濕度的雙重正反饋導致土壤濕度急劇增加，而當溫度上升到高于0℃時，蒸散量主導土壤濕度的變化。另外，XAI工具還揭示了短波輻射對土壤濕度的多重影響，分為“正反饋”和“負反饋”。當土壤濕度較低時，短波輻射對土壤濕度是“正反饋”，水熱相互作用被加強，土壤濕度隨著短波輻射的增加而上升。反之，短波輻射對土壤濕度是“負反饋”，隨著短波輻射的增加，更多的能量從表面輻射出來，抑制蒸散，抑制土壤濕度的減少（圖4d）。XAI工具可以找出可能黑盒模型固有的偏差：由于Ha2站點缺乏降水，觀測到的降水數據集中在0 mm以內；它導致觀測引起的固有數據偏差，分布不均的數據破壞了模型，導致無法掌握現實世界的關系（圖4n-p）。ICE可以識別固有的數據偏差（水平的ICE線）。
2. 極端干旱預測
本研究首先利用RF算法對30個FLUXNET站點的土壤濕度進行預測建模。其次，采用土壤缺水指數（SWDI）對土壤濕度干旱事件進行識別。當每日SWDI連續超過15天為嚴重或極端時，定義為一個干旱事件。為了反映預測土壤濕度的主要驅動因素，我們采用了XAI方法，包括全局解釋方法（PI，permutation importance和ALE）和局部解釋方法（SHAP，LIME和ICE）方法共同用于分析建模中的特征效應。全局解釋方法用于解釋模型整體的表現，局部解釋方法針對干旱事件進行解釋。不同方XAI方法針對同一個對象進行解釋，并進行相互驗證。通過這種方式，特征的變化對于土壤濕度干旱的預測可以很好地被可視化，并且討論其物理一致性。這種可解釋的人工智能分析可以為潛在過程提供有用的見解，提高預測干旱發生的能力，并促進農業水資源管理。研究結果顯示，所有站點模型的值R2都高于0.5。我們發現：（1）對于土壤濕度預測（圖5），重要特征包括大氣水分虧缺、土壤溫度、day of year、day of all time和潛熱。時間特征在森林和濕地地區更為明顯。大氣水分虧缺、土壤溫度和潛熱在草原上更為顯著。（2）對于土壤濕度干旱（圖6），土壤濕度預測的驅動因素顯示出類似的解釋。由于土壤保水能力差，草地發生的大多數干旱事件對大氣水分虧缺和土壤溫度具有明顯的依賴性。森林站點土壤濕度與時間特征高度相關，可能是因為森林干旱期保水率較高。（3）由SHAP和ICE估計的特征之間關系的演變及其對土壤濕度的影響表明（圖7），站點模型可以正確反映特征與土壤濕度之間的物理關系，盡管CN-Qia等某些站點模型可能存在一些缺陷。因此，它使決策者和水文氣象學家能夠理解人工智能模型的行為。
我們發現，特征之間的相關性（即共線性）可能會對模型的解釋產生影響，特別是對于局部解釋。我們進行了比較，分別使用具有所有特征的數據集和相關性較低的數據集進行建模。結果表明，相關特征的存在可能會削弱重要特征對土壤濕度建模的影響，但對ALE效應的影響不大。由于LIME的線性假設不穩定，因此LIME解釋的脆弱性較高。然而，由于SHAP基于樹形結構，相對來說更有效。因此，我們認為相比LIME，SHAP更適合用于解釋模型。
盡管物理一致性是通過對物理過程或觀察的定性描述來評估的，但缺乏定量評估基準可能會導致對已訓練模型的物理一致性評估不準確。然而，建立這樣的基準存在困難，原因如下：（1）基準應根據土壤物理過程的實際方面創建，但對土壤物理過程的不同描述使得建立這種定量基準變得更加困難。（2）應實施黑盒模型的量化“可解釋性”，例如ALE或ICE可能反映特征與土壤濕度之間的關系，但這些關系可能不符合基準標準。盡管上述問題難以解決，但我們迫切需要建立一個可行的基準來量化人工智能模型的可解釋性。
3. 時空預測的可解釋性
我們介紹了一種Conv-LSTM模型，用于預測中國時空土壤濕度，并探討了如何建立政策制定者和用戶之間的信任。我們使用了多種XAI方法進行比較，最終選擇了PI作為全局解釋方法，以及平滑梯度（SG）作為局部解釋方法。我們分析了網絡中隱藏的空間和時間信息的演變，并發現了它們如何影響土壤濕度的預測。這些結果有助于更好地理解土壤濕度預測，并為相關決策提供可靠的依據。在測試集上,預測結果R2為0.92。然而，由于準確性-可解釋性權衡的存在，模型的預測準確性與理解其行為的可能性之間存在不可調和且不可避免的沖突。為了解決這個問題，我們使用了XAI技術來克服這種權衡。我們分別應用PI和SG作為全局和局部解釋方法來解釋模型的行為和輸出。使用PI（圖8），我們發現影響土壤濕度的最大變量是降水，其次是土壤性質和氣象變量（凈熱輻射和氣溫）。這些結果表明，土壤濕度變化在很大程度上受中國降水模式和土壤特征的影響。使用 SG 方法，我們發現預測因子的梯度隨其值和土壤濕度值而變化。例如，隨著降雨的增加，土壤濕度將保持劇烈的上升趨勢，特別是在土壤處于溫和狀態。我們還使用 SG 方法檢查了三個重要預測因子梯度的時間和空間模式：降水、凈熱輻射和氣溫（圖 9 和圖 10）。我們觀察到這些變量對土壤濕度預測的影響不同，取決于區域的季節性和緯度。梯度的季節性在高緯度地區更為明顯。例如，降水對除西北干旱地區和青藏高原積雪普遍外，大部分地區的土壤濕度預測均有正向影響。此外，凈熱輻射和氣溫的影響具有季節性特征，在春季由南向北放大。這可能是季節性季風的結果。這些XAI工具幫助我們了解Conv-LSTM模型如何捕獲土壤濕度的時空模式以及哪些因素影響了其預測。這項研究展示了XAI工具如何通過窺視黑盒模型來提高將深度學習技術應用于環境建模的可信度，而黑盒模型經常因其缺乏可解釋性而受到批評。通過這樣做，PI和SG被用來提供深度學習模型的可解釋性。具體而言，PI提供了深度學習模型的特征重要性，SG確定了模型的像素屬性。
