基于數據產品供需關系的氣象工程集約化設計方法
轉載于領略氣象
伍洋翟薇張勇顧青峰李俊陸楠
氣象工程是一項涉及觀測采集、傳輸交換、加工處理、綜合分析、應用服務、支撐保障等全方位業務流程的系統工程。隨著氣象部門不斷推動落實《氣象高質量發展綱要(2022—2035年)》目標任務,如何在有限的建設周期和資金預算下,科學、合理、高質量的發展包括綜合氣象觀測站網在內的各項氣象業務能力建設,迫切需要開展以需求為導向的氣象重大工程項目統籌設計研究。2021年11月,氣象大數據云平臺(天擎)通過業務化評審,實現了對計算、存儲、網絡等基礎設施資源的統籌,構建了以氣象大數據云平臺為“云”、氣象業務系統為“端”的“云+端”氣象技術體制新架構。2022年9月,中國氣象局印發《氣象業務軟件統籌工作方案(2022—2025年)》,更進一步明確了建立以監測、預報、服務、信息核心業務軟件為支撐,定制化、輕量化、多樣化的應用軟件為主體的氣象業務軟件生態發展目標和藍圖。
我國每年新增氣象資料容量超過1000 TB,且格式種類繁多、表現形式迥異,但在面向服務對象時,由于對氣象數據產品資源體系的頂層設計、相關標準規范不夠完善,且各業務單位的數據產品資源仍存在分散部署、冗余重復、供需不夠匹配的情況,使得氣象工程集約化設計越來越難以適應對數據集約的發展要求。2020年6月,中國氣象局組建氣象發展與規劃院的目的之一,是提升對國家氣象重大工程建設的綜合性咨詢服務能力,全力做好生態氣象保障、氣象防災減災能力提升、海洋氣象保障、區域人工影響天氣等國家級氣象重點工程的統籌集約設計。本文從氣象數據產品供給與需求之間的矛盾出發,通過設計一套工程集約化設計方法與工具,為加快工程項目推進、統籌國省建設資金提供實現路徑。
1氣象數據產品供需關系問題分析
氣象數據和產品在供給側和需求側之間存在的問題主要包括:一是在部門內循環中,氣象數據產品供給端與數據產品需求端在工程設計時期存在較為明顯的脫節,數據鏈條上下游沒有形成很好的對接,導致產生“數據有供給無需求、數據有需求無供給”等問題(圖1a);二是在部門外循環中,作為氣象服務產品需求端,政府和外部門對氣象服務產品的需求往往沒有明確、完整的清單列表,一般都會表示希望氣象部門提供越多越好的氣象服務產品,從而表現出“服務供給無法完全滿足需求”的狀況,當然也不排除少量“研制的服務產品無人使用”的狀況存在(圖1b);三是氣象數據產品供給端分布于多個單位,在數據質量控制和評估方面,存在一定程度的業務交叉重疊,從而產生重復的對內數據產品供給(圖1c);四是由于缺乏數據產品的相關業務標準和清晰的分類體系,作為部門內循環的數據產品需求端(同時也是部門外循環的服務產品供給端),各單位在數據加工制作產品環節存在較大的“不透明度”,供需雙方無法按照同樣一個維度劃分各自的產品類別,無法在相同的一個數據產品分類層級上進行供需對接,在把數據產品加工制作成服務產品的過程中易產生冗余、無效等處理操作(圖1d)。
據統計,現行的氣象資料分類標準主要有三個(表1)!稓庀筚Y料分類與編碼》將氣象資料劃分為15類一級資料;《氣象衛星數據分類與編碼規范》遵循GB/T 40153-2021,規定一級資料“衛星氣象資料”按照屬性的不同組合進行二級資料劃分;《大氣成分觀測資料分類與編碼》遵循GB/T 40153-2021,規定一級資料“大氣成分資料”4個大氣成分數據共同具有的屬性的不同組合進行二級資料劃分。目前,其他13類一級資料尚未見到相應的二級資料分類編碼標準發布。
2氣象工程集約化設計方法
2.1雙循環體系
集約化設計目的是解決供需矛盾問題,集約化設計方法研制主要基于氣象部門數據和產品全流程需求供給規律,以及引起供需矛盾的本質原因。圖2系統展示了以數據產品為核心的氣象部門內循環和以服務產品為核心的氣象部門外循環共同構建的氣象部門數據和產品雙循環體系,以及貫穿其中的氣象數據全流程體系。
2.2技術思路
對于圖1a所示的供需矛盾,在部門內循環中,消除無效供給和無效需求、實現氣象數據產品供給端與需求端有機銜接的技術路線有三條:一是從數據產品供給端出發,供給端基于雙方認可的數據產品分類分級方式,梳理《氣象原始數據供給狀況表》全集目錄,交由數據產品需求端進行勾選,包括原始數據名稱、對應業務種類名稱等;二是從數據產品需求端出發,需求端基于雙方認可的數據產品分類分級方式,梳理《氣象數據產品需求狀況表》全集目錄,交由數據產品供給端進行勾選,包括數據產品名稱、使用的觀測設備名稱等;三是數據產品供給端和需求端同時提出各自的資源狀況和需求指標,進行對接匹配,從而構建起集約有效的供需關系。
對于圖1b所示的供需矛盾,在部門外循環中,消除無效供需、實現科學對接的方式可參考上述三條技術路線。但是,考慮到政府各部門間的溝通對接方式和傳統流程,先由氣象部門梳理出能夠提供的《氣象預報和服務產品資源清單》全集目錄,再向政府和外部門等服務對象發函征求意見,或許是相對可行的路線選擇。另外,結合業務工作實際,通過確認政府在服務產品報告的批示簽報、與外部門的服務合作協議等公文依據,也可一定程度上消除“服務產品有供給無需求”的狀況。
對于圖1c所示的供需矛盾,技術路線可采用:基于中國氣象局分管職能司對數據質量控制業務的分單位職責劃分情況,梳理分析《氣象觀測資料質量控制項目清單》,明確各類氣象觀測數據全流程各環節的質量控制項,對開展氣象觀測資料質量控制業務的數據供給端各單位開展現狀調查,從而排除冗余、無效的質量控制過程,實現對內數據產品供給集約。
對于圖1d所示的供需矛盾,部門內循環的數據產品需求端(即部門外循環的服務產品供給端)是氣象數據全流程體系中最為關鍵、承上啟下的環節。但往往在數據產品加工制作環節涉及業務單位較多,由于缺少一級資料“數值預報產品”和“氣象服務產品”等的二級資料分類標準,以及清晰成熟的加工制作業務體系架構,擬從數據產品正向推導至服務產品并剔除掉所有冗余項是較為復雜和困難的。因此,倒推法則更為適用,以《氣象預報和服務產品資源清單》為基礎開展重復性檢查,反向梳理排除冗余的上游數據產品需求環節,從而實現對外服務產品供給集約。
綜上,氣象工程集約化設計的技術流程應為:《氣象預報和服務產品資源清單》→《氣象數據產品需求狀況表》→《氣象原始數據供給狀況表》→《氣象觀測資料質量控制項目清單》,以此實現數據和產品資源供需清單及其配套工程建設內容的統籌集約。
2.3技術方法
2.3.1重復性檢查
(1)預報和服務產品重復性檢查:由氣象預報預測系統和公共氣象服務系統生成的、基于氣象服務之目的而制作的、可直接服務于用戶的氣象信息產品均屬于預報和服務產品,對這類產品是否存在重復的檢查稱為預報和服務產品重復性檢查。
(2)數據產品需求狀況重復性檢查:部門內循環中對需求的數據產品是否存在重復的檢查稱為數據產品需求狀況重復性檢查。
(3)質量控制項目重復性檢查:氣象數據的質量控制是指采用一定的工藝措施,使氣象數據資料滿足相關質量要求的過程。廣義的質量控制,涵蓋數據全生命周期,貫穿數據全鏈條流程,凡是為追求真值而進行的操作都可以稱作質量控制,包括定標、預處理、數據整合、質量控制、質量評估、偏差訂正、黑名單等;狹義的質量控制,包括基本質量控制、考慮觀測和模式背景場關系的質量控制、氣候資料均一性訂正等。對同一氣象觀測資料擬開展的質量控制項目是否存在廣義分類或狹義分類上的相同或相似的檢查稱為質量控制項目重復性檢查。除了質控項目類型外,還有質控算法類型也可進行重復性檢查。當前實際業務中常用到的氣象觀測資料質量控制項目見表2,國內外現有的質控算法包括空間回歸檢驗算法、反距離權重插值算法、綜合質量控制算法(NCEP CQC)、變分質量控制算法(ECMWF VarQC)、偏差訂正算法(NCEP RADCOR)、基于貝葉斯理論的自動質量控制算法等。
2.3.2有效性檢查
(1)預報和服務產品有效性檢查:部門外循環中,對外提供的預報服務產品制作依據是否充分的檢查稱為預報和服務產品有效性檢查。通常認為,充分有效的依據性文件包括與外部門的服務合作協議、政府在服務產品報告的批示簽報等。
(2)數據產品需求狀況有效性檢查:對內數據產品需求端提出的需求的數據產品是否能有效轉換為其作為對外服務產品供給端提供的服務產品的檢查稱為數據產品需求狀況有效性檢查。有效轉換的含義,包括對內需求的數據產品清單與對外提供的服務產品清單之間能夠建立起“一對一”、“一對多”、“多對多”等關系,不存在有需求無供給或者有供給無需求的情況;在轉換過程中不存在應由數據產品供給端完成的任務操作,包括格式改變、質量控制、數據插補、單位換算、量度變換、統計計算、匯編整編等。
(3)原始數據供給狀況有效性檢查:部門內循環中,對內提供的原始數據是否能與需求的數據產品形成合理有效的供需關系的檢查稱為原始數據供給狀況有效性檢查。合理有效的供需關系主要指不存在有需求無供給或者有供給無需求的情況。
(4)質量控制項目有效性檢查:對內數據產品供給端開展的質量控制項目是否能與數據產品的供給和需求情況相匹配的檢查稱為質量控制項目有效性檢查。
3氣象工程集約化設計工具
基于第2節集約化設計方法確定的技術思路和技術方法,設計了《氣象預報和服務產品資源清單》《氣象數據產品需求狀況表》《氣象原始數據供給狀況表》《氣象觀測資料質量控制項目清單》等4個工具,科學有效地運用集約化設計工具,可引領氣象重大工程項目統籌設計高效能發展。
3.1氣象預報和服務產品資源清單
由部門外循環的服務產品供給端各單位進行填寫。該表的重點在于理清對外提供的預報服務產品的重復性和有效性,即預報服務產品是否統籌集約、制作依據是否充分。該表共設置14個字段。
3.2氣象數據產品需求狀況表
由部門內循環的數據產品需求端各單位進行填寫。該表的重點在于理清可用于制作預報服務產品所需求的數據產品的重復性和有效性,即數據產品是否統籌集約、與預報服務產品之間是否形成合理有效的供需關系。該表共設置11個字段,其中,第2、6-8個字段應與表3相關字段構成關聯關系。
3.3氣象原始數據供給狀況表
由部門內循環的數據產品供給端各單位進行填寫。該表的重點在于理清觀測系統采集的原始數據的有效性,即與數據產品之間是否形成合理有效的供需關系。該表共設置15個字段,其中,第9-15個字段應與表4相關字段構成關聯關系。
3.4氣象觀測資料質量控制項目清單
由部門內循環的數據產品供給端各單位進行填寫。該表的重點在于理清質量控制項目的重復性和有效性,即數據質控項是否統籌集約、與數據產品上下游供需兩端是否形成有效聯系。該表共設置9個字段,其中,第2-5個字段應與表4相關字段構成關聯關系;第6-7個字段應與表5相關字段構成關聯關系。
4結果與討論
自2021年7月底,基于氣象工程集約化設計方法和設計工具已在《生態氣象保障能力提升與氣候變化監測評估工程可行性研究報告》設計中得到實踐應用,初步實現了針對氣象數據產品需求狀況和原始數據供給狀況的有效性檢查與優化處理設計。運用氣象數據和產品雙循環供需體系的設計思路開展氣象數據全鏈條流程分析,對于全面把握生態工程建設總體框架、科學合理設置生態氣象保障工程建設內容有明顯提升作用。最終,生態氣象保障能力提升與氣候變化監測評估工程涉及的20多個系統、760個子系統、130億元左右的建設投資需求凝練成為8個領域、25個重點方向、42種發布載體、共348項服務產品清單,達到了基于生態氣象數據產品供需統籌的工程集約設計要求。
本文針對氣象數據和產品在供給側和需求側之間的銜接問題,通過理清對外服務產品供給、對內數據產品需求、原始數據供給和質量控制之間的關系,研究提出了氣象工程集約化設計方法,為構建集約有效的供需關系進行了探索。(1)該方法包括重復性檢查、有效性檢查等,每種檢查又包含多項設計方式和內容;(2)該方法基于氣象部門數據和產品雙循環體系開展工程統籌設計,涵蓋《氣象預報和服務產品資源清單》《氣象數據產品需求狀況表》《氣象原始數據供給狀況表》《氣象觀測資料質量控制項目清單》4個設計工具;(3)該方法在生態工程設計實踐過程中,對于排除冗余、無效的數據產品和服務產品有較明顯作用;(4)從促進服務產品不斷優化、升級的角度來說,保持適度的冗余是必要的。如何細化完善氣象數據和服務產品分類分級標準、在投資效益與事業發展之間找到“最優化”狀態、實現計算機自動化匹配檢查等方面,將是氣象工程集約化設計方法研究未來改進的方向。
(本文推送前略有修改)
END
來源 |《氣象科技進展》13(4)-2023第一作者單位 | 中國氣象局氣象發展與規劃院編輯 | 馮裕健
- 上一篇:沒有啦
- 下一篇:天氣預報體系即將遭遇人工智能的狂風暴雨 2023/12/3