根據《國家電網有限公司關于加快推進設備管理專業無人機規模化應用的通知》(國家電網設備〔2022〕494號)文件要求,為促進公司架空配電線路無人機巡檢圖像人工智能識別實用化水平提升,加快工程驗收智能比對算法和通道樹障自主預測算法研發進程,國網設備部決定開展架空配電線路無人機巡檢圖像人工智能識別算法、工程驗收智能比對算法和通道樹障自主預測算法技術水平測試及培育,制定工作方案如下:
一、工作目的
擇優選取一批識別效果較好的架空配電線路人工智能算法進行集中培育及推廣應用,促進巡檢圖像缺陷智能識別實用化水平提升,推進竣工驗收典型設計比對應用,強化通道樹障識別和預測分析能力,為配電網設備運維模式轉型升級奠定基礎。
二、工作原則
算法評測遵循公平、公正、公開原則,統一提供技術測試平臺,在相同的軟硬件配置環境下開展算法識別效果驗證工作。算法識別結果由專家組統一尺度、量化評價,結果公開通報,作為后續集中培育及推廣試應用依據。
軟硬件配置環境見附件2。
三、測試內容
對國內外相關人工智能算法研發單位的重點缺陷類型(見表1)識別效果、工程驗收智能比對算法及通道樹障自主預測算法性能進行測試,具體測試方案及評價方法詳見附件1。
四、工作安排
(一)報名階段(2月20日-2月24日)
智研院、信產集團等已在公司系統內部署算法的單位須參與本次測試,其他算法研發單位自愿報名參加。參與單位填寫附件2并加蓋本單位公章,發送至中國電科院指定聯系人郵箱,中國電科院向各報名單位發送《技術測試接口規則》、《技術測試操作手冊》。
報名截止時間為2月24日17:00,逾期不予接收。
(二)準備階段(2月25日-3月6日)
1.2月25日-3月4日,各參與單位自備服務器等硬件,在測試現場進行算法訓練,訓練數據由中國電科院統一提供。
2.3月4日09:00前,中國電科院向各報名單位確認現場調試安排。
3.3月4日-3月6日,各參與單位將算法模型按《技術測試接口規則》進行封裝,在技術測試平臺上進行部署并確認運行正常,逾期不再提供調試。
4.3月6日,國網設備部從各省電力公司抽取6人組成專家組。
(三)驗證階段(3月7日-3月10日)
1.3月7日,通過抽簽方式或程序搖號方式,確定各參與單位算法測試順序;從中國電科院統一標注的架空配電線路無人機巡檢圖像缺陷樣本庫(即公司樣本庫)中抽取未經公開的樣本,由專家組對所選中樣本的正確性和規范性進行審核后,形成本次測試集。
測試集中包含各重點類型缺陷樣本,不同類型缺陷樣本的數量及比例由專家組現場明確,并由專家組將測試集導入技術測試平臺。
各項算法類型的權重同步由專家組確定,用于分析計算總體發現率情況。
2.3月7日-3月9日,根據測試計劃依次對各參與單位算法進行測試。在每個算法測試完畢后,專家組利用技術測試平臺分析統計該算法的發現率、誤檢比和識別效率等指標。
每個算法測試限時為48小時。超過限時仍未運行完畢或沒有按規定格式輸出結果的算法,立即終止測試,各項指標均不得分。
算法測試時,提供該算法的單位可安排1~2人在測試現場。
3.3月10日,專家組對技術測試過程和結果進行分析,編制總結報告。
(四)培育階段(4月1日-9月30日)
根據人工智能算法技術水平測試結果,選取一批識別效果較好、具有較強研發實力及參與意愿的算法研發單位開展集中培育。中國電科院依托公司樣本庫牽頭組織算法集中培育工作。入圍的算法研發單位應制定提升優化策略及方案并確保落實,宜每月進行算法模型迭代更新,實現算法快速提升。
(五)比武階段(10月1日-12月31日)
根據集中培育進展,適時組織入圍集中培育的算法研發單位開展智能識別算法比武。比武中識別效果較好的算法將部署于各省公司試應用,算法研發單位需結合試應用反饋對算法進行迭代優化。
五、工作要求
1.各單位應嚴格按照文件要求在中國電科院測試平臺開展測試工作,測試過程中出現異常情況由專家組共同商討后確定處理方式。
2. 本次測試不單獨進行算法訓練,僅開展算法測試。
3.測試期間,參與單位須簽署保密協議,禁止設備聯網、復制或傳播數據資料,服從現場工作安排,全程禁止拍照。
4.集中培育中嚴格遵守公司各項管理規定和信息安全相關制度規范要求,嚴禁私自下載、傳輸公司樣本庫圖像數據,一旦發生泄密等違背信息安全管理制度要求的行為,立即從集中培育單位范圍中剔除并嚴肅依規處理。