中華民國內政部建築研究所中華民國內政部建築研究所

一、研究緣起
近20年來，消防署統計資料共有74名消防人員從事火災搶救因公殉職，在其主要火災案例中，火勢突然發生爆燃、救災人員因缺氧及高溫等環境受困、或是為了進入室內監測煙熱警戒任務時，遇廠內發生閃燃造成火勢迅速蔓延等，皆是造成人員傷亡之主要原因。當火災發生時，錯綜複雜的室內環境及火場的瞬息萬變，讓消防救災人員常因現場資訊不足而易陷入危機，倘若消防救災人員能夠在救災前有更多室內環境的偵搜資訊及火災發展情況，不僅能夠提升救災避難的效率，也能夠降低消防救災人員的危險性。
隨著消防設備的日新月異，本研究團隊於110年進行「智慧型消防機器人核心功能加值模組與消防人員火場定位技術先期研究」，針對全球各國的消防機器人進行功能盤點與分類，並在研究過程中發現大多市售消防機器人，主要功能都是以滅火功能的應用居多，且消防機器人須藉由遙控器等方式進行人為操控，尚無法自行依火場現況進行移動或決策。除此之外，以機器人輔佐消防人員於火場搜救實務，偵蒐型消防機器人應是需求最殷切、最能發揮火場資訊蒐集功能，以避免火災擴大之重要情形。
此，本研究預計將延續110年度先期研究成果，進行智慧型消防機器人核心功能加值模組之應用研發，除了將先前研發之人工智慧物聯網(AIOT)技術、火場溫度、氣體濃度、影像辨識之資料融合技術、人工智慧早期火災感知技術等功能開發，並整合運用於市售或雛形消防機器人。為解決火災現場通訊不佳導致偵蒐資料傳輸與運算不易之問題，本研究利用雛形機器人於火災初期或是衰退期階段進行收集環境中溫度、多種氣體濃度、影像等數據，並於雛形機器人本身載體上進行人工智慧數據建模與分析，再將結果傳送至後端消防指揮中心等平台進行資訊運用，以減少數據傳輸所造成之延遲時間，更加快速提供火場內部重要資訊及災情研判參考。
二、研究方法及過程
本研究將感測器及攝影機所收集到之環境異質性感知數據進行整合與訓練模型之建置，並透過該模型可辨識室內極早期火焰之發生，以將其結果導入避難引導分析以提升室內環境避難的準確性與可靠性，因此本研究擬採用以下方法進行研究：
1.相關文獻資料分析法：
採用次級資料分析法，分析國內外相關文獻資料，蒐集與本研究主題相關領域知識，以明確研究目標。
2.資訊傳輸與邊緣運算：
溫度、照度、影像以及特定氣體濃度等資料，並根據火場場域之需求，將上述數據運用人工智慧之深度學習技術，進行於雲端伺服器或邊緣運算伺服器上進行建模，以快速並準確預測建築物室內火災之可能發生。
3.系統整合與實測：
結合各模組系統於一般消防機器人，並進行情境模擬，確保整合之系統運行正常，在透過實地演練觀察運行狀況，最後統整問題完成細部修正。
4.專家學者座談法：
邀請國內相關研究專家學者進行座談會議，以議題討論方式，進行研究內容審視及改進。
三、重要發現與研究成果
本研究藉由文獻分析以及利用人工智慧技術與邊緣運算技術建構出火焰辨識系統，研究重要發現以及結果歸納如下：
1.本研究透過物聯網感測技術收集室內火災環境中的多種氣體與溫度資料，並建置多元氣體感知火災識別模型，利用室內火災環境在燃燒時會產生的氣體為主要分析的氣體與溫度數據。雖然在環境燃燒時會根據燃燒物與環境產生不同的氣體，但必定含有碳氫氧元素，因此本研究以室內火場環境中會產生以及燃燒時會產生的溫度、二氧化碳(CO2)等為主要收集及建模之數據。本研究在邊緣裝置上進行蒐集火場資訊之氣體與溫度進行模型訓練，並可以利用這些氣體濃度進行室內火災的辨識模型應用，相關技術建置詳細資訊請參閱第三章第二節。本研究利用多元線性回歸將氣體濃度與溫度當預測特徵值，是否有火焰當預測結果於邊緣裝置進行模型訓練，而在訓練後利用等差進行評分高達0.91，並使用測試及中溫度與氣體數據匯入訓練完模型測試後能進行火焰有無的初步判斷。在火焰影像辨識方面，本研究團隊在將火焰照片進行標記後，再進行訓練集與測試集分類，經多次調整訓練參數及數據訓練後獲得之火焰影像YOLO模型，置於邊緣裝置(Edge Device)內設定環境後能逕行應用。同時，藉由與機器人整合後，在機器人行進同時，透過邊緣裝置攝影機進行影像辨識並由相同網域下使用PC輸入邊緣裝置IP便能進入邊緣裝置Jupyter Lab進行即時影像串流，再進行影像辨識偵測是否有火焰發生，並可提供下載影像數據等功能，以利消防指揮人員了解火場情形，相關技術建置詳細資訊請參閱第三章第一節。
2.109年度「人工智慧物聯網與多元異質感知技術整合應用於建築物火災偵測之研究」研究所提出之「多元氣體感知火災識別模型」所使用之模型是利用Azure Machine Learning Studio雲端平台進行建模，進行資料蒐集時是透過多元感知器進行接收數據，再透過網路傳到中控伺服器或雲端進行運算，此種作法須將所有數據一併傳回，因傳輸的數據量大，因而導致傳輸時間較長且伺服器需花費較長時間運算。今年度本研究團隊主要透過邊緣裝置與消防機器人結合，將接收之數據於機器人上之邊緣裝置將數據先進行處理後，再回傳至中控伺服器以降低傳輸時間及伺服器運算資源。
3.本研究透過物聯網感測技術與人工智慧模型建置技術，收集室內火災環境中的多種氣體與溫度資料，進行偵蒐階段之溫度、氣體、影像之核心功能模組研發，並將相關核心功能模組與現行國產市售消防機器人進行應用結合，建置一整合型雛型系統，並於內政部消防署訓練中心T1大樓內進行燃燒實驗，相關燃燒實驗資訊請參閱第四章，其實驗數據與經驗亦期可提供現行消防指揮單位進行參考。
4.本研究結合核心功能開發模組與國產市售消防機器人之應用，並於內政部消防署訓練中心進行場域驗證。本研究團隊透過邊緣裝置與市售消防機器人結合，將接收之數據於機器人上之邊緣裝置將數據先進行處理後，再回傳至中控伺服器以降低傳輸時間及伺服器運算資源。在內政部消防署訓練中心T1大樓內之燃燒實驗中，搭載本研究核心功能開發模組之消防機器人進行資料收集及邊緣運算，同時安裝4個固定感測器來比對消防機器人數據蒐集之正確率。在本實驗中明顯發現大火燃燒時，機器人由遠而近慢慢靠近火源時，數據與定點遠至近不同位置之感測數據皆具有互相應對的類似數值，因此可驗證本研究核心功能開發模組之消防機器人能準確收集及辨識火場氣體/溫度及火焰影像之數據。
5.本年度研究相關之智慧型消防機器人核心功能模組及火場火焰辨識系統成果已發表於2022人工智慧技術及應用研討會及第20屆離島資訊技術與應用研討會。另外，為避免在火災實驗中，數據蒐集時溫度過高導致定點偵蒐裝置或是移動式偵蒐裝置有所損毀導致資料無法使用，因此使用由外到內防火硅膠布、碳纖維、3D列印Phrozen TR300 Resin盒子，再將裝置進行包覆，而在實驗中可以發現在盒外溫度上升的同時，目前實驗最高盒外偵測為60℃左右，而盒內溫度則維持在40℃左右，盒內溫度基本能維持與燃燒前相同溫度。透過防火材質之實測，不僅降低邊緣裝置設備損壞之成本，亦可拉長本實驗收集溫度、氣體濃度與影像之時間及其數據量，以提升整體系統效能驗證之精準度，預計進行新型或發明專利之申請。
四、研究建議事項
本計畫經過十二個月縝密的資料蒐集、研究與系統開發建置，對於本計畫提出下列建議事項：
建議一
應用於開闊空間如倉儲或科技廠房之邊緣裝置即時影像與多元感知火焰辨識系統應用技術推廣：立即可行建議
主辦機關：內政部建築研究所
協辦機關：消防署
經由本研究初探得知，於邊緣裝置上運行火焰影像辨識之可行性與多元感知火災辨識模型，能在室內火災火焰發生時識別是否有火焰並能增加通報功能進行警告，本實驗則是測試於消防機器人載具上，在行進過程監視是否有火焰產生，並能透過影像串流將現場影像提供指揮中心(或指揮官)了解情形。而近年幾起財物損失慘重之物流倉庫大火，因無法及時發現場所發生火苗，導致後續滅火搶救來不及控制火勢。因此若於物流倉儲、大空間廠房等寬敞場域，尤其在無人監控或監控死角，導入本研究技術並延伸發展循線功能、避障偵測等功能，加上固定式偵測設備呈規律擺設的狀態下，進行自動巡邏偵察是否有火情出現，將可提早通報警示場所防災應變人員儘早因應，以避免火勢擴張。
建議二
賡續辦理消防機器人加值功能升級之研發:中長期建議
主辦機關：內政部建築研究所
協辦機關：消防署、各直轄市、縣(市)消防局
本研究使用之市售消防機器人因其原用途為救災滅火功能為主，且需拖帶2條水帶，因此其高度約40公分，長度約104公分，寬度約為73公分，重量達180公斤重，在室外行進操作尚稱靈活，惟在火場室內或是進行搬運則嫌不方便。本研究應用市售消防機器人底座載具加上各式氣體、溫度、影像偵蒐設備，改造成智慧型偵蒐機器人雛形，加值功能上可以符合需求，但活動力稍嫌靈活度不足，建議未來可研製防火功能佳且輕便容易穿梭火場的中小型載具，只需安裝感測裝置及攝影機即可蒐集火場資訊，此種具偵蒐功能、輕量化、邊緣運算及網路傳輸能力之智慧型消防機器人將可提供消防救災指揮人員許多火場資訊輔助災情研判。
建議三
結合智慧建築技術與智慧型消防機器人核心功能模組之應用與推廣:中長期建議
主辦機關：內政部建築研究所
協辦機關：消防署
本研究屬先驅性質之研究，亦即為消防機器人雛形的研究，使用之相關設備都有一定程度的限制，在各種相關技術持續的發展下，將可探討多種火場技術應用，如整合建築資訊模型(BIM)，可透過BIM提供的資訊更精準地定位火災發生位置，亦可自動啟動該區域滅火功能;抑或是溫度、氣體等感測裝置的耐熱程度提高時，能於高溫火場環境下將數據回傳指揮中心，提供更完整的火場資訊;在數據量足夠情形下，進行火焰成長判斷甚至閃燃爆燃發生預測等應用。

In the past 20 years, the Fire Department has recorded a total of 74 firefighters who died in the line of duty while engaged in fire rescue in Taiwan. With the rapid development of fire fighting equipment, our research team conducted a global inventory of fire fighting robots in 2021, "Intelligent Fire Fighting Robot Core Function Value Added Module and Fire Fighter Fire Positioning Technology Advance Study", and found that most of the commercially available fire fighting robots are mainly used for fire fighting function. However, to assist firefighters with robots in fire search and rescue practices, the scouting type of firefighting robots should be the most in demand and most able to perform the function of fire information collection to avoid the expansion of fires in important situations.
In view of this, this study focuses on the research and development of the scouting phase intelligent robot function module. Through the Internet of Things (IoT) sensing technology and artificial intelligence model building technology, we collect data such as temperature, gas concentration, and images in the environment at the early stage of a fire or at the stage of decline, so that we can develop the core function modules of temperature, gas, and images at the stage of detection, and combine the relevant core function modules with the existing domestic commercially available firefighting robots for application. This integrated prototype system is a pioneer in research and development, and the equipment used is limited to a certain extent. However, the prototype system was also tested in a simulated shopping mall at the Fire Department Training Center of the Ministry of the Interior to verify its technical feasibility. By collecting the temperature, gas and image detection from the actual flame combustion, the accuracy of the flame image recognition is 89% and the F1-score is 91% by using YOLOv4-tiny for recognition and the prediction accuracy of similar fires was as high as 0.91. This integrated prototype system can also send real-time image detection screen and gas temperature data from the edge device to the back-end system, so that firefighters can obtain more real-time information about the indoor environment and fire development, which can not only improve the efficiency of disaster relief and avoidance, but also reduce the danger of firefighters.