中華民國內政部建築研究所中華民國內政部建築研究所

一、研究緣起
BIM（Building Information Modeling, BIM）在國內應用的普及率已越來越高，加上近年來營建、建築市場所面臨到的成本上升問題，建築預鑄工法在各方面的優勢慢慢浮現，其與目前大數據以及人工智慧、深度學習之結合，有機會將建築、營建相關傳統產業進行提升自動化，並實現建築4.0。本研究希望能夠針對建築預鑄工法中準確度部分，進行較深入的應用討論，並透過與深度學習、BIM等自動辨識技術的結合，有效達到智慧建築之應用。
以點雲技術建立真實世界物體的數位立體模型已是重要的資訊科技應用方向。本研究將應用目前工地所蒐集的大量影像資料，建立三維現實點雲模型，並與BIM結合，應用人工智慧、電腦視覺以及深度學習相關技術達到準確度分析。第一步為蒐集工地現場影像資料，由工地現場影像資料將可產生點雲模型以呈現工地安裝建築構件安裝完成後之情況。第二步為與BIM模型結合作為比較之基準，其中將應用簡單之計算攝影技術進行疊合。第三步為應用BIM模型對點雲模型進行分割並蒐集影像之特徵資料。第四步為透過點雲模型中單元構件與BIM模型之匹配、比較分析構件之安裝類別正確性、整體準確度，並與相關規定進行比較。第五步為透過BIM模型與點雲模型將結果視覺化呈現。
二、研究方法及過程
本計畫研究方法主要可以分為五個模組：（一）蒐集工地現場影像資料、（二）模型建立、（三）BIM 模型與點雲模型結合、（四）深度學習模型分析、（五）構件安裝類別正確性、整體準確度分析。
三、重要發現
(一)國內外有關自動辨識技術應用建築產業之研究情況
利用三維點雲重建技術等電腦視覺相關技術應用輔以施工現場之研究及其設備，於國外已有許多重大突破。然而其有效之真實應用，國內土木工程依舊無實質上之進展。目前重建點雲之方式主要有三種方式，基於影像之點雲重建、基於深度影像之重建、基於光達設備之重建。基於影像重建三維點雲模型，主要透過大量蒐集工程現場之影像資料，如無人機搭載鏡頭、一般相機、魚眼相機、環景相機等各式能夠蒐集影像之設備，其主要利用運動恢復結構（Structure from Motion, SfM）為主要重建方法，其方法利用多張不同角度位置之部分重疊影像為基礎利用電腦視覺方式計算影像之姿態與內方位參數參數與移動軌跡，藉以重新建立點雲模型；基於深度影像之重建，主要能夠透過深度相機進行深度影像與彩色影像之擷取以即時重建或保存影像以後續利用演算法進行影像匹對重建點雲模型，可以利用深度相機搭配無人飛行載具及彩色相機進行即時動態建模，並透過不同時間之飛行建模監控土方工程，以及結合施工現場4D BIM進行施工進度追蹤；最後，基於光達方式之點雲重建，主要利用量測每秒數萬數量的光脈衝之發射與反射其來回飛行時間以推算其距離。光達能夠利用連續移動搭配即時動態建模快速建立點雲模型，若同步以進行矯正之彩色相機進行拍攝，即能在光達產生之無色點雲進行上色，得到帶有彩色資訊之點雲模型。
如能妥善利用以上目前現有之技術與大量之影像資訊與利用更多先進之三維點雲重建設備使用於工程現場，其對於土木工程之品質與作業方法必能帶來眾多改變革與改善。自動化施工需要基於點雲模型技術，得以增加品質、進度、工安、養護管理等眾多用途乃至於推動更先進之點雲深度學習應用，然而目前國內並未有重大發展與真實應用，因此如何能夠有效且廣泛利用點雲對於國內之工程品質或者既有建築之養護能力提升有其急迫與重要。
(二)深度學習之建築案場資料庫架構
資料集是利用深度學習技術進行自動辨識研究的基礎，優秀的演算法需要透過完整的資料來評估它的效果。演算法的最終目的是要擬合趨勢或者分佈，不同的資料集的特徵分佈是不同的，同一資料集劃分方式由於改變不同的輸入參數也會使得特徵的分佈存在差異。因此找到合適的資料並做好適當的預處理，可以更加體現演算法的能力。惟既有之點雲資料庫主要以室內點雲居多，本計畫嘗試不同深度學習模型合併平面偵測演算法進行研究，將來增加以建築案場為基礎之點雲資料庫，可提升辨識精度。
(三)案場施工誤差資訊可視化
本研究藉由將中山區某建築工地預鑄外牆構件十八個樣本點雲場景，使用前述之成果進行偵測辨識，其成果之平面利用平面方程式以及平面點雲相差平均距離進行運算，可得到交角與平面距離，藉此得出誤差值。另外，本研究將環景相機所建立之點雲模型套疊BIM模型後藉由熱顯圖可視化真實構件與設計模型之誤差。
(四)關於本研究之效益
近年來營建產業面臨成本上升問題，本研究結合大數據以及人工智慧、深度學習與建築預鑄工法的優勢，發展流程與使用照相攝影設備建立即時案場點雲模型，使得即時性的檢驗更為精簡、省時。
四、主要建議事項
建議一 
結合BIM及感測技術進行即時建築構件安裝檢測：立即可行建議
主辦機關：內政部建築研究所
協辦機關：國立臺灣大學土木系
建築構件安裝精準度檢驗流程往往需要經過多次查核，並與測量人員協調時間以完成最後核實。整體流程除牽涉人員多、間隔時間不定外，也容易因為時間之耽誤，造成最後檢驗結果的誤差。近年來在預鑄構件及鋼構件的應用愈趨廣泛下，檢驗流程的最佳化，以及誤差反應的即時性也更顯重要。同時間，有此檢驗需求之相關建築構件多數具有對應之Building Information Modeling（BIM）模型。整合BIM至檢驗流程，並輔以最新之感測技術，「即時」提供安裝檢測結果，並加速檢驗流程，提供正確結果，為相當重要之研究課題。建議統整並應用先前之研究成果，加強其中技術之即時性，更加貼合目前業界需求。
建議二
預鑄元件資料庫建立，作為後續研究對模型與真實物件進行分析參考：中長期建議
主辦機關：內政部建築研究所
協辦機關：國立臺灣大學土木系、財團法人台灣建築中心
目前影像及點雲資料庫仍以一般建築相關元件作為資料蒐集對象。主要考慮針對不同元件，先進行構件資料採集後，建立三維模型。舉例而言，鋼構在施作上很常遇到安裝誤差的狀況，若是增加蒐集鋼構元件的影像資料，可以利於拓展研究的面向，將鋼構安裝精準度的部分也同時納入考量。另外，BIM模型元件也可以轉換成點雲模型做為參考對象，若繼續增加各種BIM模型元件，對於點雲資料庫的完備也有效益。
建議三
深度學習模型資料庫建立，提升後續研究對模型與真實物件自動辨識精準度：中長期建議
主辦機關：內政部建築研究所
協辦機關：國立臺灣大學土木系、財團法人台灣建築中心
舉例而言，目前 PointNet++室內點雲資料庫為室內點雲居多，過往辨識模型仍以室內資料集為主要搜集對象。建議可研擬推動針對施工案場現地資料豐富資料集，強化深度學習模型之物件辨識能力，間接提升案場誤差辨識精準度。

The broad implementation of BIM with the pressure of labor and material cost for the construction industry provides a unique opportunity for modular construction to play a significant role in the construction 4.0 era. Modular construction shows excellent potential to automate construction processes, integrate with new technologies such as artificial intelligence and deep learning and introduce a cleaner, faster and systematic approach. However, the prefabricated component installation accuracy has been an issue that could affect the progress and quality of modular construction. This research aims to integrate BIM, deep learning, and object detection to validate the installation accuracy and improve the installation process.
This research will first utilize the big visual data collected on the construction site to generate the current 3D reality point cloud model after the installation process. Second, we will use a simple transformation algorithm to align the BIM and the point cloud model for further analysis. Then, the BIM can be used to segment the point cloud into components and extract feature information from the image and 3D geometry for the next step. Next, the trained deep learning model can detect the component type to verify the installation. And the accuracy verification model will compare and calculate the error between the point cloud model and the BIM model for installation quality assessment. Finally, the BIM and the point cloud can be used to visualize the accuracy results by color-coding the models.
In this research, an integrated solution that incorporates BIM and deep learning is developed to analyze the prefabricated components' installation accuracy. The study will establish analysis strategies, a system framework, and a prototype to implement the integrated solution. We expect the result to promote BIM usage and provide insights into using artificial intelligence and deep learning in construction.