首先把獲取的環(huán)境監(jiān)測數(shù)據(jù)通過導(dǎo)入程序?qū)氲紿DFS(分布式文件系統(tǒng))內(nèi),此為預(yù)測分析的初始數(shù)據(jù)。環(huán)境監(jiān)測數(shù)據(jù)的分布式存儲架構(gòu)中主要有主節(jié)點、數(shù)據(jù)節(jié)點、數(shù)據(jù)塊、客戶訪問節(jié)點、環(huán)境質(zhì)量數(shù)據(jù)獲取節(jié)點和環(huán)境監(jiān)測節(jié)點等。HDFS的工作過程如下。
1.當(dāng)有用戶(通過訪問節(jié)點)提出查詢請求時,請求信息(包含查詢時間和地點)被通過主(master)節(jié)點發(fā)送給各個從(slave)進行處理;主節(jié)點收集處理結(jié)果并返回給用戶。為了加快處理速度,在實際使用中可以對環(huán)境質(zhì)量歷史數(shù)據(jù)進行預(yù)處理,實現(xiàn)分類處理,把分類信息保存在HDFS系統(tǒng)中,這樣可以提高用戶的請求處理速度和結(jié)果返回速度。
2.若有環(huán)境監(jiān)測數(shù)據(jù)需要存儲,相關(guān)節(jié)點會向主節(jié)點提出存儲請求,主節(jié)點選擇從節(jié)點并把存儲位置返回給請求存儲的節(jié)點,然后請求存儲節(jié)點就可以直接把環(huán)境監(jiān)測數(shù)據(jù)發(fā)送給分配的從節(jié)點進行存儲。這其實是HDFS保存數(shù)據(jù)的標準流程。
環(huán)境監(jiān)測數(shù)據(jù)的分布式存儲流程大致就是如此,在整個數(shù)據(jù)存儲過程中,HDFS發(fā)揮了很大作用。
掃碼加微信咨詢產(chǎn)品、免費報價
裕乾(4006569698,bdyswp.cn)是一家智慧化系統(tǒng)集成軟硬件研發(fā)、銷售、服務(wù)為主的高新技術(shù)企業(yè)。經(jīng)過多年發(fā)展,公司已成為智慧建筑、智慧工業(yè)、智慧環(huán)保、智慧電力、智慧水利、智慧農(nóng)業(yè)等領(lǐng)域,具有自主研發(fā)能力、自主知識產(chǎn)權(quán)與自主品牌一體化的先進解決方案供應(yīng)商、系統(tǒng)集成綜合服務(wù)商。