2. 國(guó)際高能物理網(wǎng)格(WLCG)
國(guó)際高能物理網(wǎng)格(WLCG)是一個(gè)全球計(jì)算基礎(chǔ)設(shè)施,其任務(wù)是提供計(jì)算資源,以存儲(chǔ)、分發(fā)和分析LHC生成的數(shù)據(jù),使所有合作伙伴,無(wú)論其物理位置如何,都能平等地獲取數(shù)據(jù)。
WLCG建立在IanFoster和Carl Kesselman最初于1999年提出的網(wǎng)格技術(shù)思想之上。WLCG將世界各地的計(jì)算中心和網(wǎng)格資源連在一起,用于處理和分析LHC的高能物理實(shí)驗(yàn)產(chǎn)生的海量數(shù)據(jù)。該網(wǎng)格系統(tǒng)集成了世界上幾種主流的網(wǎng)格部件并在其上部署物理軟件,從而為相關(guān)的高能物理實(shí)驗(yàn)提供高性能的計(jì)算服務(wù)。
WLCG由歐洲核子研究中心(CERN)協(xié)調(diào)。CERN沒(méi)有計(jì)算或財(cái)政資源來(lái)處理現(xiàn)場(chǎng)的所有數(shù)據(jù),自2002年它就轉(zhuǎn)向網(wǎng)格計(jì)算,由世界各地的計(jì)算機(jī)中心共同承擔(dān)。
同時(shí),WLCG也是世界上最大的計(jì)算網(wǎng)格。它得到了世界各地相關(guān)的國(guó)家和國(guó)際電網(wǎng)的支持,例如歐洲電網(wǎng)戰(zhàn)略(基于歐洲)和開(kāi)放科學(xué)網(wǎng)格(美國(guó)),以及許多其他區(qū)域網(wǎng)格。
WLCG的特點(diǎn)包括:
?物理學(xué)的關(guān)鍵工具:有史以來(lái)最先進(jìn)的科學(xué)數(shù)據(jù)采集和分析系統(tǒng),提供對(duì)LHC數(shù)據(jù)的近實(shí)時(shí)訪問(wèn)。
?無(wú)縫存取:計(jì)算資源包括數(shù)據(jù)存儲(chǔ)容量、處理能力、傳感器、可視化工具等。
?全球合作:42個(gè)國(guó)家,170個(gè)計(jì)算中心,每天超過(guò)200萬(wàn)個(gè)任務(wù),100萬(wàn)個(gè)計(jì)算機(jī)核心,1EB的存儲(chǔ)空間。
?促進(jìn)研究:WLCG幫助物理學(xué)家于2012年7月4日宣布發(fā)現(xiàn)希格斯玻色子。
WLCG的層級(jí)
WLCG由四層或“層”組成;0、1、2和3。每層提供一組特定的服務(wù)。
第0層:這是位于瑞士日內(nèi)瓦的CERN。所有來(lái)自LHC的數(shù)據(jù)都通過(guò)中央的CERN,但CERN只提供了總計(jì)算能力的20%左右。
第0層負(fù)責(zé)原始數(shù)據(jù)(第一份副本)的安全保管、第一次通行重建、將原始數(shù)據(jù)和重建輸出分發(fā)給第1層,以及在LHC停機(jī)期間重新處理數(shù)據(jù)。
第1層:這是13個(gè)大型計(jì)算機(jī)中心,有足夠的存儲(chǔ)容量,并24小時(shí)支持網(wǎng)格。他們負(fù)責(zé)按比例保存原始數(shù)據(jù)和重建數(shù)據(jù),大規(guī)模再處理和保存相應(yīng)的輸出,將數(shù)據(jù)分發(fā)給第二層,并安全保存在這些第二層生成的模擬數(shù)據(jù)。
第2層:第二層通常是大學(xué)和其他科研機(jī)構(gòu),它們可以存儲(chǔ)足夠的數(shù)據(jù),并為特定的分析任務(wù)提供足夠的計(jì)算能力。
目前約有160個(gè)二級(jí)站點(diǎn)覆蓋全球大部分地區(qū)。
第3層:個(gè)別科學(xué)家將通過(guò)本地(有時(shí)也被稱為第3層)計(jì)算資源來(lái)訪問(wèn)這些設(shè)施,這些資源可以由大學(xué)部門(mén)中的本地集群或甚至只是個(gè)人PC組成。第3層資源沒(méi)有正式的參與WLCG。
WLCG的網(wǎng)絡(luò)研究活動(dòng)包括:
- DTN節(jié)點(diǎn)(ESnet)和測(cè)試節(jié)點(diǎn)(GEANT)。
- 高級(jí)協(xié)議替代方案(DOMA)
- 低水平協(xié)議(TCP)的替代方案(AENEAS SKA)
- 有效利用廣域網(wǎng)連接(NOTED)。
- 利用按需分配的帶寬和P2P增加額外的帶寬
(NOTED,LHCONE-P2P)
- 網(wǎng)絡(luò)功能虛擬化(HEPiX NFV工作組)
- 商業(yè)服務(wù)提供商的連接(LHCONE)
WLCG結(jié)構(gòu)
WLCG的四個(gè)主要組成層是網(wǎng)絡(luò)、硬件、中間件和物理分析軟件。
網(wǎng)絡(luò):WLCG最令人印象深刻的組成部分之一是網(wǎng)絡(luò)和連接。由于CERN建立了具有良好的連接性的專用網(wǎng)絡(luò)基礎(chǔ)設(shè)施,WLCG可以在全球范圍內(nèi)向數(shù)百個(gè)合作機(jī)構(gòu)分發(fā)數(shù)據(jù)。
WLCG網(wǎng)絡(luò)的組成部分包括:
CERN互聯(lián)網(wǎng)交換點(diǎn):CERN擁有自己的互聯(lián)網(wǎng)交換點(diǎn)(IXP)。它成立于1989年,能夠直接連接到主要的國(guó)家和國(guó)際網(wǎng)絡(luò)。這有助于減少成本、時(shí)間和數(shù)據(jù)到達(dá)目的地所需經(jīng)過(guò)的不同網(wǎng)絡(luò)的數(shù)量。
LHC光專用網(wǎng)(LHCOPN):CERN通過(guò)一個(gè)專用的、高帶寬的網(wǎng)絡(luò)LHCOPN連接到世界各地的第1層。(將在后續(xù)進(jìn)行詳細(xì)介紹)
數(shù)據(jù)交換:WLCG各中心之間的數(shù)據(jù)交換是由網(wǎng)格文件傳輸服務(wù)管理的,該服務(wù)最初是與2002年起的電子科學(xué)項(xiàng)目啟用網(wǎng)格一起開(kāi)發(fā)的。它是為支持網(wǎng)格計(jì)算的特殊需要而定制的,包括認(rèn)證和保密功能、兼具可靠性和容錯(cuò)性,以及第三方和部分文件傳輸功能。
硬件方面:每個(gè)網(wǎng)格中心都管理著大量的計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。手動(dòng)安裝和定期升級(jí)必要的軟件是勞動(dòng)密集型工作,因此大規(guī)模的管理系統(tǒng)(一些系統(tǒng),如CERN開(kāi)發(fā)的Quattor)將這些服務(wù)自動(dòng)化。從操作系統(tǒng)一直到實(shí)驗(yàn)特定的物理庫(kù),它們確保軟件的正確安裝,并將這些信息提供給整個(gè)網(wǎng)格調(diào)度系統(tǒng),由其決定哪些中心可以運(yùn)行特定的工作。
中間件:中間件是允許訪問(wèn)大量分布式計(jì)算資源和檔案的軟件基礎(chǔ)設(shè)施,能夠支持強(qiáng)大、復(fù)雜和耗時(shí)的數(shù)據(jù)分析。這種軟件被稱為 "中間件",因?yàn)樗挥谟?jì)算機(jī)的操作系統(tǒng)和能夠解決科學(xué)家特定問(wèn)題的物理學(xué)應(yīng)用軟件之間。
物理分析軟件:為了分析LHC產(chǎn)生的大數(shù)據(jù),物理學(xué)家們需要超越市面上現(xiàn)有的軟件工具。高能物理環(huán)境的巨大和不斷變化的需求需要專門(mén)的軟件來(lái)盡可能有效地分析大量的數(shù)據(jù)。
主要的物理分析軟件是ROOT,它面向?qū)ο蟮暮诵膸?kù),被所有LHC實(shí)驗(yàn)使用。它是一個(gè)多功能的開(kāi)源工具,由CERN和費(fèi)米實(shí)驗(yàn)室(Fermilab)開(kāi)發(fā),用于大數(shù)據(jù)處理、統(tǒng)計(jì)分析、可視化和存儲(chǔ)。
參考文獻(xiàn):
https://wlcg.web.cern.ch/
https://wlcg-public.web.cern.ch/about
https://www.annualreviews.org/doi/pdf/10.1146/annurev-nucl-102010-130059