引言
粒子物理學是一門研究物質亞原子組分的學問：有多少亞原子?它們的性質是什么?它們之間如何相互作用?回答這些問題有兩種基本的方法，理論方法和實驗方法。從理論的角度，我們可以問：可能存在哪些亞原子粒子?值得注意的是，由于基礎理論的理論一致性，存在很多限制可能的粒子種類的約束。例如，從要求物質不會憑空出現(“幺正性”)到要求物質不會內爆的泡利不相容原理有一條直接的邏輯路徑。然而，令許多理論家沮喪的是，自洽的理論似乎比描述自然的理論要多得多。因此，實驗必不可少。最先進的粒子實驗是橫跨法國和瑞士邊境的歐洲核子研究中心(CERN)的大型強子對撞機(LHC)。迄今為止，它的主要成就是在2012年發現了希格斯玻色子。LHC以接近光速的速度將質子碰撞在一起，然后通過E=mc^2將能量轉化為質量，從而形成新粒子。這些新粒子通常僅持續幾分之一秒(希格斯玻色子的壽命是10^(-22)秒);因此，現代實驗粒子物理學的技術包括發現新粒子產生的跡象，即使我們從未真正看到過它。由于我們感興趣的粒子通常非常罕見并且與更常見的背景看起來幾乎相同，這使得實驗的挑戰變得更加復雜。比如，在LHC上，每十億次質子碰撞只有一次會產生希格斯玻色子。每十萬個希格斯玻色子中只有一個容易看到。在現代實驗中尋找新粒子無異于大海撈針。幸運的是，大海撈針問題正是現代機器學習擅長解決的問題。
與機器學習應用的其他領域相比，粒子物理學有兩個方面使其獨一無二或者至少是高度非典型的。首先，粒子物理學由量子力學支配，當然，一切事物都受量子力學支配。然而，在粒子物理學中量子力學世界固有的不確定性會影響我們希望了解的事實的本質。就像薛定諤的貓可以同時處在活著和死去兩種狀態一樣，LHC上的一次碰撞可以同時既產生希格斯玻色子又沒有產生希格斯玻色子。事實上，信號過程(質子碰撞并產生希格斯玻色子)和背景過程(質子碰撞沒有產生希格斯玻色子)之間有量子力學的相干效應。“本次碰撞事例中是否存在希格斯玻色子”這樣的問題是無法回答的。更準確地說，對于碰撞產生的給定數量的粒子n，信號和背景的概率分布以及產生粒子的動量微分(相空間)具有如下的形式：
這里，MS和MB是產生信號和背景的量子力學振幅(S-矩陣元，是復數)，交叉項MSMB*+MBMS*代表信號和背景的相干。這個相干項可以是正的(相長干涉)也可以是負的(相消干涉)。雖然不能為單個事例分配真實的標簽，但在探測器中找到一組特定的粒子的概率取決于希格斯玻色子是否存在，找到希格斯玻色子相當于排除只有背景存在的假設(即上面方程取MS=0)。
實際上，在相空間的一些小的區域，信號的概率分布通常有一個很強的共振峰，在這樣的區域，背景通常可以忽略：MS+MB≈MS，而在其他區域，信號通?？梢院雎裕篗S+MB≈MB。因此，用一個混合模型來近似全概率分布是很常見的。如果我們對所有可能的粒子數n的概率求和并在觀測量區間對動量積分便可得到
其中，αS+αB=1。也就是說，我們將對撞數據的概率分布視為信號和背景概率分布的線性組合，找到新粒子的目標就變成了確定系數αS和αB，或者更簡潔地說，確定αS是否非零。每個測量到的事例都提供了很多粒子n和n粒子相空間{pi}中的點，這些點都是從真實的概率分布dPndata數據中提取的，相應的不確定度為dp1...dpn，只有經過多次數據提取才有希望約束αS。即使在混合模型近似中，單個事例依然沒有真實的標簽。這和在圖像數據庫中區分貓和狗(或者區分活貓和死貓)是不同的。對于貓和狗，即使分布重疊，依然會有一個正確答案(對每個事例αS=0或1)。而在粒子物理學中，當分布重疊時，一個粒子既是信號，也是背景。
粒子物理與典型的機器學習應用的第二個不同之處在于粒子物理擁有非常精確的模擬工具產生用于訓練的模擬數據。這些工具由專家們開發了四十多年，它們一起描述了長度橫跨20個數量級的粒子碰撞的演化。LHC能夠探測的最小尺度約為10^(-18)米，是質子大小的千分之一，該尺度下的物理學是由微擾量子場論描述的，粒子之間的相互作用非常弱，第一性原理的計算是精確的。希格斯玻色子的大小(康普頓波長)是10^(-17)米，只有在這樣的小尺度下，我們才有希望觀測到它。在10^(-18)米到10^(-15)米尺度范圍內，用半經典的馬爾可夫(Markov)模型將少數最初的粒子轉化為數百個夸克和膠子。在10^(-15)米到10^(-6)米尺度范圍內，夸克和膠子會轉化為一系列亞穩的亞原子粒子，隨后衰變為數百個“穩定”粒子：π介子，質子，中子，電子和光子。然后它們開始和探測器的組分發生相互作用并在材料中傳播，正如其他優秀的參數化模型所述。探測器模型在10^(-6)米到LHC探測器尺度100米(LHC上的ATLAS探測器長46米)范圍內是精確的。結果是從最小尺度的10維相空間進展到中等尺度的10^3維相空間，再到電子探測器讀取通道的10^8維相空間。這些模擬工具結合起來從這個億維相空間中給出了非常強大(但非常稀疏)的采樣。LHC記錄了大約一萬億個實際事例，同時也模擬了相當數量的事例，提供了數百PB的實際數據和模擬數據用于分析。在模擬的第一階段，直到穩定粒子水平(10^3維相空間)相對較快，在筆記本電腦上一小時可以生產一百萬個事例。在模擬的第二階段，穩定粒子通過探測器要慢得多，每個事例需要幾秒鐘甚至幾分鐘。方便的是，對于許多應用，模擬的第一階段就足夠了。
沒有人，也沒有機器能夠想象十億維的分布。所以典型的分析流程是將所有的低級輸出聚合成一個單一的復合特征，比如某個區域內粒子的總能量。理想情況下，該特征的直方圖會顯示一個共振峰或其他顯著的信號標識。我們還希望這個特征有一個簡單的物理解釋，方便我們根據物理直覺交叉檢驗信號的分布。對于希格斯玻色子，“黃金發現通道”是兩個繆子(或電子)和兩個反繆子(或反電子)，描述這一個過程的費曼圖如下：
不變質量m=√((E1+E2+E3+E4)2-(p1+p2+p3+p4)2))是發現信號的有效方法，其中Ei和pi分別為四個可觀測粒子的能量和動量。對于希格斯玻色子信號，該特征在希格斯粒子質量為125GeV處的概率密度有一個共振峰，此處的背景是很小的。不幸的是，每10^13次質子碰撞才能給出一個希格斯信號。如果我們不要求我們的信號是無背景的，也不要求像質量那樣有物理解釋的特征，那么我們可以問，什么樣的特征是在統計上區分信號和背景的最佳的方法?這樣的問題輔以大量易于生成的模擬數據，非常適合用現代機器學習的方法去研究。
監督學習
機器學習(ML)在過去幾十年來一直在粒子物理學中發揮作用，其中一個標志性的應用就是底夸克標記(b-tagging):決定一組給定的粒子是否來源于底夸克。底夸克比質子質量重四倍，且有很多區分于其他粒子的特性。比如它們會從碰撞點飛行半毫米后再發生衰變。嚴格地講，底夸克會和其他夸克結合形成亞穩的強子，比如Bd介子，然后衰變成繆子和π介子之類的粒子。雖然不能直接測量粒子飛行的距離，但是可以測量諸如衰變產物的數量，帶電粒子軌跡之間的距離，衰變產物中是否存在繆子等。我們可以積累一些高度相關的特征并把它們結合起來估計存在b夸克的概率。傳統上，可能會將各種特征輸入淺層神經網絡或增強決策樹(BDT)來決定底夸克標記(b-tagging)的概率。
底夸克標記獨特地展示了傳統上(并且非常成功地)如何將機器學習應用到粒子物理學中：首先單獨理解物理上動機良好的分類器，然后用相對簡單的多變量分析方法將它們結合起來。在過去的幾年里，這種范式已經被我喜歡稱之為現代機器學習的方法所取代?，F代的方法不再使用高級的動機良好的物理學變量，而是將原始的，最少處理的數據輸入到深度神經網絡，然后網絡可以自由地在數據中找到它認為最重要的東西。例如，對于底夸克標記，現代的機器學習方法會將所有測量到的帶電軌跡都放入到一個循環神經網絡中，然后用標記好的模擬數據去訓練網絡來區分信號事例(底夸克)和背景事例(其他夸克)。這與傳統方法形成對比，傳統方法將帶電粒子的軌跡與在磁場中的偏轉曲線聯系起來并提煉出一個碰撞參數。雖然傳統方法效果很好，例如在保留50%的底夸克的同時得到背景夸克的拒絕因子(定義為1/εBKG)為1000。但現代機器學習的方法效果更好，在保持同樣的信號效率的同時可以將背景的拒絕因子提高到2000[3]。拒絕因子提升一倍是很重要的，令人印象深刻的證據表明，現代機器學習方法將繼續存在。
第二個例子考慮減少堆積(pileup)的問題。要理解堆積，重要的是首先要理解現代粒子對撞機的工作方式。以LHC為例，為了實現每秒鐘對撞10億個質子，粒子被收集為每個包含約10^11個質子的束流。在任何給定的時間，都有3000個質子束流在LHC隧道中循環。在這些工作參數下，每次這些束流通過彼此時，都會有100個或更多的質子發生碰撞，其中可能只有一次是直接碰撞，即每個質子內的夸克以足夠的能量相互撞擊產生感興趣的東西，例如希格斯玻色子(每十億次碰撞中只有一次碰撞會產生希格斯玻色子)，當發生直接碰撞時，通常稱為初級碰撞;其他質子也在發生碰撞，稱為次級碰撞。次級碰撞中包含的質子基本都分解為彌散在探測器中相對低能量的介子噴霧，這種無趣的碎屑稱為堆積。堆積導致很難確定初級碰撞中包含的確切能量，并且幾乎污染了LHC的每一次測量。
傳統的減除堆積效應的方法有很多。其中一種流行的方法稱為面積減除(area subtraction)[8]。面積減除方法主要利用了這樣一個事實，即堆積主要是由低能粒子組成，這些粒子幾乎各向同性地分布在贗快度(贗快度用于衡量粒子與beam軸之間的距離)和方位角中。面積減除基于探測器的某些不存在來自初級碰撞產物的區域的能量沉積重新校準事例。另一種被CMS合作組廣泛使用的方法稱為帶電強子減除(charged hadron subtraction)[9]。這種方法主要利用帶電粒子會在探測器中留下軌跡，因此可以將帶電軌跡與初級碰撞或次級碰撞匹配，從而將那些來自次級碰撞的帶電軌跡從事例中去除。這兩種方法都很有效但都相當粗糙，面積減除僅適用于平均，帶電強子減除不能用于中性粒子。兩種方法均未試圖定位單個事例中所有的堆積輻射。
用于堆積減除的一種現代機器學習方法稱為PUMML[15]算法。PUMML算法基于事例圖像[10]的概念：探測器給定區域的沉積能量翻譯為一張圖片某個像素點的灰度。PUMML算法創建了三幅圖像，一幅用于描述來自初級碰撞的帶電粒子，一幅用于描述來自次級碰撞的帶電粒子，還有一幅用于描述所有中性粒子。這三幅圖像被輸入到一個卷積神經網絡(CNN)中，嘗試回歸出僅顯示來自初級碰撞的中性粒子的第四幅圖像。PUMML算法可以利用模擬數據訓練，在這些模擬數據中中性粒子的來源的真實信息是已知的，然后將訓練好的網絡應用到真實的數據中，在這些真實數據中，中性粒子的來源是未知的。該算法的概念圖如下圖所示。
PUMML算法是非常有效的，它成功地在逐個事例的基礎上從初級碰撞中重建出了粒子的完整分布，與同步的次級碰撞的數量無關。盡管它放棄了一些物理知識(比如面積減除利用的堆積輻射的各向同性)，但這種現代機器學習方法在功效上獲得了巨大收益。
我們已經看到了最初為自然語言處理開發的循環神經網絡架構如何在底夸克標記中發揮作用，我們也看到了為圖像識別開發的卷積神經網絡如何在堆積減除中發揮作用。從某種意義上說，迄今為止，監督學習在粒子物理中的應用所做的大部分工作都可以表征為一系列相似的練習：一種為完全不同的目的開發的機器學習技術適用于一種粒子物理學的應用。最近針對加速頂夸克標記問題對各種各樣的機器學習方法進行了公平的比較[7]。頂夸克是已知的最重的夸克，但它被遠超它的靜止質量的能量產生出來時，正如大型強子對撞機通常所做的那樣，它會衰變為一束準直的粒子束流，即一個噴注，很難和其他并非來自頂夸克衰變的準直粒子束流區分開來。事實上，這些背景的噴注的數量可能是頂夸克噴注的10000倍。傳統的區分頂夸克噴注和背景噴注的方法側重于有良好物理動機的區別：頂夸克有質量，頂夸克噴注通常有三個子噴注，對應于頂夸克衰變成的三個輕夸克[12]等，現代機器學習方法是把所有原始的數據都作為神經網絡的輸入，希望網絡可以起作用。
圖2展示了傳統方法(點)和現代機器學習方法(曲線)的對比。在當時，傳統的方法是粒子物理領域的一項顛覆性進步，在那之前，人們甚至對這些高能量下頂夸克的尋找不抱希望。盡管如此，我們從圖2中可以看到，現代機器學習方法明顯優于傳統的以良好物理動機為基礎的方法。更詳細地說，標記為“深度網絡(Deep Network)”的曲線[4]將粒子的動量分量作為輸入(最多600個輸入變量)，并將它們傳遞到一個四層的密接前饋神經網絡。“1D Particle CNN”網絡使用類似的輸入，但將它們傳遞到了一個一維卷積神經網絡，這種更復雜的網絡架構帶來了顯著的改進。“2D Image CNN”曲線使用了一個基于圖像的卷積神經網絡，其中輸入圖像的像素灰度正比于探測器相應區域的能量沉積[14]，如前述的堆積問題。“ResNeXt Image CNN”曲線使用了更復雜的ResNeXt卷積網絡架構。盡管性能有所提升，但代價是需要150萬個可訓練的網絡參數(與CNN的大約50萬個參數形成對比)。由于測試樣本的統計限制，ResNeXt曲線在小信號效率下并不穩定。“Tree NN”曲線使用了更物理的輸入：將粒子的四動量組織為一個二叉樹，類似于粒子連續衰變的半經典分支圖。該網絡只有34000個參數，其性能可與高度工程化的ResNeXt相媲美，這讓人們希望物理洞察力可能不會完全被拋棄。最后，標記為“Point Cloud”的曲線使用被稱為粒子網絡[20]的無序點-云(point-cloud)類型的表示作為輸入，該架構基于為計算機視覺開發的動態圖卷積神經網絡[24]，所有這些算法以及其他一些算法的更多細節可以在文章[7]中找到。這些神經網絡優于傳統分類器的性能清楚地表明，現代機器方法找到的信號和背景之間的差異要比基于物理判斷找到的差異要多得多。是否能用某種簡單的人類能夠理解的方式解釋這些差異依然是一個懸而未決的問題。我將在第四節回到這個問題。
數據驅動方法
上述所有方法都大量利用了產生模擬數據用于訓練集的能力。盡管模擬過程非常復雜，并且重現了在長度尺度橫跨20個數量級的數據，但這些模擬并不是為了重現現代機器學習方法可能正在利用的數據之間所有微妙的關聯性而設計的。事實上，在現代機器學習革命之前，并沒有強烈的動機來確保所有的關聯性都是準確的。一個普遍而隱含的信念是，盡管模擬數據中的關聯性可能和實際數據中的關聯性并不完全相同，但機器學習方法依然有效。但是，在我們確定之前，很難將不確定性分配給機器學習算法基于實際數據上的輸出。使用模擬數據的替代方法就是在真實數據上進行訓練。不幸的是，因為我們知道模擬數據的產生過程，所以用于訓練的模擬數據集有真實的標簽，而實際數據卻沒有。此外，正如引言中所提及的那樣，真實世界沒有確定的事實，在物理中，每個數據點某種程度上既是信號，也是背景。即使量子力學相干效應很小(通常如此)，數據充其量也是信號和背景的混合。因此尚不清楚如何直接用實際數據進行訓練。有兩種方法可以繼續，第一種是無視實際數據的不純性，直接在實際數據上訓練網絡。第二種方法是可以用機器學習來確定模擬數據和實際數據的吻合程度，然后嘗試改進模擬。這兩種方法在粒子物理學中都受到了一些關注，目前很多研究正在使用LHC數據進行探索。
與直接利用實際數據進行訓練的方法直接相關的一個重要的觀測是，盡管實際數據不帶標簽，但是總可以找到可以明確標記的非常干凈的事例，比如可以利用頂夸克總是成對出現(頂夸克和反頂夸克)將其限制為這樣一個事例，反頂夸克衰變到一個清晰標記的繆子和一個底夸克噴注，則該事例的其余部分提供了一個干凈的頂夸克數據點。這種標記-探測的方法早在機器學習之前就一直是實驗粒子物理學的支柱，并且是一種通過收集帶有真實標記的樣本用于校準的有效方法。
另一種更面向機器學習的方法是直接在混合樣本上進行訓練。例如，可以使用帶有一個噴注和一個Z玻色子的事例樣本和另一個帶有兩個噴注的事例樣本。在這些事例樣本中，來自夸克的噴注的比例與來自膠子的噴注的比例是不同的(Z+噴注的樣本中大約80%的噴注來自夸克，雙噴注樣本中大約40%的噴注來自夸克[11])。通過訓練神經網絡可以區分這兩個樣本。這種弱監督方法不會試圖學習區分夸克噴注和膠子噴注的特性，而只會學習它們之間的差異。無論是使用高級的物理變量分類器比如質量進行訓練[18]還是使用圖像卷積神經網絡進行訓練[16]，它們的效果都出奇地好。此類研究預示著未來可以完全取消模擬，將真實數據直接用于訓練和驗證。
還有許多為LHC應用而開發的完全無監督方法。其中一個例子就是JUNIPR框架，它試圖用機器學習[1]的方法去學習真實數據的全微分分布dnP/dp1...dpn。JUNIPR有一個圍繞二元噴注-聚類樹構建的網絡架構，與圖2中的高效的“Tree NN”方法類似。使用標記-探測方法或弱監督學習的方法，可以在獨立的不同樣本中訓練JUNIPR從而得到不同的概率函數。這樣做超越了監督學習應用中典型的無似然推理方法。例如，通過比較這些學習到的函數可以區分不同的樣本從而找到感興趣的特征?；蛘?，像JUNIPR這樣的方法可以將真實的數據用于訓練，并從學到的概率分布中提取事例進行數據擴充。因此，JUNIPR本身就像一種模擬，但是所有的元素都是學習到的而不是建立在微觀的物理模型基礎上。這種方法可以很好地與概率編程方法的發展相吻合，如[6]。
繼續改進模擬，如前所述，不同的模擬有不同的組成部分。用量子場論產生數百個粒子的短程模擬相對較快(每個事例都是微秒量級)，而模擬這些粒子通過探測器的傳播速度要慢得多(產生一個事例要幾秒鐘或幾分鐘)。事實上，LHC計算時間的大部分都用于探測器模擬。為了改善這一問題，人們可能會轉向一種無監督學習的方法，比如CaloGAN[19]。CaloGAN使用一種生成式對抗網絡來模擬探測器模擬器。在CaloGAN中，第一個網絡產生事例，第二個對抗網絡嘗試判斷這些事例來自探測器模擬還是神經網絡模擬。一旦經過訓練，神經網絡模擬器產生每個事例僅需要花費12微秒，與完整模擬相比，速度提高了五個數量級。這種方法很有吸引力，特別是對未來更高亮度的LHC運行而言，世界上所有的計算資源都不足以模擬相當數量的事例。
與其學習重現和生成類似于粒子水平的模擬(如JUNIPR)或探測器模擬(如CaloGAN)，不如只學習模擬不準確的地方。例如，可以用模擬數據和實際數據訓練一個無監督模型，然后當兩者不同時，重新加權模擬數據使其看起來像實際數據。這個想法的原理論證的實現是OmniFold[2]。OmniFold學習從模擬數據到真實數據的映射，然后可以嘗試逆映射以有效地消除探測器模擬的影響。在粒子物理學中消除探測器影響的過程稱為展開。展開一般是一個艱巨的過程，每一個觀測量都要獨立地完成展開過程。OmniFold用機器學習的方法去學習探測器如何影響每個事例，從而可以用相同的訓練好的網絡展開任何觀測量。這對于實驗分析可能是一項顛覆性的改變，將實驗分析的速度提升幾個數量級。
最后，值得一提的是將機器學習方法直接應用于實際數據的過程中廣受關注的一個問題。機器學習方法的一個潛在問題是它們非常強大，以至于學好的分類器在做截斷(細化事例選擇)時會修飾背景使它看起來像信號，如果實際上沒有信號存在，這樣的修飾可能會產生誤導，使從數據中提取信號事例變得復雜。為了解決這個問題，可以訓練網絡不學習最佳的區分，而是學習在滿足不以某種不想要的方式修飾背景的前提下的最佳區分[17]。類似地，找到兩個不相干的觀測量一起優化判別任務對于數據驅動的邊帶背景估計很有用[13]。這種將一些監督訓練用于指導數據驅動估計的混合方法是粒子物理學中的機器學習未來發展的一個非常有前景的領域。
未來展望
在現代機器學習存在的過去幾年，它已經使傳統的對撞機物理顯得過時。在過去，物理學家們，包括我自己，會致力于從第一性原理出發去理解特定粒子或特定過程的特征：為什么來自W玻色子衰變的介子束流和來自高能膠子的介子束流看起來有所不同?現在我們只是模擬這兩類事例，讓神經網絡學會區分這兩類樣本。即使是只有十行Python代碼的相對簡單的稠密網絡，都可以完全擊敗傳統方法對于信號和背景的區分。迄今為止的進展都來自于采用為其他應用精心設計的算法，比如卷積神經網絡，并將對撞機數據調整為這些算法可以處理的格式。不幸的是，這種做法會阻礙網絡本身提取任何類型的物理解釋。
本文討論的另一個機器學習適用于粒子物理學的方面就是數據驅動方法。例如，討論了一個弱監督的范式，其中分類器在一個信號和背景混合的數據樣本上進行訓練。不幸的是，沒有完全可靠的方法可以證明數據驅動方法優于當前的實驗嘗試。這與使用ResNeXt區分頂夸克形成對比，后者優于傳統的理論方法的優勢僅通過模擬就可得到驗證。雖然像OmniFold這樣的工具可能會使實驗分析的某些方面顯得過時，但它們也有很多不穩定的故障模式。例如，我們經常以極低的產生率尋找新粒子，這種信號可以通過非常罕見的過程偽造，在概率分布的遠尾端，比如一個粒子衰變和一束宇宙線撞擊同時發生，或者兩次連續的碰撞暫時使特定的傳感器過載。雖然訓練一種算法重現一個模型的大部分輸出很容易，但重現模型的每一個細微差別要困難得多。
本文討論的機器學習在粒子物理中的應用僅限于對撞機物理。事實上，機器學習正在滲透到粒子物理的方方面面，從中微子[5]到弦理論[21]。其中一個非常有前景的應用領域是在格點量子色動力學(QCD)框架下改進物質性質的非微擾計算。雖然QCD是一個完整的理論，諸如質子質量等物理量原則上都可以用它來計算，但實際上，實際執行的計算可能非常耗時，目前最新的技術也不能達到我們想要的精確度。機器學習有可能通過學到的近似或更有效地在位形空間[22]中采樣來改進格點QCD的計算方式。如果機器學習被證明具有可擴展性和有效性，那么，從和暗物質搜尋相關的形狀因子(form factor)到核物理實驗中的部分子分布函數(PDF)，此類技術可以徹底改變我們計算物質性質的能力。
我們仍處在探索機器學習和粒子物理之間接口的早期階段。近年來關注度越來越高的一個懸而未決的問題是我們如何從機器學習的輸出中得到深刻的物理解釋。目前為止的主要成就都是重現已有的物理解釋，比如可以將一個機器學習的分類器和一個物理可觀測量結合起來看看機器是否有效地整合了觀測量所包含的全部信息。這樣的練習可以解釋為什么機器學習和傳統的觀測量的效果一樣好。然而，神經網絡優于傳統方法所利用的微妙的關聯性依然沒有一個簡單的解釋。
一種更一般的人類可解釋的學習方法類似于“AI Feynman”[23]。作者用符號回歸的方式在費曼物理學講座中通過噪聲數值取樣學習了100個方程。可學習的函數域是基本函數的組合——多項式，對數，三角函數等。某種意義上說，這類程序能夠取得成功是因為人類可解釋的方程通常比較簡單。因此，我們可以刻畫一個有限的函數域從中提取。但是，公平地說，方程只是由幾個字符組成并不能使它變得簡單。狄拉克方程
僅僅由5個符號組成，但要理解它需要二十年的教育。Sin(x)是一個簡單的函數嗎?至少不適用于五年級的學生。x2是一個簡單的函數嗎?至少不適用于3歲的孩子。也許機器學習的輸出對我們來說就是無法理解的，無論我們多大年紀。我看到了三種可能的解決可解釋性問題的途徑。第一，我們可能沿著傳統路線找到解釋機器輸出的方式。也許只是我們錯過了某些東西導致傳統方法看起來很差。我毫不懷疑我們將通過這種方法學到一些東西。第二，我們所追求的解釋可能已經超過了人類的智慧。學習量子場論需要至少二十年，但要學到我們所需要的超越量子力學的東西可能要100多年甚至1000年。在這種情況下，我們必須滿足于機器理解的潛在的物理知識，即使我們永遠也無法理解。我承認有比我更好的運動員，更好的物理學家，更好的藝術家，更好的哲學家等。我不需要自己理解經濟學就可以從健全的經濟政策中收益。第三種可能性，也是我認為最有希望的可能性，是我們將建立一套新的語言和新的工具來解釋機器的輸出。我認為我們區分，簡化，推斷的能力沒有任何限制。例如，考慮ln(x)函數，我們如何理解它?我們可以繪制函數圖像，可以將它定義為一個無窮級數，可以把它視為ex的反函數，也可以將它視為1/x的積分等。當我們第一次遇到對數函數時，給它取的名字甚至都不是顯而易見的，但過一段時間我們開始看到它的普適性和優勢。當學習一個新文化，或者聽到一種新的類型的音樂，玩一款新游戲，我們會很自然地從迷失方向到開始理解，經常為新的體驗構建一套隱含的或顯式的語言。對于機器學習，其前進的道路可能和人類的其他努力類似：我們可以建立一套新的用于理解的語言，我們從中可以建立直覺，而不是試圖強迫機器進入我們傳統的視角。換句話說，我們可能需要謙遜地學習機器的語言而不是讓機器講我們的語言。無論如何，無論我們是否理解機器，它們都將繼續存在。我現在對基礎物理學取得超驗的進步的可能性比我職業生涯的任何時候都更加樂觀，即使我自己可能也無法理解最終的理論。
