貝葉斯學(xué)習(xí)

利用貝葉斯定理（Bayes' theorem）結(jié)合先驗概率與數(shù)據(jù)，獲得模型參數(shù)所呈現(xiàn)的概率分布的方法。人工智能的分支。

貝葉斯學(xué)習(xí)名稱來源于數(shù)學(xué)家T.貝葉斯。T.貝葉斯在1963年證明了一個關(guān)于貝葉斯定理的特例，后經(jīng)多位統(tǒng)計學(xué)家的共同努力，貝葉斯學(xué)習(xí)在20世紀(jì)50年代之后逐步建立起來，成為機(jī)器學(xué)習(xí)領(lǐng)域的一個重要組成部分。此后，貝葉斯學(xué)習(xí)在后驗推理、參數(shù)估計、模型檢測、隱概率變量模型等諸多方面有廣泛的應(yīng)用。利用貝葉斯定理進(jìn)行近似求解，為機(jī)器學(xué)習(xí)算法的設(shè)計提供了一種有效途徑。

假定要估計的模型參數(shù)是服從一定分布的隨機(jī)變量，貝葉斯學(xué)習(xí)首先根據(jù)經(jīng)驗給出待估參數(shù)的先驗分布；然后根據(jù)這些先驗信息，并與實際觀測的樣本信息相結(jié)合，利用貝葉斯定理求出待估參數(shù)的后驗分布；再參考損失函數(shù)，得出后驗分布的一些特征值，并把它們作為待估參數(shù)的估計度量來選取最優(yōu)解。在所有的求解步驟中，貝葉斯方法使用概率的加和規(guī)則以及乘法規(guī)則對預(yù)測分布進(jìn)行估計。因此，貝葉斯學(xué)習(xí)有較好的數(shù)據(jù)適應(yīng)性和可擴(kuò)展性，可用于機(jī)器學(xué)習(xí)的諸多問題：從單變量的分類與回歸到多變量的結(jié)構(gòu)化輸出預(yù)測，從有監(jiān)督學(xué)習(xí)到無監(jiān)督及半監(jiān)督學(xué)習(xí)等。

傳統(tǒng)貝葉斯方法囿于其推理速度較慢，因此在大數(shù)據(jù)背景下很難適應(yīng)新的模型的要求。因此，如何進(jìn)行大規(guī)模貝葉斯學(xué)習(xí)是學(xué)術(shù)界的重要挑戰(zhàn)之一。貝葉斯方法在大數(shù)據(jù)貝葉斯學(xué)習(xí)（big Bayesian learning,bigBayes）方面取得了顯著的理論與算法進(jìn)展，包括隨機(jī)梯度及在線學(xué)習(xí)方法（對大規(guī)模數(shù)據(jù)集的多次隨機(jī)采樣在較短時間內(nèi)得到較好結(jié)果）、分布式推理算法（部署分布式系統(tǒng)上的貝葉斯學(xué)習(xí)）、貝葉斯深度學(xué)習(xí)框架（貝葉斯神經(jīng)網(wǎng)絡(luò)的所有參數(shù)都是分布，網(wǎng)絡(luò)的預(yù)測輸出也是分布）等。 隨著人工智能、機(jī)器學(xué)習(xí)技術(shù)研究的不斷深入，貝葉斯學(xué)習(xí)現(xiàn)已成為相關(guān)領(lǐng)域的一個熱點研究課題。除貝葉斯方法領(lǐng)域的專業(yè)性期刊或會議如貝葉斯分析（Bayesian Analysis）、應(yīng)用貝葉斯統(tǒng)計國際會議（International Conference on Applied Bayesian Statistics）之外，貝葉斯學(xué)習(xí)方面的工作也廣泛出現(xiàn)在人工智能、機(jī)器學(xué)習(xí)領(lǐng)域的一流學(xué)術(shù)期刊或會議中。例如，2017年至2021年，人工智能與機(jī)器學(xué)習(xí)領(lǐng)域頂級會議國際人工智能聯(lián)合大會（IJCAI）、國際先進(jìn)人工智能協(xié)會會議（AAAI）、國際機(jī)器學(xué)習(xí)會議（ICML）、國際計算機(jī)視覺與模式識別會議（CVPR），以及神經(jīng)信息處理系統(tǒng)進(jìn)展會議（NeurIPS）上發(fā)表的貝葉斯學(xué)習(xí)論文數(shù)逾50篇。