受限玻耳茲曼機(jī)

RBM是玻耳茲曼機(jī)（Boltzmann machine，BM）的一種特殊拓?fù)浣Y(jié)構(gòu)。RBM是BM的一種變體，其限定模型為二分圖。模型中包含對(duì)應(yīng)輸入?yún)?shù)的可見(jiàn)單元和對(duì)應(yīng)訓(xùn)練結(jié)果的隱藏單元，兩組單元中的每一組的一對(duì)節(jié)點(diǎn)具有對(duì)稱連接。相比之下，無(wú)限制BM可能包含隱藏單元間的連接，這種限定使得相比一般BM更高效的訓(xùn)練算法成為可能，特別是基于梯度的對(duì)比分歧（contrastive divergence）算法。

RBM由一個(gè)可見(jiàn)神經(jīng)元層和一個(gè)隱藏神經(jīng)元層組成。由于隱層神經(jīng)元之間沒(méi)有相互連接且隱層神經(jīng)元獨(dú)立于給定的訓(xùn)練樣本，這使得直接計(jì)算依賴數(shù)據(jù)的期望值變得容易。可見(jiàn)層神經(jīng)元之間也沒(méi)有相互連接。通過(guò)從訓(xùn)練樣本得到的隱層神經(jīng)元狀態(tài)上執(zhí)行馬爾可夫鏈（Markov chain，MC）抽樣過(guò)程，來(lái)估計(jì)獨(dú)立于數(shù)據(jù)的期望值，并行交替更新所有可見(jiàn)層神經(jīng)元和隱層神經(jīng)元的值。

BM及其模型已經(jīng)成功應(yīng)用于協(xié)同濾波、分類、降維、圖像檢索、信息檢索、語(yǔ)言處理、自動(dòng)語(yǔ)音識(shí)別、時(shí)間序列建模、文檔分類、非線性嵌入學(xué)習(xí)、暫態(tài)數(shù)據(jù)模型學(xué)習(xí)和信號(hào)與信息處理等任務(wù)。RBM在降維、分類、協(xié)同過(guò)濾、特征學(xué)習(xí)和主題建模中都有應(yīng)用。根據(jù)任務(wù)的不同，可以以監(jiān)督學(xué)習(xí)或無(wú)監(jiān)督學(xué)習(xí)的方法進(jìn)行訓(xùn)練。RBM也可被用于深度學(xué)習(xí)網(wǎng)絡(luò)，可使用多個(gè)RBM堆疊并可選地使用梯度下降法和反向傳播算法進(jìn)行調(diào)優(yōu)，便可得到深層信任網(wǎng)絡(luò)。