40.1K
7773
歸納偏好
任何一個有效的機器學(xué)習(xí)算法必有其歸納偏好，否則它將被假設(shè)空間中看似在訓(xùn)練集上等效的假設(shè)所迷惑，而無法產(chǎn)生確定的學(xué)習(xí)結(jié)果。歸納偏好可看作學(xué)習(xí)算法自身在一個可能很龐大的假設(shè)空間中對假設(shè)進行選擇的啟發(fā)或價值觀。奧卡姆剃刀原則是一種用來引導(dǎo)算法確立正確偏好的常用原則。它的基本含義是如果有多個假設(shè)與觀察一致，則選擇最簡單的那個。奧卡姆剃刀原則并非唯一可行的原則。歸納偏好對應(yīng)了學(xué)習(xí)算法本身所做出的關(guān)于“什么樣的模型更好”的假設(shè)，在具體的現(xiàn)實問題中，這個假設(shè)是否成立，即算法的歸納偏好是否與問題本身匹配，大多數(shù)時候直接決定了算法能否取得好的性能。
