Datawhale干貨

作者：平凡@知乎，諾桑比亞大學(xué)，在讀博士

(資料圖)

今天晚上，花了一點(diǎn)兒時(shí)間看了兩篇文章：

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。

大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象

在機(jī)器學(xué)習(xí)中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時(shí)，由于增加了參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)或訓(xùn)練步驟等因素，出現(xiàn)了定性上的新能力和性質(zhì)，這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。

第一篇文章舉了這個(gè)例子，每個(gè)圖都可以理解為一個(gè)任務(wù)，橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模，而縱軸是準(zhǔn)確率，可以理解為模型的性能。

我們拿圖一來(lái)看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個(gè)任務(wù)上都表現(xiàn)出類(lèi)似的特征。

意想不到的效果

第二篇文章更是有趣，我直接把推特一位博主的評(píng)論引用在這里：

作者發(fā)現(xiàn)，當(dāng)我們訓(xùn)練用網(wǎng)絡(luò)計(jì)算同余加法 a+b = ? (mod c) 時(shí)，網(wǎng)絡(luò)在某個(gè)時(shí)間突然獲得了 100% 準(zhǔn)確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)實(shí)際上“頓悟”了使用傅立葉變換來(lái)計(jì)算同余加法！這個(gè)算法可以證明是正確的， 反人類(lèi)直覺(jué)的。

從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實(shí)，且模型沒(méi)有硬錯(cuò)誤的前提下，不斷的訓(xùn)練說(shuō)不定真的能夠產(chǎn)生一些意想不到的效果。

還有就是我覺(jué)得人類(lèi)現(xiàn)在積累的知識(shí)并不少，但是系統(tǒng)的少，零星的多，如果類(lèi)似ChatGPT這樣的大模型可以拿所有的人類(lèi)已有知識(shí)進(jìn)行不斷學(xué)習(xí)的話，我覺(jué)得有很大概率會(huì)讓它涌現(xiàn)出意想不到的能力。

甚至可能把人類(lèi)的生產(chǎn)力解放提前很多。

參考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

關(guān)鍵詞：