焦點短訊！大語言模型中的涌現現象是不是偽科學？
Datawhale干貨
(資料圖片)
作者：平凡@知乎，諾桑比亞大學，在讀博士
今天晚上，花了一點兒時間看了兩篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現現象。
大規模神經網絡下的涌現現象在機器學習中使用大規模神經網絡時，由于增加了參數數量、訓練數據或訓練步驟等因素，出現了定性上的新能力和性質，這些能力和性質在小規模神經網絡中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經網絡的規模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發現，當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時，網絡在某個時間突然獲得了 100% 準確率。分析發現，神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數據量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產生一些意想不到的效果。
還有就是我覺得人類現在積累的知識并不少，但是系統的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現出意想不到的能力。
甚至可能把人類的生產力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf標簽：
>更多相關文章
- 焦點短訊！大語言模型中的涌現現象是不是偽科學？
- 力量鉆石：一季度凈利潤7461萬元，同比下滑26.22％ 環球速遞
- 多方“共同締造” 漢陽社區雜草路變水泥路 全球播資訊
- 現貨白銀日內跌幅達到2.00%，報24.63美元/盎司
- 貴州茅臺：一季度凈利同比增20.59％
- 歐盟委員會通過綠色新政核心法案
- 世界熱資訊！乘聯會：4月狹義乘用車零售預計157.0萬輛，新能源預計50.0萬輛
- 王石夫婦的新生意經：海外攢高端富豪局，一頓飯標價38萬
- 天祿老板pigff豪宅為薄涼立碑拍照留念！-每日快播
- 看點：天合光能利潤大漲104%，組件出貨43.09GW
- 2023年“三支一扶”計劃選派3.4萬名高校畢業生
- 海獅試煉聯盟地圖_海獅試煉聯盟
- 杭州亞運會全場景飲用水官宣包裝
- 潤達醫療: 監事會關于第五屆監事會第三次會議相關事項的審核意見
- 中廣核電力擬向中廣核財務增資6億元
- 一個舊信封，圓了尋親夢！膠州警方助力，失散34年姐妹團圓！-環球觀熱點
- 標普：阿達尼港口在截至2024年3月31日的未來12個月內應有足夠的流動性
- 匈牙利農業部長：希望延長烏克蘭谷物進口限制到2023年底|環球觀熱點
- 歐盟委員會啟動行政流程允許歐洲公司聯合購買天然氣
- 天天速訊：Angle首談被下課， WBG新教練泡湯了
- 環球簡訊:【上海】上海海測全力保障“五一”假期水上出行安全
- 華為概念龍頭股有哪些？來收藏！（2023/4/25）
- 今日吳尊友情談疫情_吳尊當證婚人
- 世界新動態：蒸熟的橙子有什么功效_橙子蒸著吃的功效
- 川金諾：融資完成后公司的財務費用預計會下降 全球信息
- 2023五一天津恒大溫泉旅游區購票入口
- #瓶邪#歸矣十載 第六十六章 虛無
- 世界快消息！魚芯菱：江南憶
- 天天日報丨捷克央行委員KUBICEK：捷克克朗現在基本上沒有被“高估”，目前不需要立...
- 烏克蘭財政部：最新的援助資金支持將使2023年歐盟對烏克蘭的直接預算支持總額達到6...
熱門推薦
酷圖美文
最近更新
- 焦點短訊！大語言模型中的涌現現象是不是偽
- 力量鉆石：一季度凈利潤7461萬元，同比下滑
- 多方“共同締造” 漢陽社區雜草路變水泥路
- 現貨白銀日內跌幅達到2.00%，報24.63美元/盎司
- 貴州茅臺：一季度凈利同比增20.59％
- 歐盟委員會通過綠色新政核心法案
- 世界熱資訊！乘聯會：4月狹義乘用車零售預
- 王石夫婦的新生意經：海外攢高端富豪局，一
- 天祿老板pigff豪宅為薄涼立碑拍照留念！-每
- 看點：天合光能利潤大漲104%，組件出貨43.09GW
- 2023年“三支一扶”計劃選派3.4萬名高校畢
- 海獅試煉聯盟地圖_海獅試煉聯盟
- 杭州亞運會全場景飲用水官宣包裝
- 潤達醫療: 監事會關于第五屆監事會第三次
- 中廣核電力擬向中廣核財務增資6億元
- 一個舊信封，圓了尋親夢！膠州警方助力，失
- 標普：阿達尼港口在截至2024年3月31日的未
- 匈牙利農業部長：希望延長烏克蘭谷物進口限
- 歐盟委員會啟動行政流程允許歐洲公司聯合購
- 天天速訊：Angle首談被下課， WBG新教練泡湯了
- 環球簡訊:【上?！可虾：y全力保障“五一
- 華為概念龍頭股有哪些？來收藏?。?023/4/25）
- 今日吳尊友情談疫情_吳尊當證婚人
- 世界新動態：蒸熟的橙子有什么功效_橙子蒸
- 川金諾：融資完成后公司的財務費用預計會下
- 2023五一天津恒大溫泉旅游區購票入口
- #瓶邪#歸矣十載 第六十六章 虛無
- 世界快消息！魚芯菱：江南憶
- 天天日報丨捷克央行委員KUBICEK：捷克克朗
- 烏克蘭財政部：最新的援助資金支持將使2023