Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
(资料图)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签：
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
“地方财政必须要重组了！”清华大学中国经济思想与实践研究院院长李稻葵今天在清华五道口首席经济学家论坛
半月谈新媒体|作者何欣荣国内旅游出游合计2 74亿人次，同比增长70 83%，恢复至2019年同期的119 09%；实现国
韩国与美国发表《华盛顿宣言》，甚至强力批判中国。台湾的政治大学外交系兼任教授刘德海接受中评社访问表示
2023年安徽社保要交多少钱一个月呢安徽个人社保缴费标准一览，社保缴费是每个人都不可避免面对的问题。尽管
直播吧5月6日讯凯尔特人今日客场114-102力克76人，总比分2-1领先。赛后，凯尔特人球星塔图姆称赞了队友霍福
1、在21世纪，许多人在家里安装了中央空调。在日常生活中，我们有必要清洗中央空调的循环水，因为这样可以
近日，青岛市即墨区总工会党组书记刘玉峰为荣获“青岛市即墨区劳模工匠人才创新工作室”（以下简称“工作室
光伏产业是一条长坡厚雪的赛道，短期内受俄乌冲突刺激，能源危机愈演愈烈，市场需求井喷；长期来看，在"碳
每日甘肃网讯（新甘肃·每日甘肃网记者万及敏通讯员陈楚）近日，由嘉峪关市文化和旅游局主办，嘉峪关文旅集
01昊海生科股东拟减持公司不超3 78%股份
“1+X”是上海市崇明区近年来为世界级生态岛建设量身定制的法治保障体系，“1+X”是上海市崇明区近年来为世
大家好,我是小城,官方伯恩利的转会禁令正式解除西汉姆为赖斯标价1亿镑试图劝退有意的英超球队很多人还不知
集微网消息，据台媒经济日报报道，苹果今年计划发表4款iPhone，首次出现鸿海、和硕及立讯精密三厂共同组装
IPO上会被暂缓审议3个月后，上海聚威新材料股份有限公司（简称“聚威新材”）科创板IPO之路，以保荐机构第
拳头公司创始人叫什么，拳头公司创始人这个很多人还不知道,现在让我们一起来看看吧！1、RiotGames是一家美
同学群名字好听点的，同学群名称大全搞笑这个很多人还不知道,现在让我们一起来看看吧！1、史猪，蜗居，猪的
●苑广阔农历二三月，又是枇杷大量上市的时候。枇杷是一种颜值很高的水果。在水果店几十种五颜六色的水果当
1、南通有两个火车站，一个在平潮，是南通西站。2、还有一个是南通站，在永兴大道和北大街交汇处。本文分享
截至2023年5月5日收盘，洪涛股份(002325)报收于1 82元，上涨0 0%，换手率0 99%，成交量14 14万手，成交额2573 2万元。
日前，甘肃省统计局公布一季度经济数据，根据地区生产总值统一核算结果，一季度全省地区生产总值2670 7亿元
第133届广交会5日下午在广州闭幕。记者巡馆本届广交会第一期至第三期发现，中国外贸出口“新三样”(电动载
微信公众号标题错了怎么办，微信公众号标题错了没有办法修改，因为微信不支持修改功能，但是可以修改20个错
5月4日，A股节后第一个交易日，著名白马股格力电器(行情000651,诊股)（000651 SH）股价早盘跌停后最终收盘
据界面新闻援引路透社报道，消息人士称，摩根大通首席执行官杰米 戴蒙本月将在四年内首次访问中国大陆，此
韩国统计厅4日发布的数据显示，汉堡包价格4月同比上涨17 1%，涨幅创近20年来最高纪录。由于原材料成本上升
最近有网友分享了AI生成《暗黑破坏神2》80年代电影画风角色。如果现实中暴雪真出资拍《暗黑2》电影，那么暗
河南广电·大象新闻记者龚雪通讯员罗松“您好，我是弋阳路金桂酒店项目业主，为加快工期进度，能否预约在假
5月5日至11日，2023智慧城市与智能建造高端论坛、博览会暨中国建筑学会智能建造学术委员会年会等系列活动将
北京时间5月5日，据《独立报》记者MiguelDelaney报道，阿尔特塔将在今年夏天拥有超过1 5亿英镑的转会预算，
Copyright © 2015-2022 世界服装网版权所有 备案号：琼ICP备2022009675号-1 联系邮箱：435 227 67@qq.com
