焦点资讯:大语言模型中的涌现现象是不是伪科学?
来源:程序员客栈 时间:2023-06-18 06:48:02
Datawhale干货
作者:平凡@知乎,诺桑比亚大学,在读博士
今天晚上,花了一点儿时间看了两篇文章:
(资料图片仅供参考)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签:
相关推荐:
最新新闻:
- 天天最资讯丨骁龙旗舰iQOO 11S将至:鸡血版骁龙8 Gen2+200W组合史无前例
- 焦点资讯:大语言模型中的涌现现象是不是伪科学?
- 原作10分都不过 动画3星 以下是给那些因为动漫差迁怒于原作的高端人士看的
- 世界热资讯!折叠屏神机3999元起!moto razr 40今日预售
- 世界热文:奇瑞小蚂蚁电动车价格及图片_奇瑞小蚂蚁电动车价格换电池多少钱
- 当前速递!全新一代BJ40曝光 轴距超坦克300
- 世界速递!海南省气象台发布海上雷雨大风黄色预警【Ⅲ级/较重】【2023-06-18】
- 英特尔发布具有12量子比特Tunnel Falls芯片
- 国产GPU沐曦MXC500成功点亮 助力AI训练及通用计算
- 观天下!高可靠性供电费是什么意思_高可靠性供电费是什么
- 人种袋的厉害之处(人种袋)
- 【环球播资讯】东莞迎来最大“首店”项目,华南首家京东MALL亮相东城
- 当前关注:日系车全线衰落:两个核心优势失守
- 日月股份是做什么的
- 甜蜜的惩罚动漫在线观看完整版_甜蜜的惩罚 当前滚动
- 骁龙8Gen2+2K屏,iQOO 11跌价1080元,性价比超小米
- 如何做好学生的心理健康教育
- 王者荣耀电玩系列皮肤有哪些[多图]
- 可虎网什么意思_可虎网 环球热资讯
- 内衣怎么选尺寸大小(内衣怎么选择尺寸)
- 抓住夏日的快乐,来宝山奔赴青春之约!-环球简讯
- 迈腾十万公里一共需要保养费用(迈腾十万公里做哪些保养?)_每日短讯
- 邯郸馆陶:举办第四届彭艾产业发展大会|环球新动态
- 《有何可惧,何需畏惧》|天天热讯
- 四川一女大学生,执意在“过道”摆满花草,“结局”让人大跌眼镜_全球简讯
- 官宣!NBA重磅罚单,勇士首笔签约诞生,湖人3换2交易,欧文签约|世界快报
- “拜拜就拜拜,下一个更乖”?未必!要是这样分了,就后悔死了|全球聚焦
- 每日热议!少年包青天狸猫换太子是第几集(少年包青天狸猫换太子简介)
- 全国农村危房改造.个人查询_农村危房改造系统登录 每日热点
- 最新消息:淄博博山炸肉_博山炸肉
- 【典型案例】入职登记表能否视同劳动合同?_世界热闻
- 阿吽的离家出走-今日热搜
- 【当前独家】肯德基冰块比马桶水还脏 肯德基冰块
- 荣耀80信号不好解决方法介绍
- 环球消息!踏步走先迈左脚还是右脚_踏步走
- 天天新资讯:12.24是什么星座啊_12.24是什么星座女生
- 翼虎变速箱油多久换一次比较好(翼虎变速箱油多久换一次?)|天天新要闻
- 他是龙2电影完整版_他是龙2_世界最资讯
- 当前热门:神乐勇治(关于神乐勇治介绍)
- 湘雅附二医院预约挂号平台_湘雅附二医院预约挂号
- 【稳增长 促发展 强信心】湖南首艘新能源纯电动集散两用船开建
- 国产咖啡机强势崛起,他让“中国制造”闪耀世界舞台_天天看点
- 有什么不可_对于有什么不可简单介绍
- 身边榜样|许东海:情系山村铸辉煌
- 重点建设项目响田大桥拓宽改造工程完成第八跨箱梁架设
- 韩国一百多部影片涉嫌票房造假,警方扣押搜查相关电影公司
- 即时焦点:国家级甲醇经济示范区建设进程加速 山西晋中甲醇重卡集中签约
- 闽台青年探讨乡建乡创合作 新要闻
- 花豹圣者高友乾-每日动态
- 《赛博朋克2077》资料片新截图:神秘黑人特工登场|世界短讯
财经
热门排行
新闻放送
- html compiler入门_compiler|天天精选
- 还珠格格第一部百度云在线观看_还珠格格第一部百度云
- 朱一龙演过的电影系列_朱一龙演过的电影
- 最新资讯:ps怎么覆盖原来的字不伤图案_ps怎么覆盖原有文字
- 理想汽车发布城市NOA:不依赖高精地图 驾驶技术接近人类司机 天天时讯
- p5游戏中心怎么玩游戏_p5游戏_新动态
- 微头条丨上下开火怎么念_上开下火是什么字
- 【MD】适合入门的灵摆卡组——威风妖怪
- 当前视讯!山洪预警!暴雨预警!高速管制!大到暴雨今夜起扑袭合肥!
- 守卫剑阁吃装备怎么吃_守卫剑阁吃装备
- 大话西游2表情包大图 微信_大话西游2表情包微信手机版下载|每日短讯
- 7700名女生受益,湖南省青基会倾情助学 今日热文
- Xbox力求做出最好的《星空》:打造11分的伟大游戏
- 速看:Meta首席AI科学家杨立昆:ChatGPT还没有狗聪明
- 环球快看:冒充后勤部长诈骗6万元被抓获 清水公安破获一起冒充领导诈骗案
- 江西省上饶市2023-06-13 06:06发布雷电黄色预警
- qq游戏大厅双开 QQ游戏大厅多开_世界播资讯
- 环球快消息!曾经的“加价王”,如今月销不过万?雷克萨斯跌落神坛?
- 全球简讯:广西横州: 通信基站搁置5年终竣工
- 微资讯!短视频 | 宁夏西吉:偏城乡高山冷凉蔬菜新画卷
- 有人喜欢冷冰冰:林·拉得纳短篇小说选(对于有人喜欢冷冰冰:林·拉得纳短篇小说选简单介绍)
- 入梅后首场大暴雨来袭 全省237座水库超汛限水位 世界热推荐
- 探索视觉巅峰!HKC发布新品电竞显示器,引领显示技术革新!
- 今日要闻!京东战略携手森海塞尔消费电子产品业务,共推重磅新品
- 2023年广东中山五险一金缴费标准基数调整吗?6月广东中山社保缴费标准_每日速讯