首页 >热点 > > 正文

热头条丨大语言模型中的涌现现象是不是伪科学?

程序员客栈 2023-06-11 16:33:46

Datawhale干货

作者:平凡@知乎,诺桑比亚大学,在读博士

今天晚上,花了一点儿时间看了两篇文章:


(资料图片)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior,即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。

我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:

作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。

从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

上一篇:旱碱麦成“名片”迎来丰收 盐碱地特色农业开出“增收花” 每日看点 下一篇:最后一页
x
推荐阅读

热头条丨大语言模型中的涌现现象是不是伪科学?

2023-06-11

旱碱麦成“名片”迎来丰收 盐碱地特色农业开出“增收花” 每日看点

2023-06-11

前沿资讯!郑裕美、李善均恐怖悬疑新电影《梦游》,坎城首映后获外媒大赞

2023-06-11

【天天新视野】小学托管班工作流程_家庭托管班开办流程

2023-06-11

俄媒:俄国防部公布乌军装甲车辆被摧毁视频,引用二战时期经典语录 全球热闻

2023-06-11

每日速递:中国廉洁文化史简介(中国廉政)

2023-06-11

“中国文化产业竞争力百强区指数”首次发布 深圳南山区综合发展指数排名第一_环球简讯

2023-06-11

mjstyle牌子属于什么档次(mjstyle官网)_环球视点

2023-06-11

武汉到清江画廊旅游攻略_清江画廊旅游攻略-全球热点

2023-06-11

网络受限或无法连接是什么意思_网络受限制或无连接怎么办|每日观察

2023-06-11

低密度脂蛋白偏高的原因及危害有哪些(低密度脂蛋白偏高的原因及危害)

2023-06-11

黄瓜汁怎么榨好喝儿童(黄瓜汁怎么榨好喝) 世界新视野

2023-06-11

全球速看:2023世界动力电池大会储能发展高峰论坛举行 宜宾被授予“中国储能产业新高地”

2023-06-11

一栋楼与一幢楼的区别怎么念(一幢与一栋的区别) 全球快讯

2023-06-11

环球微速讯:高中化学教材对比_高中化学教材

2023-06-11

特斯拉首款MPV曝光!“撞脸”理想L8/竞争腾势D9-环球今亮点

2023-06-11

马斯克:推特将向认证创作者支付在评论中投放广告的收益

2023-06-11

转债退市后怎么办?深市明确了!首日涨跌幅不受限制,还有"退"标识,退市整理期15个交易日

2023-06-11

17届亚运会是哪一年_17届亚运会-今日热讯

2023-06-11

【全球播资讯】历时100天,180余项活动陆续开展,长春消夏艺术节盛大启幕

2023-06-11

小规模纳税人连续12个月超过500万(连续12个月超过500万不是按年计)-今日热讯

2023-06-11

今日看点:节约用水口诀4句(节约用水口诀)

2023-06-11

吃喝玩乐购!快来一站式畅享非遗购 探访非遗味 共赴非遗游!_观焦点

2023-06-11

【天天时快讯】3系换什么避震好(3系用什么避震?)

2023-06-11

海口打卡地+1,白沙门文创市集今晚开业|全球观察

2023-06-11

“最美妈妈”身份曝光,直言:希望出人头地!

2023-06-11

瑞恩·雷诺兹要拍冒险动作片《Mayday》 《龙与地下城》导演操刀 今日快讯

2023-06-11

【共同缔造安全江夏⑬】创意海报:筑牢安全防线,抓好渔业生产-全球即时

2023-06-11

“校内1斤3毛,校外6毛”四川一中学不让学生带书离校售卖?官方回应 世界头条

2023-06-11

世界聚焦:白鹅潭万象城奠基开工 广州三大地标综合体两个已官宣

2023-06-11

辽宁石油化工大学就业网网址是什么_辽宁石油化工大学就业网网址

2023-06-11

热议:问道手游娃娃体力每天自动恢复么(问道娃娃体力怎么恢复)

2023-06-11

全球观察:材料的硬度是什么意思(材料的硬度和脆性是指什么)

2023-06-11

小洗衣机什么牌子最好(儿童洗衣机什么牌子好)

2023-06-11

世界今日报丨梦组词起名_梦组词

2023-06-11

自动面膜机操作规程_zzcc面膜机

2023-06-11

剑网3点卡区和月卡区有什么区别(剑网3点卡时间怎么算的) 全球热文

2023-06-11

张建坤深入高考点巡查护考护安情况

2023-06-11

足字旁那个字怎么写(足字旁怎么打)_天天微头条

2023-06-11

韩国政府加大投资,推动人工智能项目发展|今头条

2023-06-11

武艺 女朋友_武艺女朋友

2023-06-11

江苏考生最爱报哪个专业?去哪里上学?大数据分析报告来了!

2023-06-11

在铁路12306买卧铺票也可以在线选铺位了!手把手教你怎么操作_焦点速递

2023-06-11

高中生与大学生记者,曝光男子为找回80回后曹雪芹文笔,蜗居8平米23年

2023-06-11

天天速看:页尾注释怎么加(注释怎么加)

2023-06-10

当前要闻:成都第31届世界大学生夏季运动会火炬传递启动仪式

2023-06-10

玉字旁最吉利的字男孩名字(玉字旁)_每日快播

2023-06-10

农民画家陈波那:展家乡美 绘民族情

2023-06-10

世界热点!文心千帆大模型平台全国首个区域私有化部署落地!受益上市公司梳理

2023-06-10

“五彩湘茶”九大品牌进京推介,与合作茶企达成产销对接

2023-06-10

竞速大模型:一手创新策源,一手落地应用

2023-06-10

团伙设下“首付购车”骗局,黄石两家4S店掉进陷阱_焦点观察

2023-06-10

22岁女孩拿快递失联已第9天 她是家里顶梁柱!此前地毯式搜寻无果!

2023-06-10

《暗黑破坏神4》差评如潮 跌到5.1分了

2023-06-10

一季度600余家在华外资企业对多项营商环境指标满意度超80%

2023-06-10

游戏陪玩行业乱象调查:不少未成年接单,线下陪玩安全难保障

2023-06-10

聚合双酸铝铁商品报价动态(2023-06-10)-观热点

2023-06-10

蒙脱石散饭前吃还是饭后吃好一些(蒙脱石散饭前吃还是饭后吃) 天天快看

2023-06-10

广汇汽车与工行江西省分行签署战略合作协议

2023-06-10

天天快看点丨老河口:蓝莓成熟季 等你来采撷

2023-06-10

环球快看点丨红酒最佳伴侣是指什么?

2023-06-10

鸡心可以和鸡腿一起炖吗?

2023-06-10

荒狂电光夏尔美使用什么徽章(荒狂稻光之夏尔米)-天天快看点

2023-06-10

环球看热讯:“文根”何以“深种”?看文博会如何寻找岭南新坐标

2023-06-10

今日讯!微信朋友圈广告关了怎么还有广告(微信朋友圈广告)

2023-06-10

今年端午假期或成近五年最火端午!部分机票价格比高铁便宜

2023-06-10

国宝画重点丨上天入海,到处“出差”!这件宝贝可不得了-环球通讯

2023-06-10

每日热门:找到了!经历坠机事故,哥伦比亚4名儿童雨林中历险40天后获救

2023-06-10

国内物价运行总体平稳——解读5月份CPI和PPI数据

2023-06-10

酒后试车去河滩 出了危险责谁担 当前讯息

2023-06-10

1亿签字费,皇马中锋现,提前结束夏窗,安帅受考验,巴萨或卫冕

2023-06-10

【天天速看料】《匹诺曹的谎言》公开demo上线steam!参与活动赢官方游戏周边

2023-06-10

我不喜欢但是对我很好的男人能嫁吗_嫁给一个对我好但是我不喜欢的人会怎么样_当前信息

2023-06-10

上合示范区五年间到发中欧班列2765列 年均增长率约35%-环球观察

2023-06-10

下单成年陪玩来的却是未成年人?陪玩行业乱象调查

2023-06-10

医保重大疾病险包括哪些病?一年保费多少钱?

2023-06-10

北京门头沟举办“文化和自然遗产日”非遗宣传展示活动

2023-06-10

冰麻面料起皱吗_冰麻面料缩水吗 热讯

2023-06-10

卢刚任连云港市委副书记-环球观热点

2023-06-10

焦点日报:“想生生不出”?男性精子质量普遍下降

2023-06-10

世界微头条丨剪映怎么添加贴纸 剪映怎么添加贴纸素材

2023-06-10

世界看点:比萨斜塔在哪个国家_斜塔是哪个国家的

2023-06-10

每日讯息!微信聊天记录截屏长图方法(微信聊天记录截屏长图方法华为手机)

2023-06-10

小满未满 | 钱红莉

2023-06-10

股票行情快报:豫能控股(001896)6月9日主力资金净卖出633.99万元 环球要闻

2023-06-10

王尧等-Geophysics:基于神经网络的地震谱分解和多频联合AVO反演方法|全球新要闻

2023-06-09

蜀南庭苑社区:趣味科普伴成长

2023-06-09

麦收季遇到连续阴雨天 河南新乡采取互助形式保障小麦晾晒-全球报道

2023-06-09

云闪付使用教程_云闪付怎么用 云闪付使用方法介绍-全球滚动

2023-06-09

全球观焦点:专访致欧科技:家具领域差异化优势不明显 要向系列化场景化拓展

2023-06-09

流星眉和柳叶眉_流星眉-天天资讯

2023-06-09

【环球聚看点】金融促消费不只是“降价”

2023-06-09

印尼将于6月10日实施铝土矿出口禁令

2023-06-09

洛克王国格兰酋长升龙咆哮(洛克王国格兰酋长)-全球报资讯

2023-06-09

商水魏集镇:党群联动战“三夏” 凝心聚力守粮仓_世界独家

2023-06-09

天天速讯:北部湾港最新公告:定增申请获得获得深交所审核中心通过

2023-06-09

上帝之鞭成吉思汗(上帝之鞭指的是什么) 天天观察

2023-06-09

天天热消息:《博德之门3》夏季游戏节新预告 8月底正式发售

2023-06-09

董明珠称格力不会放弃手机业务:消费者反馈很好!-每日短讯

2023-06-09

广西壮族自治区柳州市2023-06-06 22:10发布雷电黄色预警

2023-06-09