玛娅文学

手机浏览器扫描二维码访问

第14章 万事俱备(第2页)

更深的网络特别难以训练,因此原本直到14年,谷歌和牛津才分别把这个深度推进到22层和19层。

而Resnet的思想,彻底从根本上解决了网络变深就没法顺利训练的问题。它让5o,1oo,15o,甚至1ooo层网络的训练成为可能。

“从去年的8,到今年的1oo+层,甚至1ooo层也可以训练。在2o13年的视角来看,这一剂猛药应该够劲了。”

不仅是深度上取得了开创性的突破,Resnet的性能也同样惊人。它是第一个Top-5错误率低于人类能力的结构,单模型达到了4.6%左右。

如果综合几个不同方式训练的Resnet,平均他们的输出再去预测的话,其Top-5错误率甚至低至3.7%。

“其实在ImageneT上做得太准了反而是一件怪事。”

考虑到后世的研究中,该数据集中的标签其实有不小的比例是错误的,越贴近百分之百的准确率反而越有一些荒诞的感觉。

Resnet的Res指residua1,正经点说是残差,说得明白一些是一种短路或者是跳跃链接。

再说的浅显一点,假设原本的操作为f(x),Resnet就是把计算过程从f(x)改为f(x)+x。

这也是孟繁岐最早与付院长讨论的内容之一。

这种不带任何参数的支路链接,直接把操作前的内容加到操作后的内容上,是深度网络突然能够在上千层的深度下收敛的秘密所在。

在此之后的几乎所有aI文章,都很难绕得开这个思路。kaiming本人单就这一篇文章,就在六七年的时间内收获了十五六万的文章引用。

不得不说这是一个天文数字。要知道即便是naturenetce三大世界级顶刊常客,著名华国美国双料科学院士抽出一个来,至今为止所有文章的总引用数量加在一起五万多都算是多的了。

当然了,单以论文被引用的次数来评价文章的水平和作者的水平是有失偏颇的。

很多基本学科曲高和寡,看得人少写得人也少。引用自然就上不去。

但就aI这个实用性实验性比较强的学科来说,内部去对比的话,引用的多少含金量还是相当之高的。

大家只会用代码投票,有价值的东西会一直迭代下去。有利于自己模型在任务上性能提升的技术,则会被一直引用下去。

学术界一直有这样的说法,搞理论的和搞实验的两边相互看不起。这倒也不是无中生有。

kaiming凭借几篇代表作奠定自己历史地位后,就总有个别人喜欢说什么“Resnet的思想早就有人提过了”

,“几十年前的东西不算什么东西”

,“这篇文章也就是流量大罢了,和流量明星是一样的”

酸味都要溢出屏幕了。

孟繁岐不是没读过一些理论类的文章,但他个人觉得时代的aI,ta1kischeap,shomethecode。你说几十年前就有的东西,怎么不写一个Resnet突破人类水准呢?

Resnet的核心代码难写吗?不难的。

基于a1ex的框架,只需几个小时的时间,他就可以基本复现出Resnet论文中的所有结构。

弱小和无知不是生存的障碍,傲慢才是。

本章完

热门小说推荐
有情人终成眷属

有情人终成眷属

结婚一年,我在夫家任劳任怨,却终究逃不过被背叛谋杀的命运,是顾北辰救了我。第一次遇见顾北辰,他眼泪的冰冷狠戾以及身上的热度让我终身难忘。第二次遇见顾北辰,他低低浅笑,天之骄子般的成就令我心生敬佩。第三次遇见顾北辰,他静默而立,犹如停尸房外的一道炫目阳光,驱散我心中所有的恐惧顾北辰对我来说就像是一个迷,我看不透他,他却能一眼看透我内心的彷徨以及我尴尬悲惨的处境...

和学姐恋爱真难

和学姐恋爱真难

大魔王的日常攻略恋爱战斗苏晓的错误攻略以及某个阴谋的针对,触了Badend结局,时间回溯之后,攻略重新开始。为了避免Badend结局的重新出现,必须建立起一个完美的乐园。作为大魔王,这一次步步为营,针对每一个学姐的定位做出正确的应对方式。与北冥学姐进行恋爱头脑战当南学姐的master成为澹台学姐可萌可凶的小奶狗和楚学姐以青梅竹马的关系为基础和学姐恋爱真难!但是,这是大魔王仅剩的追求了!乐文小说网m1een3com各位书友要是觉得和学姐恋爱真难还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦!...

哑娘有空间,荒年不愁

哑娘有空间,荒年不愁

身份尊贵嫡女遭人陷害,流落边陲之地,失去记忆,成了农门妻。苏南熹自带空间而来,利用空间带领一家人团结一致家致富,熬过荒年,躲过灾年,把夫君一路培养到京城,却得知夫君另有身份,自己身份也渐渐揭开。...

都重生了,谁还养渣夫外室私生子

都重生了,谁还养渣夫外室私生子

简介关于都重生了,谁还养渣夫外室私生子重生复仇虐渣嫡庶爽文成婚当日,夫君离家剿匪,她和一只大公鸡拜了堂。五年后,夫君死讯传来。从此她听从长辈的意见,过继一子,悉心教导,送他锦绣前程,送他平步青云。直到她卧病在床,她那假死的夫君拥着身侧娇妻美眷,笑着告诉他,养了二十多年的养子竟是他们的私生子,她被活活气死。一朝重生,看着跪在棺材旁假哭的老夫人和渣夫外室,顾清雪冷冷一笑。把四面窗户都打开,可别让世子臭了!天气潮湿,这棺材上的钉子可要多钉上些!她亲手将那棺材上密密麻麻的钉了一圈长钉子,这才满意极了。棺材里,假死的萧霆煜要被吓哭了,顾清雪你这个毒妇!棺材外,老夫人和姜舒柔吓得魂飞魄散。重生后她致力于团灭侯府,努力搞钱的路上,没想到没留神竟然被一朵烂桃花黏上了。更没有想到这朵桃花竟然是当今皇上的亲叔叔。顾清雪我没兴趣和无数女人共侍一夫。6明潇冷笑一声娘子你太高看我了,人家不行的。顾清雪大喜过望真的,那太好了,成交。新婚之夜,顾清雪扶着腰,口中骂骂咧咧。6明潇,你骗人!...

谢见微阮颜

谢见微阮颜

谢见微阮颜谢见微阮颜阮颜谢见微阮颜谢见微...

别人开大我开挂,气哭娱乐圈

别人开大我开挂,气哭娱乐圈

简介关于别人开大我开挂,气哭娱乐圈沈梨噶了,噶在了问鼎影后的高光时刻。再睁开眼,已经穿越到平行世界,还有个狗系统非要和她贴贴。系统还在为回不了地球而烦恼吗?完成搬运任务,重返地球,改写结局,收获美好人生!!沈梨好好好,这么整我是吧?不久后歌坛神曲频出,血腥屠榜,众人跪求神秘歌王揭面!沈梨不好意思,是我。综艺圈被彻底颠覆,各大电视台全网寻找综艺教主!沈梨没错,又是我。。影视圈迎来大洗牌,大神编剧疯批影后金牌导演沈梨是我是我还是我。。。娱乐圈又是被气哭的一天呢!沈梨听我狡辩,我真不想开挂当沈梨终于任务满级,重开时空之门某冰山霸总,九金影帝牵起沈梨的手哭唧唧老婆,这地球是非回不可吗?...

每日热搜小说推荐