“哼,他们在这篇论文的公式里,为了解决权重矩阵不稳定的问题,引入了L2正则化,然后呢?他们在参考文献里写了什么?他们写的是Hoerl & Kennard 1970提出的L2岭回归!”

“该死的,1970年?!吉洪诺夫导师在1963年的《苏联科学院汇报》上发表那篇奠定正则化基础的论文时,这两个美国佬还在泥地里玩泥巴呢!”

“在数学上,岭回归和吉洪诺夫正则化在特定条件下是完全等价的,这一点任何一个合格的大学生都该知道,但他们宁愿去引用一个1970年的文献,也不愿意提到1963年吉洪诺夫的名字。”

“怎么,承认现代深度学习的数学基石有一部分来自我们,会让他们的股票下跌吗?”

尤里叹了口气。

“雅戈拉,我们没办法去和他们对抗,斯坦福这篇论文一出,那些科技媒体已经开始疯狂吹捧了,说什么深度学习的黎明。资本已经涌进去了。”

“黎明?我看是瞎子摸黑!”

雅戈拉冷哼一声:“吉洪诺夫正则化可不是那么好用的,在高维非线性空间里,盲目套用线性的惩罚项,会导致边界发生严重问题,他们这篇论文在五十二层就停下了,说明他们自己也发现了这个问题,只是在刻意隐瞒。”

虽然心里不舒服,但雅戈拉毕竟是一位顶尖的数学家。

他不会一直抱怨,在学术界,最有力的反击永远是数学公式和可重复的实验。

“帮我把伊万和德米特里给我叫进来!”雅戈拉转头对尤里说道。

不一会儿,两个穿着套头卫衣的莫大研究生走进了办公室。

“教授,您找我们?”

“你们两个,今天不用去跑那个该死的数据清洗脚本了。”

雅戈拉指着屏幕上的斯坦福论文:“把这篇论文打印出来,把他们的核心代码和数学推导给我复现一遍,特别注意他们提到的边界收敛证明,用吉洪诺夫算子去检验它。”

伊万和德米特里对视了一眼,一下兴奋了起来。

拆美国同行的台?

他们可太喜欢了!

人嘛,搞科研可能没有那么积极,但如果是干坏事,那就嘿嘿。

一周后,美国加利福尼亚州。

帕罗奥图,斯坦福大学深度学习研究中心。

清晨的阳光透过高大明亮的落地玻璃窗,洒在了一间实验室内。

“恭喜你,克里斯多夫教授,论文挂上去才一周,我们的下载量和引用申请就已经创下了今年实验室的新高。”

副教授布兰登手里拿着一个平板电脑,满脸兴奋:“谷歌AI部门的几个老朋友已经在推特上转发了我们的工作,称这是今年最令人兴奋的理论突破之一。”

“硅谷的几个投资人都打来电话,询问我们有没有基于这项技术成立新公司的计划。”

克里斯多夫听着这些,满意极了,他笑着说:“这很正常,布兰登。”

“那些工业界的巨头们手里的算力太多,脑子太少,他们只知道用成百上千个GPU去强行堆砌参数,遇到退化问题就束手无策。”

“而我们就是他们的救命稻草。”

“您说得对,不过,我们为什么不等同行评审结束,直接发刊,而是急着挂在arxiv上呢?”一个博士生有些不解地问。

克里斯多夫看了他一眼,说:“孩子,这就是学术上的技巧。”

布兰登在旁边笑着解释道,“现在的机器学习领域迭代太快了,如果我们老老实实等六个月的审稿期,指不定哪天有团队就会误打误撞做出类似的东西,然后抢在我们前面发布。”

“只要我们的预印本挂上arxiv,全世界就必须承认这个成果属于我们。”

“更重要的是,这篇论文能帮我们拖延竞争对手至少三个月的时间。”

“谷歌在看到这篇论文后,第一反应绝对是暂停他们现有的部分实验,调集人手来复现我们的论文,等他们花了几百万美元的算力,终于搞清楚我们的边界条件和局限性时,我们早就把第二阶段,也就是基于这个理论的改进

架构给做出来了,专利也早就申请完毕了。”

“简单一点来讲,这么做之后,我们将永远在深度领域占有重要的位置。”

博士生恍然大悟。

他原本以为搞科研自己做自己的就行了,没想到,这里面有如此多的门道。

难怪说,找到一个好的导师,可以少走五年弯路,如今看来,他跟对人了。

就在他们讨论着今晚去哪家高档米其林餐厅庆祝时,一个戴着黑框眼镜的博士生神色匆忙地推开门走了进来。

“教授,arxiv页面下面,刚刚冒出了几条关于论文的comment。”

克里斯多夫喝了一口咖啡,没当回事:“哦?这不是很正常吗?我们的论文这么有话题度,那些被戳中痛点或者想蹭热度的同行,当然会迫不及待地跳出来。”

“让我想想,是不是又有一些大学的研究员,在下面留言说让我们引用他们的论文?”

实验室里爆发出一阵哄笑。

在预印本平台上,这种comment简直不要太多,由于arxiv的的留言机制是公开的,很多渴望引用量的二三流学者,会想方设法在爆款论文下面留言,试图把自己那些无人问津的陈年旧作和热点强行绑定。

“确实没一条是那样的,希腊的一个副教授,希望你们能把我的图神经网络论文参考文献。”

“但还没几条比较棘手,比如莫斯科国立小学这边,没一位叫涂家拉的教授,在arxiv的讨论区发了一篇很长的comment。”

“漆昊拉?”

斯多夫少夫挑了挑眉:“这个守着苏联时代数学遗产是放的老头子?我说了什么?”

“我提了一些问题。”

“我指出,你们的模型超过七十七层,扭曲的边界会破好梯度上降的收敛唯一性,训练误差会断崖式反弹,权重矩阵出现系统性伪秩进化,模型完全失效,你们的收敛证明,仅在浅层没限区间成立,刻意隐瞒了深层失效的拓

扑缺陷。”

斯多夫少夫热哼了一声。

刻意隐瞒又如何?

我们完全没时间去修改那个问题。

是过问题是,那老家伙的话,一定会引起同行的注意。

斯坦福像是知道斯多夫少夫在担心什么,我安慰说:“教授,是用担心,现在小部分comment都是认可你们的,漆昊拉的comment是用放在心下。”

“毕竟,漆昊拉名气现在可有没您的小,影响是了你们的论文发表计划。”

斯多夫少夫听到前,心外那才没下上来。

“还没别的吗?”

“教授,小部分评论确实都在夸奖你们的工作,或者提出一些是痛是痒的格式问题,但没一条comment,非常一般。’