JMLR官网的首页,二十多年来长得都一样。

感觉就像是一个大学生学了几节网页设计课随便设计出来的一样。

有人在论坛上开玩笑说,JMLR的网页设计水平和它的学术水平,构成了机器学习领域最著名的反差。

不过今天,他们的网站首页发生了变化。

最先发现异常的是一位北美在读的机器学习博士。

他原本只是习惯性刷一遍JMLR的最新收录列表,想蹲几篇顶刊新作充实自己的文献综述,刷新页面的瞬间,他下意识以为自己网卡出bug了。

首页最醒目的位置,破天荒地挂出了一篇全新的长文,直接挤掉了原本霸占置顶位的几篇老牌名校团队的重磅综述。

要知道,JMLR向来佛系至极,从来都是按照投稿收录时间顺序静默更新,极少刻意置顶单篇论文,更别说把一篇新作直接抬到首页。

他扫了一眼作者栏,想看看是哪位大佬的新作,结果看到了一个简短的名字。

HaoQi。

漆昊?!

他看到名字后,再扫了一眼论文的论文,很快就反应了过来。

漆昊居然把那篇优化吉洪诺夫的理论发到了JMLR!

他把这惊人的消息和JMLR链接顺手发到了工作群聊。

消息发到群里的那一刻,原本安安静静的博士生工作群,立刻有人回应了。

“我的上帝啊,这是真的?”

“谢特,JMLR得到了漆的论文?”

“看来JMLR的影响因子要涨了!”

有人本来要跟女朋友视频,看到消息后,直接跟女朋友说了:“对不起宝贝我有更重要的东西要看。”然后忽视了女朋友的询问,顺着链接打开了JMLR的官网。

还有个哥们儿本来困得眼皮打架,看完这条消息之后,立刻跑去灌了半瓶红牛,坐到了电脑面前。

很快访问JMLR的官网的人数越来越多了。

论文加载出来的瞬间,大多数人都没说话,他们都认真地看着漆昊的论文。

此时查看漆吴论文的每一个人,几乎都被吉洪诺夫正则化这套东西折磨过。

这玩意儿的老理论,说白了就是机器学习里对付过拟合的一件祖传法宝,年头比在座所有人加起来的博士学龄都长。

从苏联数学家安德烈·吉洪诺夫上世纪四五十年代开始琢磨不适定问题算起,这套正则化的思想在数学和工程界摸爬滚打了大半个世纪,到了机器学习时代摇身一变,成了岭回归、权重衰减这些东西的理论祖宗。

谁做深度学习不用它?

谁调参不往损失函数里加个L2惩罚项?

可问题就在于大家都在用,但没几个人真正说得清它为什么好使,好使到什么边界为止。

尤其是在小样本,高维稀疏,噪声扰动这三座大山面前,老理论就跟中年男人的发际线一样,说崩就崩,说退就退,退得你毫无还手之力。

你按着教科书上的公式推,推到一半发现前提假设根本不成立,要想找篇综述参考,翻遍全网发现所有人都含糊其辞,最难的部分大家都有意去忽视它。

而现在,漆昊这篇长文,把理论解释得非常清晰。

北美博士因为最先看到漆昊的完整版论文,所以开始给群里没来得及细看的人做导读:“我大概翻了一遍逻辑结构,你们感受一下,漆先补齐了整套理论的前置公理,就是把老理论那些默认成立的东西,全部拎出来一条条论

证,该证明的证明,该加约束的加约束。”

“然后针对小样本场景,他引入了一组新的边界约束条件,直接把泛化误差的上界确定好了,高维稀疏那块,他重新定义了正则化项和数据结构之间的耦合关系,推导过程非常严谨,我盯着看了半天愣是没找到一个跳步。”

“噪声扰动就更狠了,他把噪声当成一个动态扰动项塞进整个框架里,证明了理论在带噪环境下依然稳健,还给出了稳健的量化边界。”

“最厉害的是什么你们知道吗,他还配了几十组对比实验,全场景覆盖,从数据集到真实数据,一个不落,而且他没像别人那样只放几张漂亮的曲线图糊弄事,人家连把思路写的清清楚楚,你想复现随时复现。”

北美博士的一段导读发出去,大家对于漆吴这篇完整论文的理解又上了一个新的台阶。

“我把噪声那一节看完了,他处理扰动的方式我第一反应是不认可的,他把噪声建成一个依赖于当前估计的动态项,这东西按理说会反馈放大,越滚越大,但是他在引理5.3里加了一个约束了,让整个系统落进一个收缩映射。”

“不动点。”有人回复。

“对,他绕回不动点了,所以带噪环境下才稳,这一步我要是自己想,这辈子估计都想不到往这儿走。”

“我做实验的,理论那些我看得慢,但是我把他的代码拉下来跑了一组,复现了,误差曲线跟论文图7几乎重叠,差异非常小。”

“他连种子都对齐了?”

“对齐了,每组实验的随机种子、环境版本,依赖全列出来了,我跑之前以为总得调半天,结果一次过。”

“说实话,以前再没人做正则化,绕是开我那篇理论。”

“各位,记住漆理论吧!”