【新智元导读】就在刚刚,NUS研究者呼吁:NeurIPS、ICML、CVPR三大顶会,正在反噬整个AI学术圈!平均每个研究者每年被逼狂发4.5篇论文,已经身心俱疲。总之,顶会模型已经濒临崩溃,是时候踩刹车了!
或许你也注意到了这个现象——AI和机器学习的繁荣,已造成了一场少有人谈论的危机。
随着NeurIPS、ICML和CVPR等会议的投稿数量激增,同行评审流程正在崩溃。
为此,新加坡国立的研究者们专门写了一篇论文揭示这一现象。他们高呼:当前的AI顶会模式存在着结构性危机,已经不可持续!
1.学术产出泡沫化:过去十年间,学者人均年发文量激增逾一倍,现已突破4.5篇;
3.心理负荷亮红灯:71%的线上社群讨论呈现不积极的情绪,35%直接涉及心理健康问题;
4.承载能力濒临极限:NeurIPS 2024等顶会参会人数已开始超越场馆容量。
它不仅是传播前沿成果的场所,更是促成合作、构建社区、塑造未来的重要平台。
NeurIPS、ICML、ICLR这些会议的成长,曾经成功完成了科学使命、知识传播、社区建设和社会契约等使命。
一方面,投稿数量激增导致评审流程崩溃、质量下滑;另一方面,数千人长途跋涉造成巨大的碳排放,而高昂的参会成本也把一研究者挡在门外。
下面,就让我们来逐一分析,代表着昔日荣光的AI顶会,是怎样沦落到如今「人人喊打」的地步。
研究者们对CS不相同的领域过去十年的出版趋势做了分析,利用「Effective Faculties」这一新颖的指标,再结合CSRankings的数据,他们发现了以下现象。
尤其是在2023-2024年,由于LLM的爆炸式进展,AI研究者的年均发文数已超越了4.5篇,并且还有继续飙升的趋势。
要是照这个趋势发展下去,到2030年,AI年发表论文将超过6.5万篇,是2024年的三倍。
投稿量的爆炸式增长不仅挤压了会议资源,也使会议从原本聚焦的知识中心演变为高密度的论文堆积场,追求的是数量而非深度。
比如片面追求顶会论文数量的行文,让评审体系已经不堪重负。如今的同行评审质量已经严重下降,专业性与公平性都受到了质疑。
造假和学术不端的行为也更加泛滥,比如许多人会选择用LLM生成论文,还有Prompt注入等行为。
甚至,很多研究者的研究生命周期被强行打断,因为许多成果在正式发表时,早已过时了。
这种高压文化所导致的后果就是,研究者普遍追求的是顶会的「可接受性」,而非科学价值。
而年轻的研究者,尤其会在求职压力下陷入倦怠、焦虑,难以专注在长期发展上。
研究者们还对Reddit上405条跟顶会相关的热帖做了情绪分析,发现结果令人十分担忧。
34.6%的帖子中,明确 涉及到了「焦虑」「崩溃」「失眠」等心理健康关键词。
许多评论都这样提到:「同行评审缺乏反馈」,「压力山大但必须发文章」,「没被接收就从另一方面代表着一无所有」。
在这样一种体系中,所有人都在受折磨。作者疲于应付反复投稿,评审人疲于处理海量稿件,没办法提供深度反馈。
而极高的拒稿率,市场引发一种赛博暴力(比如公开差评),这就直接引发了社区信任的瓦解。
相关多个方面数据显示,NeurIPS的拒稿数增长近乎指数级(R²=0.937),而接收数量的增长却有限。
从投稿到发表就长达6-7个月,而AI领域的技术每7个月就更新一轮,这在某种程度上预示着——论文刚发出来,SOTA就已更新换代,导致很多成果已经过时。
接下来,研究者们以NeurIPS 2024举办地温哥华为例,精确估算出了这次会议的碳足迹。
比如,单是来自全球的3836位论文一作的往返航班,就超过了8,254吨的二氧化碳当量。
与此同时,ICML和ICLR等其他大会也出现了类似趋势:差旅排放占据总碳足迹的大头,并且在这五年间,碳排放量就已经增长了4倍以上。
因此,目前的顶会导致的结果就是,在环保上不可持续;高昂的签证+机票+住宿费会导致极高的门槛,尤其对来自发展中国家的研究者;而会更难参会,也导致公平性被打破。
比如NeurIPS 2024在温哥华会展中心举行,该场地的最大容量为1.8 万人。
然而会议注册人数几乎满额,逼得主办方不得不启动抽签机制,来限制非作者入场。
因此,学生、独立研究者、边缘学者可能被「挡在门外」,自然交流、跨领域合作机会被压缩,这样就使得学术社群的包容性和开放性也严重受限。
NUS的研究者们,由此提出了一种更可持续的方案——「社区联邦会议」(CFC)模型。
通过拆分传统会议的三大功能——评审/发表、成果传播、社区建设,CFC构建一个去中心化、弹性强、由社区主导的新架构。
平台由多个学术组织(如 AAAI、ACM)联合运营,全年开放,滚动评审。
这样就避免了集中轰炸式的截稿日,大大缓解了评审压力们,并且还会鼓励更长周期、更深层次的研究。
同时,这种机制也非常有利于NLP工具辅助的审稿系统建设(如自动推荐评审人、检测利益冲突、审稿异常标记)。
这样的优势就在于,能够大大减少跨洲旅行,明显降低碳排放;签证、住宿、长途的成本也大大降低。
并且,这种机制还更适合深入互动,改善心理健康与社群连接,也可以更灵活地覆盖全球不同文化语境与研究习惯。
举个例子,亚洲、欧洲、非洲、美洲就可以各自设立联邦会场,所有内容在同一平台发布,但交流却是本地化的。
其中,所有区域会场由一个全球数字主线(Global Digital Layer)打通。设有全球主旨演讲 / 颁奖环节,可从某一会场直播至所有会场。
所有论文都将拥有数字海报厅(permanent poster halls),供大家讨论。研究者也能够最终靠Slack/Discord等主题聊天室,加入跨地区的学术群组。
这样做的优势就在于,消除了「主会vs分会」的等级结构,让全球参与者都能同步共享核心内容,线上交流不再被「边缘化」。
而CFC就是一场真正的科研系统重构,重新定义了什么是科学传播,什么是学术共同体。