首页 科技 正文

社交网络和arXiv存有,让双盲审查名存实亡|Reddit强烈反响

白交 只想说 凹非寺量子位 报导 | 微信公众号 QbitAI

双盲评审体制确实双盲吗?

近期,Reddit上面有那样一个探讨:社交媒体与arXiv是不是毁坏了顶会双盲的体制?

13个钟头,关注度超出300…

诱因是一位科学研究工作人员共享了他的亲身经历:

NeurIPS 2020会议递交截至以后,他在Twitter上见到有些人共享她们的arXiv科研成果,并获得了非常好的意见反馈。

关键是,这些人一般全是Twitter上的大V,大多数都来源于Google、Facebook等知名组织的科学研究工作人员。

一旦传出,便会一呼百应,遭受大伙儿的关注和分享。

例如,如同这名Facebook AI研究者。

乃至也有一些组织立即结局发推——DeepMind的新科学研究,自监管实体模型BYOL更新ImageNet纪录。

而这时,这种交流会的评审工作中都还没彻底完毕。那样做不但会给双盲评审工作人员极大工作压力,还毁坏了顶会双盲评审体制。

都还没根据同行业评审就放arXiv和社交媒体上,那双盲简直在搞笑幽默?

知名度or接受,哪一个更关键?

先无论双盲体制是不是确实双盲。

针对一个科学研究精英团队来讲,每一年顶会发榜,论文会被录取?录取2~3篇?全是她们关心的难题。

终究这代表着大家这一精英团队在行业有多大的知名度,还有益于以后的科学研究开展。

如同这名来源于中小型调研室的组员说的那般,两年前在ML和CV行业的认同度基本上为0,而被这种交流会接受之后,本来绝不起眼睛的试验室也就拥有一定的知名度。

那样看来,知名度与论文接受实际上并不矛盾。

可是针对一些精英团队来讲,却有一个谁在前放前的难题,尤其是针对这些早已在行业内有一定知名度的人。

被大量人认同、探讨、应用好像就比被一个会议接受来的更关键。

如同这名网民提及的那般:

现实状况是,社交媒体上宣传策划对一篇论文的取得成功,远比是不是被会议接受更关键。直到会议真实发榜的情况下,绝大多数的论文早已落伍不会受到关心了。它仅仅以便给你的个人简历更为漂亮。

可是针对一般的精英团队来讲,是不是要提早公布在arXiv,乃至发布在社交媒体上呢?

有些人做为一个监视者的视角,觉得自身从arXiv掌握到许多棒的idea,当一篇论文仍在审批的情况下,就早已读已过,而最后是不是会被会议录取,与大家无关。

那样看来,arXiv的确可以出示了更加普遍的沟通交流机遇。

可是林子大了,哪些的论文也就拥有,arXiv论文良莠不齐也不是一天两天的事儿了。

那麼针对一些没那么大知名度的精英团队来讲,担忧自身的idea被别人盗取,也估算不能收到那么多的关心,也就不容易提早在arXiv上发布,更不要说在Twitter上发布了。

同行业评审也一直备受异议

而落回会议的同行业评审制,实际上也一直备受异议。最重要的缘故,就取决于它的不透明性。

怎样审?有几个审?这种评审人的真实身份是啥?

只是由于少数人乃至将会仅有3-4人的评审见解,就能分辨这一论文的优劣?

GAN的发明者,现为iPhoneAI责任人Ian Goodfellow 就曾怒怼同行业评审体制,觉得是这一规章制度造成 了现如今AI会议论文降低。在其中,「评审人品质良莠不齐」是关键缘故,夸张的论文被选定,真实的好论文反倒被淹没。

那麼如何解决这个问题呢?

既然这样,arXiv和社交媒体会一直存有,见刊也会再次,那麼该如何解决这个问题呢?

先前,就曾经历一个会议处理这个问题,KDD 、ACL就曾规定,在论文結果公布以前不允许发布在arXiv上。

在这儿,有一些网民出示了自身的提议:

arXiv能够 为已经审查的论文加上密名方式,公布的另外不容易表露其真实身份。改动会议标准,撤销能够 根据有效方法(例如,互联网技术检索)鉴别创作者的论文的资质。而假如在见刊中途,早已了解了论文作者是谁,该怎样做呢?

有那样一个提议:

发布一篇有关论文的Reddit贴子,或是问一问小伙伴们对论文的arxiv版本号有哪些观点。假如你早已在Twitter上知道论文创作者,那麼为什么不更进一步,运用Twitter找寻论文的缺点—这反倒还会继续相抵了解创作者很知名的成见。

你觉得呢?有哪些更强的提议吗?热烈欢迎与大家共享~

参照连接:https://www.reddit.com/r/MachineLearning/comments/hbzd5o/d_on_the_public_advertising_of_neurips/

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.68nw.com/kj/815.html