camel AI科技评论
Our culture is embedded with rankings: of movies, of college athletic teams, of consumer products, of universities, and of graduate programs. Rankings are a guilty pleasure—we claim they don’t influence us, and we know their foibles, yet we can’t help looking to see where we stand.
AI科技评论按：在上月末《美国新闻和全球报道》（US News & World Report）公布的2018年全球大学最新排名上，清华大学计算机专业排名全球第一，华中科大和浙江大学也分别进入前十。而一些世界著名的高校，例如MIT、斯坦福、哈佛分别只排到第4、第6和第7名；更有甚之的是，卡内基·梅隆大学仅排名第22名。
根据AI科技评论的了解，排名出来后，国内很多知名教授的看法都类似“我就笑笑……”，只是把它当个笑话。
但美国学界的态度却不同。美东时间2017年11月11日，代表美国200多家计算机研究机构与学会的美国计算研究会(Computing Research Association, CRA)发表公开声明，抗议US News发表的全球大学计算机科学排名。
CRA认为USN&WR的这份排名非常的荒谬，在计算机科学领域工作的研究人员没有人会认真看待这个排名，但排名本身却有可能会严重地误导其他很多人。
CRA指出USN&WR排名中有两个大问题：
第一、排名的文献数据来自the Web of Science，而忽略了会议出版物在CS领域的重要影响；
第二、USN&WR所采用的“学术声誉”因素是不合理的。
他们在USN&WR的全球大学排名榜出来之后，曾试图联系他们的负责人，要求他们撤销全球大学计算机科学排名，但是USN&WR并没有给予回复。
公开信全文内容翻译如下
致计算研究社区：
《美国新闻和全球报道》（USN&WR）最近的全球大学计算机科学排名对USN&WR读者及世界各地的计算机科学单位造成了恶劣影响。上周，我们诚意地请求他们撤销这个排名，但很不幸，USN&WR拒绝了这个请求。
在这个排名中，所使用的方法是基于Web of Science收集的期刊出版物（而忽略了会议出版物）来排名。这种方法并不能准确地反映CS社区的研究是如何传播的，以及研究人员如何得到认可或影响的。此外，出版物清单并没有公布，即使有些人质疑基于文献计量排名的合理性，但却无法争议USN&WR排名的缺陷。从不正确的数据来推断，而数据又不透明，所以这就是一个荒谬的排名。
USN&WR排名中另外一项重要因素是“学术声誉”。但在一个体积巨大且大部分没有联系的社区里考虑学术声誉，可以说是非常有问题的。另外考虑到这个群体中人们语言不同，价值观念不同，资源水平不同，目标也不同，期望世界各地的研究单位之间有一个接近的准确“学术声誉”评估是不合理的。
任何具有CS研究经历的人都会看到他们的排名简直是无稽之谈，而忽略它们。但是其他人可能会被严重误导。
2016年CRA曾在Snowbird举办了一个两年一次的研讨会，当时主导USN&WR排名工作的Rober Morse也曾参会。在所讨论的诸多项目中，我们对排名中使用文献计量及涉及的其他各种问题进行了认真的讨论。特别是，我们指出了使用不包括会议索引的数据源时会出现的问题，会议索引相比发表的论文有更大的影响和更高的引用率。在11月1日（全球排名出来后），我们联系了Morse并指出其所使用方法的问题，要求他们撤销这个基于有缺陷数据源进行的排名，但他没有回应。
我们敦促社区忽视USN&WR的这份计算机科学排名。
此致敬礼
Susan Davidson, Chair CRA Board of Directors, Weiss Professor, University of Pennsylvania
Andrew P. Bernat, CRA Executive Director
Carla Brodley, Dean, Northeastern University
Laura Haas, Dean, University of Massachusetts Amherst
H.V. Jagadish, Bernard A. Galler Collegiate Professor, University of Michigan
Kathryn S. McKinley, Google
Mario Nascimento, Chair and Professor, University of Alberta
Fred Schneider, Chair and Samuel B. Eckert Professor, Cornell University
另附：USN&WR 2018全球大学排名中使用的为大学打分的12项指标及其权重
1、全球学术声誉，12.5%
2、地区学术声誉，12.5%
3、论文发表，10%
4、出版书籍，2.5%
5、举办会议，2.5%
6、标准论文引用影响因子，10%
7、论文引用数，7.5%
8、“被引用最多10%出版物”中被引用率，12.5%
9、出版物占“被引用最多10%出版物”的比率，10%
10、国际合作，10%
11、代表领域在“所有出版物中被引用最多前1%论文”中被引用论文数，5%
12、出版物占“所有出版物中被引用最多前1%论文”比率，5%
其中全球（地区）学术声誉的结果则是来自Clarivate Analytics对在领域内专家意见的学术声誉调查。其他几项指标对应的文献数据来自the Web of Science 2011年到2015年的论文数据，不过引用率则使用的是截止到今年5月30日的数据。这样做的目的是为了保证统计的稳定性和精确性。
那么，CS领域合理的排名应该是什么呢？可以留言分享你的观点。 |
发表于 2017-11-12 18:30:25
收藏
分享
发表于 2017-11-12 18:33:07