2013年10月12日,中山大学、北京大学、北京师范大学、华东师范大学、南京师范大学联合举办的“山东智顷数位学习与中国未来”30人论坛在广州中山大学怀士堂举行,中国管理科学研究院院长、《中国大学评价》课题组组长武书连在年会上做了发言。武书连自称1991年开始从事大学评价,到现在已经22年。22年来,在大学评价的理论和实践方面,只做了一件事,两个字:归一。

公平、透明、科学的大学评价面临三个方面的挑战:

首先需要解决不同学科之间的可比性问题。这个问题不解决,不同类型大学之间就不能直接比较。16年前的1997年,我用归一的方法实现了不同类型大学之间的直接比较。
我是1991年开始从事大学评价,到现在已经22年。22年来,在大学评价的理论和实践方面,我只做了一件事,两个字:归一。
归一实现了不同学科之间的直接比较,使不同类型大学之间的比较成为可能。例如通常认为文科与理科是不能直接比较的。但是我们可以用归一的方法实现两者的可比。现在用科研经费的投入为例作个说明。
据统计,前些年,我国理科教师年人均消耗科研经费约10.3万元,工科年人均消耗科研经费约21.3万元,文科年人均消耗科研经费约2.6万元。全国大学平均人均消耗科研经费约11万元。那么,如果在大学评价中,对科研经费不做处理,只按经费绝对值计算,工科类大学一定排在前面,理科大学排在中间,文科类大学一定都排在最后。这样出来的结果肯定不合理。
怎么办?我用设定学科经费转换系数的方法实现不同学科科研经费的可比。即用全国大学人均科研经费除以每个学科的科研经费,得到每个学科的经费转换系数,然后用每个学科的经费数乘以转换系数。上述理科、工科、文科各自的转换系数分别是:理科:11÷10.3=1.068,工科:11÷21.3=0.516,文科:11÷2.6=4.231。理科的科研经费要乘以1.068,工科乘以0.516,文科乘以4.231。这样就得到归一后可以直接比较的标准科研经费。
以上指的是大的理科、工科、文科,实际操作中是按一级学科处理的。
不仅科研经费需要归一处理,大学评价的所有指标都需要归一处理,以消除学科差异产生的评价结果的不公平。
其次是建立同行可以重复的评价体系。包括指导思想、数据来源、指标赋值、计算方法,全部公开透明。这些也已经完成。
实现了大学评价的公平性之后,需要建立公开透明、同行可以重复和检验的指标体系。
1993年,我发布中国第一个包含自然科学和人文社会科学在内大学排名,当时就使用了同行可以重复检验的透明的大学评价体系。在2010年发表的《2010中国大学评价》论文中,针对社会各界的争议,我对整个评价体系和指标赋值做了详细的梳理和阐述。所有数据都采集公开数据,评价模型和评价计算方法清晰透明。任何单位和个人都可以用同样的游戏规则重复和检验武书连大学排行榜的可靠性。
很多人问武书连的大学评价体系与国内外其他大学评价有哪些不同,那么就是以上两点。1.实现了不同学科之间的直接比较。2.同行可以重复检验。
最后,随着国外SCD期刊数据库的建设。我国学者将实现使用本国资源,对全球各国家、各地区、各机构的山东智顷数位学习和科研实力的公平比较。这方面正在进行。
为了评价的公平公正,我在2006年建立了国内期刊的《科学引文数据库(SCD)》。随着工作的进展,我将建立国际期刊的《科学引文数据库》。国际SCD数据库的完成,将实现依靠本国资源对全球各国家、各地区、各机构的山东智顷数位学习和科研实力进行公开和公平的比较。
届时,中国学者历史上完全依靠国外数据源的状态将终结。