您所在的位置：評價網 > 大學排行榜 > 評價動態(tài) >

特別報道｜邱均平：新時代我國科研評價體系重構中必須處理好八大關系

來源：圖情會發(fā)布時間：2021-02-18 09:45
更多

本文轉載自《中國圖書館學報》2021年第一期：邱均平,張裕晨,周子番.新時代我國科研評價體系重構中必須處理好八大關系[J].中國圖書館學報,2021,47(01):47-60.

摘要：沒有科學的評價就沒有科學的管理。目前,我國科研評價體系一定程度上存在著"SCI至上化"、量化考核泛化、同行評審形式化、評價導向行政化、學術研究功利化等評價失衡問題。在破除"SCI至上"等科研評價頑疾背景下,科研評價體系重構是適應新時代我國科研管理和科技創(chuàng)新發(fā)展的迫切需要。重構科研評價體系必須正確處理好八大辯證關系:管理評價與學術評價的關系、定量評價與定性評價的關系、工具性與目的性的關系、分類評價與統(tǒng)一評價的關系、評價理論與評價實踐的關系、數(shù)量與質量的關系、論文評價與評價的關系、元評價與評價的關系。這些思考有助于更加理性、辯證地認識科研評價存在的問題,從而更全面地把握科研評價的科學內涵、要素、原則、作用,以便更好地指導科研評價實踐活動。建議運用評價學理論指導科研評價實踐,區(qū)分管理評價與學術評價,堅持分類導向、綜合導向、質量導向,圍繞評價目的合理使用論文指標以開展科學評價,重構科學合理的、適應新時代要求的科研評價體系。圖3。表2。參考文獻31。

0 引言

有人類活動的地方總是伴隨著評價活動的發(fā)生,科研評價對科研活動具有判斷、預測、選擇、導向、診斷、激勵和合理配置資源等作用[1]。自美國1920年開始科研評價以來,許多國家也陸續(xù)開展了系統(tǒng)的科研評價工作,并建立了較為完整的科研評價體系[2]。其他西方國家大多效仿美國模式,成立專門評估機構。伴隨著競爭性科技項目的設立,我國科研評價體制于1985年正式啟動,并得到迅速發(fā)展。從1993年開始,中央及相關部委陸續(xù)發(fā)布了20余項涉及科研評價的文件(見表1),有針對性地提出了科研評價的原則、目標和要求,對促進科技資源優(yōu)化配置、提高科技創(chuàng)新能力、提升科技管理水平、保障我國科研事業(yè)健康發(fā)展起到了積極作用[3]。

與此同時,我國科研評價體系也暴露出一些弊端,甚至產生評價失衡的系列問題,引起了科技界廣泛關注?？蒲性u價失衡問題概括起來主要有四個方面:一是“SCI至上化”,評價時誤用SCI、SSCI的論文指標,過分看重論文的數(shù)量、期刊影響因子,而忽視了論文本身的質量;二是量化考核泛化,定量評價強調以各種數(shù)量化、絕對化的數(shù)字指標為核心,替代學術評價機制,導致學術研究急功近利;三是同行評審形式化,程序失范、人情關系、形式主義、本位主義等因素造成同行評審流于形式;四是評價導向行政化,以行政為主導的科研評價與學術評價產生錯位,導致評價方法、評價指標的不合理使用。“四化”相疊最終導致了學術浮躁和學術研究功利化。國內有很多學者對科研評價問題產生的原因和對策進行了研究,比較有代表性的觀點認為:現(xiàn)行的科研評價體系問題主要集中于評價的不公平、不公正、不公開、不準確四個方面[4];政府在科技管理中的缺位和越位,以及科學共同體由于自身缺陷而未能有效發(fā)揮作用是造成當前科研評價問題的根本原因[5,6];改革不合理的科研體制是終止學術之亂和評價之亂的根本途徑[7]。綜合來看,現(xiàn)行科研評價體系的失衡有主客觀兩方面的原因,具體來看則存在著若干對關系的失衡,包括管理評價與學術評價的關系、定量評價與定性評價的關系、工具性與目的性的關系、分類評價與統(tǒng)一評價的關系、評價理論與評價實踐的關系、數(shù)量與質量的關系、論文評價與期刊評價的關系、元評價與評價的關系等的“失衡”,這些矛盾最終導致了科研評價“失衡”和評價功能“異化”。重構科研評價體系必須正確處理好這些辯證關系。

表1 科研評價相關文件

表面上看,科研評價只是科技體制中的一個局部問題,但實際上對科技創(chuàng)新和科技發(fā)展具有全局性的影響。因為科研評價不僅是一個社會科學價值觀念的直接體現(xiàn),而且是科技管理的重要手段,評價的過程和結果直接影響科技資源的分配,評價的標準更是引導科學家科研行為的指揮棒。科研評價問題既是學術界討論和研究的熱點問題,也是科技管理部門一直想解決而未能徹底解決的關鍵問題。習近平總書記指出“人才評價制度不合理,唯論文、唯職稱、唯學歷的現(xiàn)象仍然嚴重”,強調“要改革科研評價制度,建立以科技創(chuàng)新質量、貢獻、績效為導向的分類評價體系”。2020年2月,科技部、教育部連續(xù)出臺《關于破除科研評價中“唯論文”不良導向的若干措施(試行)》(以下簡稱2020年《若干措施》),《關于規(guī)范高等學校SCI論文相關指標使用樹立正確評價導向的若干意見》(以下簡稱2020年《意見》)兩個文件,直指科研評價中“唯論文”“SCI至上”的不良導向,在科技界引起了熱烈討論。

學術界對破除現(xiàn)有評價頑疾達成了廣泛共識,但對如何構建一個科學合理、符合新時代要求的科研評價體系,仍需要不斷探索?？蒲性u價是一個復雜的科學系統(tǒng),在破除“SCI至上”等科研評價頑疾的背景下,需要從科學評價的視角,建立起適合新時代我國科技發(fā)展體制的評價體系。本文從新時代特征和要求出發(fā),運用評價學原理,對重構我國科研評價體系必須處理好的若干關系進行探討,并給出了相應對策,希望能引發(fā)同行的全面思考,共同推動我國科研評價事業(yè)的健康發(fā)展。

1 正確處理管理評價與學術評價的關系,倡導區(qū)別對待原則

管理評價與學術評價是評價領域兩個不同類別的評價,需要區(qū)別對待。學術評價是以科研活動或科研成果為對象的評價,包括對論文、項目、獎勵等的評審[8]。管理評價屬于工作評價,是以學術評價結果為指標的評價,包括管理部門以一定的價值取向對人員、機構進行的績效評價。兩者在評價主體、評價對象、評價標準、價值取向上都有顯著不同。在當前科研管理中,“學術評價”和“管理評價”混淆不清,是導致量化考核泛濫、量化評價被誤用的主要原因。近年來各科研評價領域“SCI至上”與這樣的量化管理有著直接的聯(lián)系。從管理的角度看,定量指標確實顯得更加“客觀公正”,但有時卻很難完全反映事實和價值。原本只具有相對參考意義、各種數(shù)量化的宏觀學術評價指標被絕對化,進而又層層下放給機構、個人,在各種學術評估、評比、鑒定、考核、申報中,統(tǒng)統(tǒng)都要求提供一定的數(shù)量指標作為門檻[9]。數(shù)量的堆砌卻沒有帶來質量的提升,反而會導致“學術GDP”盛行,這樣的評價方式最終也就異化成了功利主義。

正確處理管理評價與學術評價之間的關系,對兩者的評價對象、評價標準、評價方法等作正確區(qū)分,是很有必要的。學術評價從根本上說,是學術性質的;而管理評價從根本上說,是一種管理上的常規(guī)激勵手段。二者雖有聯(lián)系但區(qū)別明顯。把管理考核那一套搬來,用到學術評價上去,多半是不大合適的。在管理評價中,上層管理機構應以宏觀管理為主,做好學術規(guī)范、學術制度建設;基層管理部門應做到服務與管理并重;對管理部門的考核也應該以此為重點。對科學研究人員和研究機構績效、實力與水平的評價,應注重學術性,即以學術成果質量、標志性的成果產出為主要評價依據。在學術評價中,鼓勵運用同行評議、文獻計量等定性定量方法,對學術成果等進行綜合評價,注重內容和效果評價。在評價實踐中,評價主體需要提高對評價本質、特性和規(guī)律的認識,正確區(qū)分管理評價與學術評價,自覺地強調學術評價的“學術性”,把學術創(chuàng)新、研究成果質量擺在首要位置,避免不同評價方法的盲目“移植”和誤用。

2 正確處理統(tǒng)一與分類的關系,倡導分類評價原則

分類評價是評價相對性與統(tǒng)一性的集中體現(xiàn)。狹義的分類評價,主要是指對評價對象進行分類,以此為基礎開展評價工作。廣義的分類評價,是按評價活動所涉及的各要素進行分類,包括按評價方法、評價主體、評價對象、評價時間、評價目的、評價標準、評價保密性、評價結果的表現(xiàn)形式分類(見圖1)?？茖W區(qū)分評價的不同類型,對于落實科研活動“分類評價”原則具有重要的意義。評價對象指的是被評價的客體。按學術評價所涉及的具體對象,可以將科研評價分為成果評價、人員評價、機構評價、項目評價、計劃評價、學科研究評價、科學政策評價等七類;根據評價對象所涉及的范圍大小,可以分為宏觀、中觀與微觀學術評價[9];根據學術研究所涉及的學科范圍,可分為自然科學研究評價、人文社科研究評價兩類;根據所涉及研究工作的層次,可以分為基礎研究評價、應用研究評價等。隨著我國評價事業(yè)的不斷發(fā)展,分類評價原則在各領域得到了不同程度的貫徹,如學科評估、雙一流建設成效監(jiān)測、大學評價、職稱評聘等。但分類評價仍存在著分類標準模糊、分類評價失實等問題。如學術期刊的評價,基礎研究領域影響因子會高于應用研究領域。不同學科的期刊也會存在較大差異,如生物化學類期刊最高影響因子會顯著高于數(shù)學類期刊。所以,簡單用影響因子這一標準去衡量不同領域的期刊,將難以得到合理的評價結果。

圖1 評價分類體系

分類評價原則一直是我國科研評價體制改革的重點,在中央及相關部委發(fā)布的20余項涉及評價的文件中(見表1),提到“分類評價”的就有16項,占比超過76%。這些文件對分類評價的對象分類、具體崗位、評價標準都給出了具體的規(guī)定,但在具體的科研評價活動中,距離文件要求仍有很大的距離[4]。分類評價是科研評價的重要原則,也是開展科研評價的基礎。構建科學合理、適應新時代要求的科研評價體系必須正確處理統(tǒng)一評價與分類評價的關系。在最新的兩份文件中也能體現(xiàn)這一原則,如2020年《若干措施》指出:“要建立健全分類評價體系,對不同類型的科研工作應分別建立各有側重的評價路徑。”2020年《意見》也提出:“要強化分類考核評價導向,實施分類考核評價,注重標志性成果的質量、貢獻和影響。”分類評價仍將是新時代我國科研評價體系重構必須一以貫之的重要原則。

3 正確處理工具與目的的關系,倡導目標引領原則

評價本身具有較強的價值取向,這種價值取向可以通過評價目的和評價手段來體現(xiàn)。目的價值取向側重于引導科學研究方向,促進學科發(fā)展;工具價值取向則傾向于將科研質量評價作為獎優(yōu)罰劣的手段或工具[10]。目的價值與工具價值統(tǒng)一于科研評價中,兩者不可分割。但在實際工作中,人們往往重視科研評價的工具性,而忽視其目的性,導致“目的”與“手段”常常顛倒、混淆[11]?？蒲性u價的目的在于促進管理,引領科技活動的發(fā)展方向,引導科研人員投身科技創(chuàng)新,產出優(yōu)秀成果。但是從現(xiàn)實中的實際效果來看,用以評價學術成果、學術績效的“工具”,反倒變成了人們競相追逐的“目的”,如此容易導致“唯論文”“唯數(shù)量”“急功近利”等弊病[12]。根據評價目的與主體利益的聯(lián)系,可以將評價分為結論性評價和監(jiān)測性評價兩類(見圖1)。在機構評價中,結論性評價基于歷史統(tǒng)計的現(xiàn)實影響對績效作出評判,并與其他相似的單位作比較,評價結果反映研究水平高低,并成為撥款的依據;監(jiān)測性評價是面向未來的潛力前瞻性評價,只是為研究機構獲取更大回報提供信息[13]。如普賴斯通過統(tǒng)計SCI作者發(fā)文量和被引總次數(shù),為預測諾貝爾獎獲得者提供了許多有價值的參考信息,屬于監(jiān)測性評價范疇;瑞典皇家科學院組織的評審最終決定這些科學家能否獲得諾貝爾獎,屬于結論性評價的范疇。

科研評價中“工具至上”主義之所以盛行,一個重要原因在于對學術評價的本質認識不足,對評價的要素分析不夠,尤其是對目的價值認識不明確,以致于造成對“工具”的誤用?？蒲性u價涉及許多方面,至少包括了十大要素:評價主體、評價目的、評價對象、評價標準、評價內容、評價過程、評價方法、評價指標、評價數(shù)據、評價結果。其相互關系(見圖2)如下:評價主體與評價對象是評價過程中的實體性要素;評價目的是主導因素,主要是由評價主體中委托方的需求決定;評價對象本身的客觀規(guī)律性,也在一定程度上決定評價目的的可能指向;評價標準與指標是核心,是學術目的的具體化;評價方法是手段,由評價方根據實際情況選定;對評價主體的認識會影響對評價目的、評價需求的認識;對評價目的、需求認識不清,顯然會使學術評價的結果“答非所問”,無法達到預期的目標。任何工具如果不服務于一定的主體和目的,就失去了意義;如果工具服務于錯誤的主體和目的,就會造成損害。事實上,如果單單為科研行政管理部門考慮其管理上的方便性,而采取某些評價標準、方法、指標和程序,就很容易偏離本來目標,使科研評價喪失其“科學性”,淪為簡單的行政管理考核。因此,構建科研評價體系需要正確處理目的與工具的關系,以目的引領評價導向。只有正確認識了學術評價的真正目的,才能做到有的放矢,使科研評價真正服務于科學研究事業(yè)的發(fā)展。

圖2 評價要素關系

4 正確處理數(shù)量與質量的關系,倡導質量優(yōu)先原則

數(shù)量與質量是事物的不同表現(xiàn)形式,是評價價值導向的兩個方面。重數(shù)量輕質量一直是科研評價領域的突出問題。論文和經費數(shù)量經常被當作衡量科學家科研水平的唯一標尺[14],職稱評定和人才選拔也是按照一定標準的數(shù)量進行排隊,許多大學排行榜更是演變成各種數(shù)量指標的盲目競賽。本來量化考核作為一種日常管理手段并不是什么壞事,有助于獎勤罰懶,形成一定的激勵機制,但一旦將其簡單化、絕對化,變成數(shù)字的加減乘除,或者干脆用量化考核替代了學術界慣有的認同機制,就會嚴重影響對科研機構和科研人員的評價導向,必然會導致學術研究的急功近利。

構建科學合理的科研評價體系需要正確處理好質量與數(shù)量的關系,糾正以往過分看重數(shù)量指標、忽視學術研究質量的現(xiàn)象,樹立質量優(yōu)先的觀念,先講質量、再看數(shù)量。具體地說,就是在科研評價中,要提高質量指標的地位,加強質量指標的權重,而相對削弱對數(shù)量指標的要求。但這并不是否認數(shù)量指標的作用,質量是需要建立在一定數(shù)量基礎之上的。數(shù)學中的大數(shù)定律就說明了“在隨機事件的大量重復出現(xiàn)中,往往呈現(xiàn)幾乎必然的規(guī)律”。進一步講,某些數(shù)量指標本身就包括了質量屬性。比如學術期刊論文本身就是要經過同行評審后才能發(fā)表的,是具有一定質量要求的。高水平期刊,其論文錄用率大概只有5%左右。為了扭轉重數(shù)量輕質量的評價導向,近年來中央部委制定的文件中都對數(shù)量與質量關系作出了要求(見表1):《關于深化項目評審、人才評價、機構評估改革的意見》提出要減少“三評”項目數(shù)量,改進評價機制,提高質量效率;《關于優(yōu)化科研管理提升科研績效若干措施的通知》提出要開展“唯論文、唯職稱、唯學歷”問題集中清理,建立以創(chuàng)新質量和貢獻為導向的績效評價體系。

代表作評價制度是不以學術成果的形式、級別和數(shù)量,而以科學研究機構、個人的代表性成果、成績來衡量其工作業(yè)績的方法[15]。而評價“代表作”的標準,只能是學術成果的內容、研究質量和創(chuàng)新價值。代表作評價制度從程序上、根源上就是忽略數(shù)量指標的,所以對于矯正當前量化考核泛濫、學術浮躁、學術泡沫化的“癥狀”,的確是一劑“良藥”。在國內諸多學者中,尤其是那些激烈反對量化考評體系的學者中,提倡“代表作”評價制度的呼聲很高。宋麗萍[16]認為,以質量為導向的、同行評議與文獻計量相結合的方法將成為未來科研評價的主流。國際上也將代表作評價制度用于科研項目、科研機構等評價中,如加入了“內部質量控制”指標或“質量控制情況”指標的德國科研評價模式,采用具有質量控制功能指標的英國模式,強調質量導向評價維度的瑞典模式[17]。

5 正確處理定性與定量的關系,倡導綜合評價原則

定性與定量是評價方法體系里的一種分類方式。評價方法是指處理客觀評價對象及其有關數(shù)據資料的方式,總體上可分為:定性評價方法與定量評價方法,直接評估與間接評估,同行評議與引文計量、指標打分等。定性評價主要是指同行評議制,包括通訊評審法和現(xiàn) 場評審法或會議評審法。從理論上說,雙盲的通訊評審刻意回避了人情關系的影響,符合公正性的要求;會議評審實行民主投票,也不至于一言堂或個別人說了算。理想的同行評議應以評價對象的能力或水平為依據,但在實踐中,主觀性等多種因素影響著同行評議的客觀性。同行評審給人的感覺就是“走過場”和流于形式,其原因包括人情關系、本位主義、評審程序不合理、評審時間短、評審數(shù)量多等。定量評價方法主要有引文計量法和指標打分法。這些評價方法具有以下優(yōu)點:一是客觀性較強,盡量排除了主觀因素的影響;二是具有形式上的定量性、精確性,便于不同層次、不同種類的對象之間進行相互比較。另外,由于大量地依據對象外在特征如課題來源、期刊級別、被引次數(shù)等進行計量,還具有便于公開、易于操作、成本較低等優(yōu)點。在使用定量指標時,一定要對其有一個科學理性的認識:定量指標對定性評價有一定的支撐作用,但單一的定量指標用于科研評價有較大的不確定性與風險性。

定性評價與定量評價各有優(yōu)勢。在實際的評價實踐活動中,應該將兩者結合起來,互為補充,形成綜合評價方法。定性是定量的前提,使得定量評價有據可循;定量反過來可以優(yōu)化定性,使得定性評價更加客觀、精準。在科研評價中應充分認識各類評價的目的和需求、評價對象的特征與規(guī)律等,選擇合適的評價方法、評價程序、評價指標。對于國家競爭力評價、地區(qū)競爭力評價、大學評價、學科評估等宏觀評價,可以采用定量評價方法;對于人才評聘、論文和項目評審等微觀評價,采用定性評價為主、定量指標為輔助的綜合評價方式更為妥當。關于定量與定性評價問題,國際上于2014年達成了共識,發(fā)布了“萊頓宣言”(The Leiden Manifesto for Research Metrics)[18],對定量評價提出了十條原則(見表2)。“萊頓宣言”之所以得到科研評價界專家學者的普遍認同,最大的原因在于它對“量化至上”的現(xiàn)象進行了糾正,如“量化評估應當支撐質化的專家評估,而不是取而代之”“對個人研究的評價應基于其綜合作品的質性評價”,這兩大原則對新時代我國科研評價體系重構仍有很強的現(xiàn)實指導意義。

表2 萊頓宣言和舊金山宣言要點

6 正確處理論文與評價的關系,倡導論文適用性原則

近年來,我國科研評價中存在著過度看重論文數(shù)量及期刊影響因子、忽視科技成果質量的“唯論文”弊病。特別是SCI論文數(shù)量、被引次數(shù)、高被引論文、影響因子以及衍生出的ESI排名等相關指標,已經成為了科研評價以及職稱評定、績效考核、人才評價、學科評估、資源配置、學校排名等方面的核心指標,使得科技工作出現(xiàn)了過度追求SCI論文及相關指標,甚至以發(fā)表SCI論文數(shù)量、高影響因子論文、高被引論文為根本目標的異化現(xiàn)象。在這樣的“SCI至上”評價背景下,我國SCI論文數(shù)量一直快速增長。通過檢索WebofScience數(shù)據庫發(fā)現(xiàn),2019年我國發(fā)表SCI論文54.8萬篇,約為美國(67.9萬篇)的80.7%,連續(xù)多年位居世界第二。在一些世界著名大學排名指標體系中,也存在著“SCI至上”的現(xiàn)象,如ARWU世界大學學術排名有近40%的指標與論文數(shù)或論文折合數(shù)有關,THE排名中論文指標也占到了38.5%[19]。高論文數(shù)帶來了我國大學所謂的“高排名”,一些高校在世界大學排行榜中節(jié)節(jié)攀升,某些學科甚至排到了世界第一,比如清華大學計算機學科曾在近年ARWU世界大學學術排名中力壓美國諸多頂尖高校排名第一。令人遺憾的是,排名的飆升、論文數(shù)量的井噴只帶來了論文虛假繁榮,并沒有帶來我們國家“卡脖子”領域質的突破。

包括加菲爾德本人在內的科學計量學專家,對于如何運用SCI進行科研評價都會有適當?shù)奶嵝?即使將SCI作為評價依據,論文本身質量、論文被引用率也應該是重要的參考因素。而國內的大部分情況卻是,對科研人員進行評價、獎勵,只看論文是否發(fā)表在SCI源刊上,是否被SCI索引,或者計算源刊的影響因子積點等,這種做法很明顯是對SCI的誤用。對于科研評價“唯論文”“SCI至上”的現(xiàn)象,許多學者都強烈反對。針對國內外出現(xiàn)的這種“以刊評文”現(xiàn)象,學者們于2012年12月在美國細胞生物學學會年會期間提出了著名的“舊金山宣言”(TheSan Francisco Declaration on Research Assess-ment,DORA)[20],引發(fā)科學界的熱烈討論。“舊金山宣言”共列出了18條面向學者、機構、研究指標提供者、基金會的建議(見表2),其中最重要的是“避免使用期刊影響因子去評價單篇論文或作者”。與“萊頓宣言”糾偏“重定量輕定性”不同,“舊金山宣言”針對“以刊評文”提出了一些建議,認為過度關注影響因子會導致科學家片面追逐熱點,而非潛心科研成果創(chuàng)新。正如國外學者Moed[21]所言,研究成果及其影響是多維概念,當用論文、引用、期刊影響因子、社交媒體等指標來評估個人和團隊時,必須受到嚴格限制,因為針對科研人員個人的評價指標已經被證明存在“虛假的精確性”,期刊影響因子的評價有效性尚缺乏足夠的計量學證據,基于社交媒體的指標只能作為補充措施。我國學者韓毅[22]也認為替代計量學(Altmetrics)的計量結果與傳統(tǒng)以引文為基礎的科研評價是相互補充關系,兩者融合進行綜合評價是必由之路。俞立平[23]認為宏觀評價要發(fā)揮SCI論文的主導作用,微觀評價要兼顧代表作與SCI論文數(shù)量。

需要指出的是,破除“唯論文”,并非不看論文。SCI之所以成為定量評價的標準,可能只是因為其有一套選刊的標準程序,有一定的門檻,所以我們把它當作甄別的工具。盡管存在著對SCI的種種批評,但不容否認,這種定量評價的形式仍然有許多優(yōu)點,如形式上的公正,評審指標和評審程序很容易公開,便于公示和接受監(jiān)督,操作方便,容易實現(xiàn)自動化處理,評審效率較高等。事實上,學術期刊在錄用論文之前,都需要經過同行專家的評審,這在一定程度上保證了錄用論文的質量,畢竟錄用的比例是比較低的,尤其是高水平期刊,在這方面的評審更為嚴格。所以,完全放棄類似SCI的定量評價方法,目前不僅不現(xiàn)實,而且還可能是危險的。在學術規(guī)范尚未得到普遍遵循、行政主導學術的局面尚未完全改觀的情形下,貿然放棄具有公正形式的定量指標評價方法,可能導致學術評價中更廣泛的不公正。SCI論文被用于科研評價備受詬病之處在于“SCI至上”,即過度依賴SCI,而不在于發(fā)表SCI論文。因此,新時代要破除的是“唯論文”中的“唯”,而不是論文本身。

7 正確處理元評價與評價的關系,倡導科學評價原則

元評價是對評價的評價。在我國目前的科研評價體系中,還缺少一種元評價機制。我國評價事業(yè)蓬勃發(fā)展,但評價的效果如何?評價的程序是否規(guī)范?還有哪些值得改進之處?甚至具體到某些評價是否有必要?這些問題值得我們反思。元評價機制的主要目的是形成規(guī)范,對評價主體尤其對評價方形成制約,從而提高評價質量。從元評價的類型上看,可以從對同行評審專家的再評價、對第三方機構的再評價角度來區(qū)分[24];也可以對評價主體、評價方法、評價程序、評價指標等評價要素進行元評價[25]。元評價的方法主要有內容分析法、經驗總結法、評價信度效度分析等[26]。元評價的實施主體既可以是評價主體,也可以是評價委托方;既可以從內部進行評價,也可以從外部進行評價。元評價是提高評價質量的有效手段[27]:對評價流程的元評價可以發(fā)現(xiàn)問題,改善評價;對評價結果進行元評價,有利于改善評價結果的公布方式,提高評價質量;對評價方法進行元評價,有利于改進評價技術和方法,淘汰不適宜的評價方法;對評價目的進行元評價,有利于評價組織者反思評價本身,并加強對科研評價自身的管理。評價的次數(shù)、周期等,都應該符合科技活動發(fā)展的規(guī)律,過多或過少都是不適宜的。

缺乏對評價方法和指標體系的元評價,是許多科研評價項目結果不準確的重要原因。傳統(tǒng)的評估方法是分項打分、加權平均、求綜合分的綜合指數(shù)法,又稱指標打分法,這是目前學術評價領域應用最成熟、最普遍的一種方法。常用的指標打分法,是以評估指標之間的線性關系為假設前提來進行的,但在實際的評價實踐工作中存在著非線性的性質,不適宜用統(tǒng)一的線性評價方法[28]。況且,指標的完備性和互斥性(不相關性)是理論上建立指標的準則,這是由其線性的假設前提所規(guī)定的。然而在實踐中,由于指標概念模糊不清,指標劃分往往不具備完備性和互斥性。指標與指標之間存在函數(shù)關系或其他間接的相互依賴關系,這種“多重共線性”都是需要盡量避免的。當前學術評價中流行的指標打分法,看似客觀、公允,但其內在的線性邏輯卻存在著許多固有的缺陷。這并不等于說該方法不能用,而是需要對其指標體系進行元評價,注意其假設前提,不要陷入“工具法則”的陷阱之中。正確處理元評價與評價之間的關系,建立元評價機制,對這些評價程序、方法、指標形成穩(wěn)定的指導性規(guī)范,將有助于解決當前科研評價中出現(xiàn)的科學性問題。

8 正確處理理論與實踐的關系,倡導理論指導原則

評價理論是指人們由評價實踐概括出來的系統(tǒng)性的概念、原理和結論[29]。我國在科研評價實踐活動中積累了豐富的經驗,也取得了許多積極成果,但總體上評價理論基礎薄弱,評價制度有待健全。雖然圍繞科研評價方法、流程、指標體系、數(shù)據處理、信息集成、結果運用等內容,目前已形成了較為科學的理論體系,但是評價活動是一個復雜的過程,評價系統(tǒng)作為社會活動大系統(tǒng)中的一個子系統(tǒng),涉及的理論問題眾多,我國評價基礎理論研究仍嚴重滯后于各類評價實踐活動。長期缺乏系統(tǒng)的評價理論指導,是當今各領域評價問題未能有效解決的重要原因。我國科研評價基礎理論研究總體滯后,評價領域研究的重大課題、重要專著等研究成果鮮有突破,而科研評價在我國起步相對較晚,許多評價理論是“拿來主義”,與我國科研評價具體實踐差距較遠,難免會有一些水土不服。再加上理論偏向于實際操作性,導致指導性不足等問題凸顯。

完整的科研評價理論與方法體系由評價方法論、評價理論基礎和基本理論模型、各種具體的科研評價方法及應用模型、實施過程管理與控制的方法和規(guī)范四個部分組成[30]?？蒲性u價實踐需要評價理論的正確指導:從評價問題的界定到評價方案的設計,再到評價信息的收集過程,并不是隨意進行的,而是要依據一定的理論基礎(見圖3);在評價方法層面,從方法論指導到評價工具選擇也必須有理論依據。應該說,國內外評價基礎理論的研究,為促進我國科研評價實踐發(fā)展起到了巨大的促進作用。例如,邱均平教授等著的《評價學:理論·方法·實踐》(上、下冊)[31]對評價理論問題進行了全面、系統(tǒng)和富有創(chuàng)見的探討,是我國首次以“評價學”命名的開山之作,并首次構建了該學科的理論、方法、應用三結合的內容體系,具有開創(chuàng)性和奠基性意義。但每一種理論的發(fā)展,都帶有其所處的時代特征,尤其是信息技術、智能技術等新技術的發(fā)展,必將極大地豐富科研評價實踐的內容,從而促進評價基礎理論體系的完善。

圖3 基于評價活動的評價理論體系

9 結語

科研評價作為一項具有社會科學價值的科技管理實踐活動,最終目的在于促進科技活動的健康發(fā)展。其作用就在于根據委托方明確的目的,通過科學、可行的方法,依據規(guī)定的原則、程序和標準,對科技活動各個方面的事項進行論證、評審、評議、評估和驗收,確定科技活動成效狀態(tài)和發(fā)展趨勢。評價是個系統(tǒng)工程,涉及評價主體、評價目的、評價客體、評價方法等十個方面的要素。在破除“SCI至上”、重構科學的科研評價體系時,就要緊緊圍繞這些要素和目標展開,以評價理論為指導,以適應新時代我國科技發(fā)展水平為重要任務,探討現(xiàn)行科研評價體系、方法、原則及實踐是否遵循了科技創(chuàng)新活動的規(guī)律,體現(xiàn)管理評價與學術評價的基本價值理念,催生出真正高水平的科技成果;是否發(fā)揮了“評價指揮棒”應發(fā)揮的引領作用,促進科學技術的發(fā)展,提升創(chuàng)新能力水平,促進經濟社會發(fā)展。

沒有科學的評價就沒有科學的管理?？蒲性u價作為科學管理的重要手段,首先需要深入分析其失衡的根源性問題,最重要的是要處理好八個辯證關系,倡導八大原則:正確處理管理評價與學術評價的關系,倡導區(qū)分對待原則;正確處理統(tǒng)一與分類的關系,倡導分類評價原則;正確處理工具與目的的關系,倡導目標引領原則;正確處理數(shù)量與質量的關系,倡導質量優(yōu)先原則;正確處理定性與定量的關系,倡導綜合評價原則;正確處理論文與評價的關系,倡導論文適用性原則;正確處理元評價與評價的關系,倡導科學評價原則;正確處理理論與實踐的關系,倡導理論指導原則。當然,我們在審視現(xiàn)有評價體系各種不足的時候,還要正確對待其好的一面,避免矯枉過正?？蒲性u價體系改革和重構應該是一個循序漸進、不斷優(yōu)化的過程。

參考文獻

[1] 湯建民,邱均平.評價科學在中國的發(fā)展概觀和推進策略[J].科學學研究,2017,35(12):1813-1820,1831.(Tang Jianmin,Qiu Junping.Development situation and prompting strategies of evaluation science in China[J].Studies in Science of Science,2017,35(12):1813-1820,1831.)

[2] 趙蓉英,王旭,王建品,等.中國科技評價研究態(tài)勢與推進策略[J].情報科學,2019,37(5):7-12.(Zhao Rongying,Wang Xu,Wang Jianpin,et al.Research situation and prompting strategies of S&T evaluation in China[J].Information Science,2019,37(5):7-12.)

[3] 汪雪鋒,張碩,劉玉琴,等.中國科技評價研究40年:歷史演進及主題演化[J].科學學與科學技術管理,2018,39(12):67-80.(Wang Xuefeng,Zhang Shuo,Liu Yuqin,et al.Forty years of research on science and technology evaluation in China:historical and theme evolution[J].Science of Science and Management of S.&T.,2018,39(12):67-80.)

[4] 王海燕,張昕妍.我國科技評價體系改革的困境與對策[J].中國軟科學,2018(4):10-17.(Wang Haiyan,Zhang Xinyan.The predicament and countermeasure of the reform of science and technology evaluation system in China[J].China Soft Science,2018(4):10-17.)

[5] 代濤,李曉軒.我國科技評價的問題分析與改革思路[J].中國科學院院刊,2013,28(6):750-755.(Dai Tao,Li Xiaoxuan.Analysis on the problems and perspectives of China's S&T evaluation[J].Bulletin of Chinese Academy of Sciences,2013,28(6):750-755.)

[6] 杜鵬,李鳳.是自上而下的管理還是科學共同體的自治---對我國科技評價問題的重新審視[J].科學學研究,2016,34(5):641-646,667.(Du Peng,Li Feng.Top-down management or autonomy of scientific community:rethinking on China's S&T evaluation[J].Studies in Science of Science,2016,34(5):641-646,667.)

[7] 朱劍.科研體制與學術評價之關系---從“學術亂象”根源問題說起[J].清華大學學報(哲學社會科學版),2015,30(1):5-15,180.(Zhu Jian.Relations between research system and review system:causes to the lack of regulation in academic research[J].Journal of Tsinghua University (Philosophy and Social Sciences),2015,30(1):5-15,180.)

[8] 李楠.關于深化高?？萍荚u價改革的思考[J].中國高等教育,2014(9):18-20.(Li Nan.Thoughts on deepening the reform of science and technology evaluation in universities[J].China Higher Education,2014(9):18-20.)

[9] 邱均平,朱少強.宏觀與微觀學術評價之關系探討[J].圖書館論壇,2006(6):51-53.(Qiu Junping,Zhu Shaoqiang.On the relationship between macro and micro level evaluation of scientific research[J].Library Tribune,2006(6):51-53.)

[10] 陳曉清,詹啟偉,姜田.關于深化高?？萍荚u價改革的思考與建議[J].中國高校科技,2014 (1):23-25.(Chen Xiaoqing,Zhan Qiwei,Jiang Tian.Thoughts and suggestions on deepening the reform of science and technology evaluation in universities[J].Chinese University Science&Technology,2014 (1):23-25.)

[11] 劉在洲,張云婷.高?？蒲匈|量評價中若干關系探討[J].科技進步與對策,2018,35(17):146-150.(Liu Zaizhou,Zhang Yunting.The quality evaluation of the university's scientific research of several relations[J].Science&Technology Progress and Policy,2018,35(17):146-150.)

[12] 汪虹,梅伏生,吳綺慧,等.高等學?？蒲懈≡昵榫w產生的原因及對策[J].科技進步與對策,2002 (9):175-176.(Wang Hong,Mei Fusheng,Wu Qihui,et al.Reasons and countermeasures of blundering emotion caused from scientific research in universities[J].Science&Technology Progress and Policy,2002 (9):175-176.)

[13] 劉恩允.高?？蒲性u價的問題與對策[J].高等工程教育研究,2004(1):39-42.(Liu Enyun.Problems and countermeasures of scientific research evaluation in universities[J].Research in Higher Education of Engineering,2004 (1):39-42.)

[14] Geuna A,Martin B R.University research evaluation and funding:an international comparison[J].Minerva:AReview of Science,Learning&Policy,2003,41(4):277-304.

[15] 劉明.學術評價體制檢討[J].浙江社會科學,2005(5):210-214.(Liu Ming.Review of academic evaluation system[J].Zhejiang Social Sciences,2005(5):210-214.)

[16] 宋麗萍.REF與科研評價趨向[J].圖書情報工作,2011,55(22):60-63,100.(Song Liping.Interpretation of research evaluation trends based on REF[J].Library and Information Service,2011,55(22):60-63,100.)

[17] 馬恩斯,周靜,王峻嶺.比較研究下高?？蒲性u價指標的優(yōu)化[J].中國高?？萍?2019(10):47-50.(Ma Ensi,Zhou Jing,Wang Junling.The optimization of scientific research evaluation indexes in universities under comparative research[J].Chinese University Science&Technology,2019(10):47-50.)

[18] Hicks D,Wouters P,Waltman L,et al.The Leiden Manifesto for research metrics[J].Nature,2015,520,429-431.

[19] 夏國萍,管恩浩.建設世界一流大學亟待處理好四重關系---基于三大世界大學排行榜的視角[J].高校教育管理,2018,12(4):27-35.(Xia Guoping,Guan Enhao.The construction of a world-class university in China must deal with four relations:based on world university rankings of ARWU,QS and THE[J].Journal of Higher Education Management,2018,12(4):27-35.)

[20] 自然科研簽署《舊金山宣言》,倡導科研評估不要再過度依賴基于期刊的指標[EB/OL].[2020-06-24].http://www.sohu.com/a/136891901_465226.(Natural Science signed the San Francisco Declaration,advocating that scientific research evaluation should no longer rely on journal-based indicators too much[EB/OL].[2020-06-24].http://www.sohu.com/a/136891901_465226.)

[21] Moed H F.Appropriate use of metrics in research assessment of autonomous academic institutions[J].Scholarly Assessment Reports,2020,2(1):1.

[22] 韓毅.非正式交流回歸語境下科技評價的融合路徑取向[J].中國圖書館學報,2016,42(4):64-74.(Han Yi.The aggregation path orientation of scientific and technological evaluation under the revival context of informal communication[J].Journal of Library Science in China,2016,42(4):64-74.)

[23] 俞立平.規(guī)范使用SCI下科技評價的問題與解決路徑研究[J].情報資料工作,2020,41(2):64-69.(Yu Liping.A probe into the problems and solutions of scientific and technological evaluation under standard use of SCI[J].Information and Documentation Services,2020,41(2):64-69.)

[24] 朱少強,唐林,柯青.學術評價的元評價機制[J].重慶大學學報(社會科學版),2010(3):81-85.(Zhu Shaoqiang,Tang Lin,Ke Qing.Meta-evaluation mechanism of academic evaluation[J].Journal of Chongqing U-niversity(Social Science Edition),2010 (3):81-85.)

[25] 馬寧鋒,李衛(wèi)東,薜艷澤.基礎教育學業(yè)成績元評價的探析[J].中國電力教育,2009(8):29-30.(Ma Ningfeng,Li Weidong,Bi Yanze.Meta-assessment of basic education academic achievement[J].China Electric Power Education,2009 (8):29-30.)

[26] 王敏.對大學課程評價之“元評價”的思考[J].云夢學刊,2008 (5):120-121.(Wang Min.The thought of“meta-evaluation”of the evaluation of university curriculum[J].Journal of Yunmeng,2008(5):120-121.)

[27] 俞立平,潘云濤,武夷山.元評價對提高科技評價質量的影響研究[J].科學學研究,2012(4):512-516.(Yu Liping,Pan Yuntao,Wu Yishan.A effective method to enhance science and technology evaluation quality:meta-evaluation[J].Studies in Science of Science,2012(4):512-516.)

[28] 蔡國梁,黃斌,李玉秀,等.科技進步狀況的多指標可拓綜合評價[J].數(shù)學的實踐與認識,2005(1):59-65.(Cai Guoliang,Huang Bin,Li Yuxiu,et al.Extension synthesize evaluation of science-technology condition[J].Mathematics in Practice and Theory,2005(1):59-65.)

[29] 葉繼元.人文社會科學評價體系探討[J].南京大學學報(哲學·人文科學·社會科學版),2010,47(1):97-110,160.(Ye Jiyuan.Approaching evaluation system in humanities and social sciences[J].Journal of Nanjing University(Philosophy,Humanities and Social Sciences),2010,47(1):97-110,160.)

[30] 仝允桓.科技評價理論與方法的體系結構[J].科技成果縱橫,2003(5):18-20.(Tong Yunhuan.System structure of science and technology evaluation theory and method[J].Perspectives of Scientific and Technological Achievements,2003(5):18-20.)

[31] 邱均平,文庭孝,等.評價學:理論·方法·實踐[M].北京:科學出版社,2010.(Qiu Junping,Wen Tingxiao,et al.Evaluation science:theory method practice[M].Beijing:Science Press,2010.)