Focus Recherche & Enseignement - Evaluation de la recherche à Hong Kong. (09/03/2014)

Article rédigé le 03/09/2014

PNG

Sommaire


Introduction

Parmi les universités hongkongaises, seules 8 disposent de dotations de l’état. Une grande partie de ce financement est dédié à l’éducation (environ 75%), il est fixé par le nombre d’étudiants et le niveau enseigné ; 23% ont pour objectif de financer une partie de la recherche (financement récurrent de la recherche) ; les 2% restant servant à financer d’autres activités professionnelles ou éducatives. L’attribution des budgets aux universités est effectuée par l’UGC (University Grants Committee), un organisme fondé en 1968 afin de conseiller le gouvernement et de définir les priorités en terme d’enseignement supérieur et de recherche.

Jusqu’en 1993, le financement de la recherche s’effectuait sur des bases historiques, chaque université disposait alors de dotations fixes sans regard des performances réalisées. Ce modèle présentait plusieurs inconvénients, comme le manque de transparence associé à ces dotations et l’absence de récompense de l’excellence, essence même de l’esprit des universités hongkongaises. Aussi le gouvernement hongkongais a décidé en 1993 de réformer sa méthode d’attribution du budget pour la recherche, pour mettre en place un financement entièrement basé sur les performances des institutions.

Dès lors, il est apparu indispensable d’établir un modèle d’évaluation de la recherche permettant de juger de la performance des laboratoires, et ainsi d’établir la répartition des fonds. C’est ainsi qu’en 1993 Hong Kong, encore sous protectorat anglais, a réalisé son premier RAE (Research Assessment Exercise), coordonné par l’UGC, à l’aide d’experts venus d’Angleterre.

Dans un premier temps, l’évaluation a été fixée sur une base de 3 ans, afin de coller aux plans triennaux, puis, jugée trop rapprochée, la fréquence a été ramenée à 6 ans à partir de 1999. Les RAE ont donc eu lieu en 1993, 1996, 1999 et 2006. La prochaine évaluation est réalisée en 2014 ; elle évalue le travail de recherche effectué entre le 1 Octobre 2007 et le 30 Septembre 2013 (Tableau 1).

PNG

Tableau 1 : Calendrier des RAE

On retrouve toutes les informations relatives à ces RAE dans les "Guidelines" établient par l’UGC. Ces dernières sont disponibles sur le site web de l’UGC [1]. Au cours des exercices successifs, les RAE ont beaucoup évoluées afin de pousser la recherche hongkongaise au sommet.

1. Vocabulaire relatif aux RAE

1.1. Cost Center

Les ’Cost Centers’ sont des ’unités de recherche’. Définies par les universités, elles correspondent le plus souvent à des laboratoires ou unités de travail.

1.2. Personnel académique

Le ’personnel académique’ (ou ’personnel éligible’) d’une ’unité de recherche’ est l’ensemble des personnes travaillant au sein de cette unité et répondant aux critères suivants :
- Disposer d’un des grades suivant :
A. Professor
B. Reader
C. Senior Lecturer (U)
D. Principal Lecturer (P), senior
E. Principal Lecturer (P), junior
F. Senior Lecturer (P)
G. Lecturer (U)
H. Lecturer (P)
I. Assistant Lecturer
- Etre embauché depuis plus de 3 ans (pour les RAE 1993 et 1996) et depuis plus de 2 ans pour les RAE suivantes.

Si l’embauche est plus récente mais que le grade académique correspond, la personne concernée peut être définie comme ’nouveau chercheur’. (Pour les RAE 1993 et 1996, il était également nécessaire d’avoir moins de 3 ans d’expérience dans le monde académique pour être considéré comme ’nouveau chercheur’ (en plus d’avoir moins de 3 ans d’ancienneté dans le laboratoire)).
- Etre payé par l’université et ne pas être parallèlement embauché par une autre institution afin de pouvoir être comptabilisé comme un temps plein. Dans le cas des temps partiels et des personnes embauchées par plusieurs laboratoires il est nécessaire de transformer l’activité de la personne concernée en équivalent temps plein.

1.3. Production (Output)

Production

Les membres du ’personnel académique’ sont évalués sur leurs ’productions’ (outputs), qui sont des éléments devant :
- Contenir un élément d’innovation ;
- Etre lié à la recherche ;
- Etre accessible publiquement ;
- (Disposer d’un intérêt pour les paires et être généralisable (cette condition était présente pour les RAE de 1999 et 2006 uniquement, elle a été retirée pour le RAE 2014)).

Les éléments de recherche peuvent revêtir de nombreuses formes, ainsi d’autres possibilités de production sont autorisées : publication, brevet...
- Publié ou rendu disponible publiquement pendant la période d’évaluation,
ou
- Pas encore publié mais officiellement acceptée pour publication pendant la période d’évaluation.

Ou encore tout autre production pouvant ou ne pouvant pas être publiée (enregistrement, cassette vidéo, programme, dessin architecturaux, travail créatif...).

Production exceptionnelle

’La production exceptionnelle’ correspond à un travail long ne rentrant pas dans le temps considéré par l’évaluation, par exemple un travail ayant nécessité plus de quatre années de réalisation. La production en question ne doit pas avoir été utilisée lors d’un précédent exercice.

1.4. Panel

Ensemble de professionnels hongkongais et internationaux d’un secteur, en charge de juger les ’productions’ relatives à leur domaine d’expertise.

1.5. Indice de recherche et pourcentage de chercheurs actifs

La notion de ’Chercheur actif’ est utilisée pour les RAE de 1993 à 1996 pour ensuite être remplacée par le terme ’indice de recherche’, plus général et n’induisant pas une idée d’évaluation individuelle des chercheurs, mais plutôt une évaluation globale. Ainsi un chercheur actif est un membre du ’personnel académique’ dont les ’productions’ sont jugées supérieures ou égales au seuil établi par un panel international de paires.

’L’indice de recherche’ P est alors calculé en faisant le ratio des ’chercheurs actifs’ A, sur le ’personnel académique’ total de l’ ’unité de recherche’ considérée T :

PNG

Formule 1 : Indice de recherche

Avec :
T : Personnel académique total dans l’ unité de recherche considérée.
A : Personnel académique jugé par le panel comme étant des chercheurs actifs.

2. Les RAE de 1993 à 2006

2.1. Méthode générale

Au cours des différentes évaluations réalisées par l’UGC, la philosophie des RAE est toujours restée la même : Favoriser l’excellence de la recherche hongkongaise et la promouvoir à un niveau international. Pour ce faire, le gouvernement hongkongais a décidé d’utiliser l’activité des ’unités de recherche’ comme critère de performance. Ce critère est appelé ’l’indice de recherche’ et consiste à établir le ratio de chercheurs ayant effectué un travail de qualité.

Le terme de "travail de qualité" reste plutôt flou, il est établi par un panel de spécialistes, différent pour chaque secteur qui a pour mission de déterminer si le travail effectué par les chercheurs est supérieur ou égale au seuil fixé. Aucune règle spécifique n’est imposée concernant les seuils en question, la seule consigne, présente dans le guide des RAE depuis 1999 est la suivante : "La qualité de la production correspond au niveau d’excellence des productions du même domaine à Hong Kong, et si possible montre des preuves d’excellence internationale." Ainsi chaque année la feuille de route des RAE indique "augmenter le niveau du seuil", sans pour autant le définir. Ce durcissement annoncé de l’évaluation apparait donc difficilement quantifiable, d’autant plus que les résultats détaillés ne sont pas disponibles.

Les panels en charge de l’évaluation se sont également beaucoup développés au cours des exercices. On note notamment une forte augmentation de l’effectif global, ainsi qu’une augmentation du pourcentage d’experts non locaux dans le panel (Tableau 2).

PNG

Tableau 2 : Evolution du Panel de 1993 à 2006

2.2. Contenu évalué

Nombre de productions soumises

L’évaluation effectuée par le panel se concentre sur les travaux effectués par le ’personnel académique’. Pour cela, chaque membre devra fournir une sélection de ses productions effectuées.
Le nombre de ’productions’ évolue au cours des années. Le premier exercice de 1993 ne disposait pas de limitations, mais souhaitant se concentrer sur la qualité plutôt que la quantité, un maximum de 5 ’productions’ plus une ’production exceptionnelle’ a été mis en place pour les exercices 1996 et 1999.
L’exercice 2006 autorise quant à lui jusqu’à 6 productions par chercheur, suivant l’un des deux schémas ci-dessous (Tableau 3).

PNG

Tableau 3 : Production à présenter, RAE 2006

Cas particulier

1°) Il est également possible de ne soumettre aucune production dans certains cas spécifiques avec l’accord du département (fortes responsabilités administratives ou enseignements par exemple).
2°) Les ’jeunes chercheurs’ peuvent bénéficier de considérations spéciales, par exemple les travaux effectués dans le cadre de leurs thèses peuvent être comptabilisés.

Autres contributions demandées

Depuis 1996, chaque ’unité de recherche’ doit fournir une présentation de l’institution qui l’accueille comprenant le schéma organisationnel, le nom du Doyen de la faculté ainsi qu’une description factuelle des activités réalisées d’environ une page. Ce résumé n’est pas évalué, il a pour vocation de fournir le contexte du laboratoire au panel.

A cela est ajouté, à partir de 1999, une fiche présentant la stratégie de recherche de l’institution, afin de présenter la philosophie du laboratoire ainsi que ses missions et priorités. Les perspectives et évolutions à venir doivent également être indiquées.

2.3. Diffusion des résultats

La diffusion des résultats issus de ces évaluations est une problématique complexe, d’un coté la méthode employée pour l’évaluation a pour objectif de mettre en place une certaine transparence de l’attribution des fonds publics, ce qui impliquerait alors, pour aller jusqu’au bout du raisonnement, une publication des évaluations. Mais d’un autre coté l’évaluation n’est pas identique pour chaque domaine (différents panels, différents seuils) et ne permet pas, par conséquent, une comparaison entre les différents secteurs. Ainsi en 1993, 1996 et 1999, les ’indices de recherche’ agglomérés par ’unité de recherche’ et par domaine ont été fournis aux directeurs des institutions. Les résultats individuels n’ont pas été divulgués, même aux universités.

Une petite modification est apparue en 1999. Les données moyennes par domaine ne sont plus divulguées dans le cas où les domaines considérés apparaissent dans moins de 3 institutions.

L’exercice 2006 marque un virage en terme de confidentialité des données. Les résultats individuels des chercheurs restent confidentiels pour tout le monde et les directeurs des institutions ont toujours accès aux résultats agglomérés par ’unités de recherche’. En revanche, certaines données deviennent accessibles au grand public via le site internet de l’UGC :
- Détails opérationnels du processus (composition du panel, méthodologie, agenda des rencontres) ;
- Résultats au niveau sectoriel, excepté pour les domaines présents dans moins de trois institutions ;
- Agrégé des résultats pour les disciplines par institution ;
- Guide de lecture.

Il y a donc un grand pas effectué en terme de transparence. Les résultats publiés prennent ainsi la forme suivante (Tableau 4).

Tableau de résultats pour l’exercice 2006

Les pourcentages dans le tableau sont les ’Indices de recherche’ par domaine et par université.

PNG

Tableau 4 : Résultats agrégés du RAE 2006

Les limites

Le tableau de résultat est accompagné par une explication des limites qu’il comporte, en voici une traduction :
- Les résultats n’ont pas pour but de servir à la comparaison et ne doivent être utilisés en dehors du contexte de l’évaluation.
- Le nombre de personnel couvert par chaque panel varie de manière significative. Le plus grand domaine englobe plus de 570 personnels éligibles, tandis que le plus petit n’est composé que d’environ 65 personnes. Le nombre de personnes éligibles de chaque institution dans le panel varie également.
- Chaque institution peut avoir un nombre différent de domaines/départements dans chaque panel. Les domaines couverts par chaque panel sont disponible sur le site de l’UGC.
- En raison des points évoqués ci-dessus, il n’est ni juste, ni approprié de comparer les indices de recherches de différentes institutions.

3. RAE 2014

3.1. Méthode générale

L’esprit des RAE ne subit pas de modification pour ce nouvel exercice, l’objectif est toujours de : favoriser l’excellence de la recherche hongkongaise et la promouvoir à un niveau international.
La méthodologie reste également identique, il s’agit de déterminer les ’indices de recherche’ pour chaque ’unité de recherche’. La modification majeure est la mise en place d’une échelle quantitative d’évaluation des productions.

Les critères d’évaluation sont les suivants :
- Des objectifs précis ;
- Une préparation adaptée ;
- Un mode opératoire approprié ;
- Des résultats significatifs ;
- Une présentation claire ;
- Une réflexion construite et critique.

A ces critères s’ajoute une volonté d’analyse comparative importante, chaque ’production’ se verra attribuer une note :
- 4 étoiles : Pointe mondiale
- 3 étoiles : Excellence internationale
- 2 étoiles : Niveau international
- 1 étoile : Niveau régional
- Non classé

On gagne en qualité de l’information produite par les RAE qui utilisaient jusqu’alors une évaluation manichéenne. Le résultat fournira alors un profil de qualité pour chaque institution.

Un autre aspect caractérisant l’importance accordée à l’analyse comparative internationale est le nombre d’experts non locaux dans les panels d’évaluation, qui devrait encore augmenter. Le but de cet exercice est que les panels soient formés d’une majorité de non locaux afin de minimiser les conflits d’intérêts et de renforcer la crédibilité de l’évaluation. Les coordonnateurs et coordonnateurs adjoints des panels devront être non locaux.

3.2. Calendrier

PNG

Tableau 5 : Calendrier RAE 2014

3.3. Contenu évalué

Nombre de productions soumises

L’évaluation effectuée par le panel se concentre sur les travaux effectués par le ’personnel académique’. Pour cela, chaque membre devra fournir une sélection de ses productions réalisées.
Pour l’édition 2014, chaque membre du personnel académique éligible peut soumettre jusqu’à 4 ’productions’. On retrouve une nouveauté par rapport aux exercices précédents ; si une ’production’ a nécessité beaucoup de travail, elle peut bénéficier d’une pondération double et ainsi compter comme deux productions.

Nouveauté 2014 : Prise en compte des ’autres contributions’

Afin d’évaluer de manière plus complète le travail effectué par les laboratoires, l’UGC a décidé d’inclure les ’autres contributions’ (’inputs’) dans l’évaluation des chercheurs. Il s’agit de prix, de rédactions d’éditoriaux de journaux, de financements de recherche externes validés par les pairs ; des financements non revus par les pairs comme des financements industriels par exemple, etc...

Chaque personne éligible peut présenter jusqu’à 4 ’autres contributions’, qui seront évaluées de la même manière que les ’productions’ (de ’non classée’ à 4 étoiles).
- 4 étoiles : Exceptionnelle
- 3 étoiles : Excellente
- 2 étoiles : Très bien
- 1 étoile : Bien
- Non classée

Ces ’autres contributions’ seront intégrés aux évaluations de chaque chercheur suivant la pondération suivante :
- ’Productions’ : 80% de la note ;
- ’Autres contributions’ : 20% de la note.

Cas particulier

1°) Il est également possible de ne soumettre aucune ’production’ dans certains cas spécifiques avec l’accord du département (fortes responsabilités administratives ou enseignements par exemple).
2°) Un chercheur qui vient de prendre un temps plein académique à Hong Kong ou ailleurs dans les 50 mois précédant la date de l’évaluation pourra réduire proportionnellement ses soumissions (Tableau 5).

PNG

Tableau 6 : Réduction du nombre de productions pour les jeunes chercheurs

Autres contributions demandées

Chaque ’unité de recherche’ doit fournir une présentation de l’institution comprenant le schéma organisationnel, le nom du doyen de la faculté ainsi qu’une description factuelle des activités réalisées d’environ une page. Le résumé n’est pas évalué, il a pour vocation de fournir le contexte du laboratoire au panel d’évaluation.

Une fiche présentant la stratégie de recherche de l’institution doit également être rédigée afin de présenter la philosophie du laboratoire ainsi que ses missions et priorités. Les perspectives et évolutions à venir doivent également être indiquées.

3.4. Diffusion des résultats

La diffusion des résultat suit les mêmes règles que dans l’exercice 2006.

Conclusion

La recherche à Hong Kong continue de se développer, et les financements fournis par le gouvernement ont pour objectif de la pousser vers l’excellence en se basant sur des critères internationaux. Les progressions en terme de méthodologie des RAE sont visibles d’exercice en exercice, traduisant la volonté de l’état hongkongais de se faire une place sur la scène internationale de la recherche.

PNG

Tableau 7 : Récapitulatif des évolutions du RAE

Après avoir centré les financements de la recherche sur la base des performances passées, l’UGC a décidé de varier ses critères. Ainsi à l’issue du résultat des RAE 2014, soit à partir de 2016, l’argent initialement versé en fonction des résultats du RAE sera divisé en deux catégories : une partie des fonds sera toujours attribuée en fonction des RAE (financement récurrent, UGC Block Grant), tandis qu’une seconde partie sera attribuée par le RGC sur la base d’une évaluation annuelle des projets de recherche (Capital Projects) via deux programmes du RGC : Capital Works Program et Additions and Improvements (A&I).

Cette modification sera mise en place graduellement ; leur part dans la subvention du RGC va passer de 5% en 2016 à 12.5% en 2021 (Tableau 8).

PNG

Tableau 8 : Evolution de la répartition des financements de l’UGC

Sources :

- [1] UGC - http://www.ugc.edu.hk/eng/ugc/rae/rae2014.htm

Rédacteur :

Maël LE BAIL, Chargé de mission scientifique - Hong Kong

publié le 07/08/2015

haut de la page