Direction de la Programmation de la Recherche, de l'Evaluation et des Etudes Prospectives

 

                          Documents à expertiser
                          Liste des laboratoires de recherche enregistrés
Lire et Modifier mon profil                                                                          Compléter votre formulaire d'expert...

Comité pour l’Evaluation des Structures
de la Recherche Scientifique (CESRS)

Au vu du contexte international, marqué par une évolution rapide de la science et de ses domaines d’applications, ainsi qu’une compétition des plus acharnées, la mise en place d’une évaluation qualitative des laboratoires et des centres de recherche nationaux est devenue indispensable. La mise en place progressive d’un comité national d’évaluation permettra de promouvoir le système de recherche au niveau des meilleurs standards internationaux.

Les méthodes d’évaluation du CESRS doivent traduire une perception plus intégrée entre établissements d’enseignement supérieur et établissement de recherche, entre activités de formation et activités de recherche, mais aussi entre établissements de recherche et environnements socio-économiques.

L’évaluation constitue, en effet, pour la recherche tout comme pour l’enseignement supérieur la clef de voûte de la reconnaissance de leur qualité et le cercle vertueux de l’amélioration de leur efficacité. C’est pourquoi il convient de l’asseoir en tenant compte des différentes dimensions des objets évalués et de s’attacher à en saisir la cohérence d’ensemble.

Le CESRS, instance légitime, est appelé à fonctionner dans la transparence, l’indépendance, l’impartialité et l’efficacité, dans l’unique objectif d’asseoir une recherche de qualité au service du progrès des connaissances et celui d’un développement économique durable. Partant du constat que l’évaluation est sans conteste la clef de l’autonomie, sa mise en place devient indispensable et le concours à sa réussite devient l’affaire de toute la communauté scientifique nationale.

Sur le plan méthodologique, la mise en place d’un protocole unique d’évaluation des établissements de recherche (laboratoires universitaires, centres de recherches, écoles supérieures, …) indépendamment de leur nature et de la diversité de leurs milieux institutionnels de rattachements est un gage de la cohérence d’ensemble de ce dernier.

Dans un premier temps le CESRS s’attachera à constituer un large vivier d’experts pour composer les comités d’évaluation qui auront pour mission, non seulement d’assurer une expertise virtuelle, mais également de vérifier et constater de visu l’état des lieux en se rendant sur site dans les divers établissements, unités et centres de recherche.
Tout en exploitant les viviers existants, le CESRS pourra nommer des présidents des comités d’évaluation qui seront sollicités pour la conduite des diverses évaluations programmées.


Système de notation des structures de Recherche.

Dans la mesure où une note unique ne peut refléter l’ensemble de l’évaluation d’une structure, il est proposé une évaluation multicritères englobant un certain nombre d’indicateurs qui seront détaillés plus loin. Un ensemble de quatre notes (A+, A, B, C) sera mis en place ainsi qu’une note globale. Les quatre critères proposés sont :

 la production scientifique : qualité, quantité, impact, …
 l’attractivité nationale, internationale, ...
 la stratégie en matière de management et de lancement de jeunes équipes de
recherche, …
 la qualité des projets de la structure, leur impact sociétal ...

Ce système de cotation entend améliorer sensiblement l’évaluation actuelle de la recherche, basée sur de simples aspects comptables (en nombre de publications, facteur d’impact …). Cette approche est assez réductrice au regard des missions confiées aux unités de recherche. A titre d’exemple, les experts peuvent être confrontés à des unités d’un très bon niveau mais mal organisées, ou n’arrivant pas à faire émerger de jeunes équipes.
De même, le comité d’évaluation doit pouvoir envoyer un signal de soutien fort à une équipe dont la qualité des travaux scientifiques ne mérite pas un A+ mais, qui a eu le courage de se lancer sur une thématique qui a une forte portée sociétale.

Conduite à tenir pour l’évaluation

En plus de l’analyse fine de la valeur scientifique de la structure, l’expert doit apprécier les stratégies que l’équipe met en œuvre pour atteindre ses objectifs et analyser les résultats obtenus dans les grandes missions que sont les siennes : stratégie en matière de recherche, formation continue, valorisation, relation avec l’environnement local, national, international, politique d’intégration des étudiants, gouvernance et gestion. Afin de faciliter une telle démarche, le CESRS mettra donc à la disposition des experts un « guide de l’expert » regroupant des indicateurs pertinents leur permettant de repérer la nature et la qualité de ces stratégies, et d’asseoir ainsi une méthodologie harmonieuse d’évaluation des établissements de recherche.

Soulignons enfin qu’il est souhaitable que la publication des rapports des comités d’évaluation devienne la règle (sauf cas où les règles de déontologie ou de confidentialité ne le permettent pas). Ce faisant, les établissements d’enseignement supérieur et les centres de recherche, ayant tout intérêt à connaître la nature et la valeur de la recherche effectuée en leur sein, le CESRS a donc clairement un rôle à jouer dans le rapprochement entre chercheurs et/ou enseignants chercheurs avec leurs établissements et leurs tutelles. Il sera aussi l’instrument majeur du Comité National d’Evaluation (CNE).

La transparence impose que les critères et les méthodologies de l’évaluation soient portés à la connaissance de tous les chercheurs. En retour, quelque soit l’objet de l’évaluation et indépendamment de la méthodologie mise en place, le rapport de synthèse de l’évaluation n’est définitivement validé qu’après avoir recueilli les observations de la structure évaluée.
Enfin, le rapport du comité d’évaluation sera rendu public sur le site de la DG-RSDT.

Au-delà des aspects scientifiques qui revêtent une importance de premier ordre dans l’évaluation des organismes de recherche, les comités d’évaluation seront aussi attentifs à la politique d’accueil des étudiants, et de leur insertion dans la structure. Celle-ci est appréhendée au travers de la durée moyenne des magisters, des thèses, de l’existence ou non d’une politique de formation continue, ainsi que de la mise en œuvre d’une politique de mobilité nationale ou internationale. Les étudiants d’aujourd’hui sont les chercheurs et les enseignants chercheurs de demain, il est donc impératif qu’une attention toute particulière leur soit consacrée dans les unités de recherche, que ce soit en termes d’ouverture aux cultures d’autrui, de diffusion des valeurs académiques ou tout simplement en les sensibilisant aux perspectives scientifiques et économiques offertes par les métiers de la recherche.

En outre, il est attendu parfois des comités d’expertise de juger plus la qualité des contributions des établissements de recherche que la nature même de cette recherche. Chaque établissement, en effet, déploie sa stratégie en fonction de ses forces et de son environnement local. Ainsi, l’évaluation se donne aussi comme objectif d’apprécier la qualité de la stratégie mise en œuvre, l’adéquation de celle-ci avec les spécificités locales, et d’en évaluer le résultat.

Pour éviter la dilution des excellences, il est recommandé que l’évaluation se fasse par équipe. Les équipes seront donc notées, faisant ainsi émerger le paysage des forces et des faiblesses de la structure. Pour autant, une note globale sera aussi attribuée au laboratoire, lui permettant de se situer sur le plan national.


Qu’est-ce qu’il faut évaluer ?

Les quatre axes de cotation définis dans la méthodologie arrêtée sont (i) la production scientifique, (ii) l’attractivité de la structure, (iii) sa stratégie, iv) le projet de la structure et/ou sa politique scientifique.

i) La production scientifique :

La mesure de la qualité de la production scientifique et de son impact devra être corrélée avec les missions de la structure. On ne peut raisonnablement mesurer la pertinence d’une production scientifique sur une simple comptabilité du nombre d’articles publiés. Il va de la mission des chercheurs de faire ressortir les résultats marquants de leur recherche et de les communiquer auprès du comité d’évaluation, en expliquant en quoi ils sont pertinents. Selon les cas, le comité d’expertise appréciera le dépôt de brevets, la participation à des pôles de compétitivités (quand ceux-ci existent), le nombre de citations, les publications à haut facteur d’impact, les conférences internationales invitées, etc …

ii) L’attractivité :

La seconde note portera sur l’attractivité de la structure. Celle-ci sera évaluée par la capacité de la structure à attirer des doctorants, éventuellement des post-doctorants, des professeurs invités, des collaborations nationales et/ou internationales, des projets d’envergure avec les entités économiques… Les comités d’experts apprécieront aussi le nombre de papiers cosignés et leur qualité. L’origine géographique des doctorants témoignera aussi du rayonnement régional, national ou international de la structure.

iii) La stratégie et la gestion :

L’évaluation de la stratégie de la structure conduit à une troisième note. A ce niveau, les experts rechercheront à dégager l’existence ou non d’une dynamique collective de la structure. Celle-ci peut se mesurer à travers l’organisation de séminaires internes, de la mutualisation d’équipements communs, d’incitations à des collaborations intra- structures, et du degré d’implication de la structure dans les écoles doctorales. On évaluera aussi la stratégie en matière de recrutement, de valorisation, de formation continue des chercheurs et du personnel technique (quand il existe). Le comité portera une attention toute particulière sur la politique scientifique mise en œuvre en termes d’équipements.

iv) Le projet de la structure :

La quatrième note résultera de l’évaluation qualitative du projet de la structure ou de l’équipe. Il s’agit à ce niveau de vérifier si le projet est bien défini, s’il est adapté aux capacités de l’équipe, et s’il est cohérent avec l’ensemble des thématiques de la structure. On s’attachera aussi à apprécier l’existence ou non d’un projet alternatif en cas d’échec.




Un système de notation adapté à l’objet étudié

Les divers critères mis en place conduisent à une évaluation qualitative des unités de recherche indépendamment de leur discipline. En revanche, la pondération de ces critères dépendra de la nature de l’objet évalué. Ainsi, on demandera aux comités d’experts de mettre en place un système de pondération spécifique pour chaque discipline. Il est évident que l’évaluation d’un laboratoire de recherche médicale ne peut se faire selon le même référentiel que celui d’un laboratoire de mathématiques. Pour autant, la configuration méthodologique est quasi-invariante.

Un premier jeu de notes est attribué par le comité d’expertise qui établit un rapport circonstancié dans lequel sont relevés les points forts et les points faibles de la structure et dégageant un certain nombre de recommandations.
Une deuxième réunion regroupant les présidents de comités d’experts au cours de laquelle une harmonisation de la notation entre les différentes unités relevant du même champ disciplinaire devra être établie. Un consensus sera alors dégagé sur les quatre notes ainsi que sur la note globale.


Aspects organisationnels

Les comités d’experts :

Les comités d’experts sont la cheville ouvrière du système d’évaluation. Afin de constituer le plus rapidement possible un vivier d’experts, des courriers seront adressés aux conférences régionales ainsi qu’aux établissements d’enseignement supérieur et organismes de recherche leur demandant d’informer les experts potentiels sur la possibilité de candidater à travers le site web de la DG-RSDT. Au même titre, on pourra informer les directeurs de laboratoires pour diffuser l’information aux membres de leurs équipes. De la même manière, on impliquera les chercheurs et enseignants chercheurs algériens établis à l’étranger. Enfin, et pour compléter le panel d’experts, il est souhaitable d’inclure, à terme, des personnalités du monde économique et aussi, à plus long terme, des experts étrangers.
Afin de définir une fois pour toutes les règles de déontologie qui doivent prévaloir à la sélection des experts, il est nécessaire de rédiger une charte de l’expert, ainsi qu’un formulaire de candidature dans lequel, outre leur parcours professionnel et une liste de publications ; il sera demandé aux candidats leurs compétences premières (discipline scientifique, thématique de recherche …) et leurs compétences annexes (responsabilités institutionnelles, compétences pluridisciplinaires, …). Il leur sera aussi demandé combien d’expertises ils souhaitent effectuer dans l’année.

Constitution du comité d’experts :

Le comité d’experts sera constitué d’un président, désigné par le CESRS parmi le vivier des experts retenus, et d’un certain nombre d’experts (5 à 6 selon la taille de la structure) tous choisis pour leur visibilité nationale ou internationale dans la discipline concernée par l’évaluation.

Aspects pratiques :

Les dates de l’évaluation du laboratoire seront programmés suffisamment à l’avance pour que le laboratoire prépare pour le comité un rapport d’activité englobant un bilan ainsi qu’une prospective pour chacune des équipe le constituant. Ces informations seront détaillées dans les canevas qui seront mis en ligne. Le jour de l’évaluation, le comité de visite se rend dans le laboratoire. Les étapes de l’évaluation (qui dure entre 1 à 2 jours selon la taille de la structure) contiendront les points suivants (liste non exhaustive) :

i) Planning de réunion du comité d’évaluation avec la direction du laboratoire ;
ii) Exposé d’une demi heure (max) de la structure par son directeur (politique scientifique en matière de recherche, de recrutement, d’équipements, budget, etc …)
iii) Rencontre à huit clos avec les doctorants : discussion de leurs conditions de travail, vérifier leur insertion et leur épanouissement dans la structure, leurs motivations, etc …;
iv) Réunion du comité d’expertise avec les tutelles (président du conseil scientifique, recteur, …) à huit-clos. Discussion autour des liens établissement-laboratoire, de la politique scientifique de l’établissement et de son impact sur celle de la structure évaluée, etc …
v) Rencontre entre les représentants du personnel (chercheurs, enseignants-chercheurs, techniciens, personnels administratif, le responsable hygiène et sécurité) et le comité ;
vi) Présentations (séminaires de 20 min + 10 min de questions) des bilans et des projets des équipes ;
vii) Rencontre des équipes + visite de leurs installations et discussion soit autour de posters préparés à cet effet, soit autour des manipulations;
viii) Réunion à huit clos du comité où une première ébauche du rapport est rédigée.
ix) Fin de la visite.


Lors de l’évaluation, un profil quantitatif et un autre qualitatif de la structure évaluée seront dressés par le comité d’expertise. Deux grilles d’évaluations seront donc élaborées. La grille quantitative sera renseignée par la structure pour chaque équipe, et concernera la période du contrat (quadriennal, quinquennal ) écoulée:

- le nombre de personnels permanents et leur organisme de rattachement
- personnels non permanents (invités, vacataires), le ratio doctorants/personnels habilités à diriger des recherches, etc…
- personnels techniques et administratifs
- production scientifique (dont revues, conférences, ouvrages, etc …)
- brevets, contrats industriels (s’il y a lieu), instruments, licences, …
- projets développés pour le secteur économique,
- nombre de personnels publiant, nombre de thèses soutenues, …

La grille d’évaluation qualitative, qui est du ressort des experts, comportera :

Sur le bilan
- originalité et intérêt des recherches développées
- le niveau et la notoriété des publications scientifiques, la visibilité de la structure ou de l’équipe et de ses membres ;
- l’avancement des savoirs, de l’expertise ou de l’impact technologique de l’équipe ou de la structure ;
- la qualité des réalisations scientifiques (logiciels, instruments, méthodologie, outils, plateformes, bases de données …).
- L’importance et la pertinence des partenariats scientifiques, le positionnement dans les réseaux nationaux et internationaux.
- L’existence de thématiques de recherche émergentes.
- Relations avec le tissu socio-économique, et transfert et valorisation socio-économique des recherches.
- Contribution de l’équipe ou de la structure à l’école doctorale, à la formation par la recherche, à la formation académique (licence master).
- Contribution à la diffusion des connaissances et de la culture scientifique, participation à des tâches d’intérêt commun.
- La gouvernance, la cohérence et la vitalité de la structure.
- Effort de mise en réseau de la structure

Sur la prospective et le projet, on évaluera en particulier :

- originalité et degré d’innovation scientifique et technologique attendus.
- Clarté, cohérence, pertinence ; et positionnement.
- Caractère pluridisciplinaire ou transversal ;
- Pertinence du calendrier prévu.
- Méthodologie
- Objectifs poursuivis (cohérence des objectifs par rapport au problème de recherche, et pertinence au regard des capacités humaines et matérielles de la structure).
- Analyse de la perspective à moyen et long terme, des besoins et des compétences.
 

Une base de données des compétences algériennes.
 

Si vous souhaitez proposer votre candidature pour faire partie de nos experts PNR, Comités  Sectoriels de Programmes, réseaux thématiques.., merci de compléter votre dossier électronique. Avant de procéder à la confirmation, télécharger et renseigner convenablement le CV selon le modèle DG-RSDT ci-joint. Pour compléter votre inscription vous aurez besoin du CV renseigné ainsi que d'une photo d'identification scannée (< 200*200 pixels).