Checklist d’un audit IA en radiologie avant déploiement
L’intelligence artificielle s’installe progressivement dans les services d’imagerie : aide au tri des examens, détection de lésions, reconstruction d’images ou estimation de paramètres quantitatifs. Pourtant, la démonstration d’une bonne performance sur un jeu de données ne suffit pas à justifier un déploiement. Un audit préalable doit vérifier que l’outil est utile, sûr, interopérable et adapté aux pratiques locales.
Cette checklist propose une méthode opérationnelle pour réunir radiologues, physiciens médicaux, ingénieurs biomédicaux, responsables informatiques, délégué à la protection des données et direction qualité. L’objectif n’est pas de ralentir l’innovation, mais de rendre la décision traçable et défendable.
1. Définir précisément le cas d’usage
Un audit commence par une question clinique clairement formulée. « Améliorer le diagnostic » est trop vague pour mesurer un bénéfice. Il faut préciser la modalité concernée, la population cible, le type d’anomalie recherché et le moment où l’algorithme intervient dans le parcours de soins.
- Indication clinique, examens concernés et exclusions documentées ;
- Utilisateur final identifié : radiologue, manipulateur ou clinicien ;
- Rôle de l’outil défini comme aide à la décision, et non comme remplacement de l’expertise médicale ;
- Critères de succès établis : délai, sensibilité, spécificité, qualité du compte rendu ou impact organisationnel.
Cette étape évite notamment d’utiliser un algorithme entraîné sur des radiographies thoraciques pour une population ou une indication différente de celle annoncée. Le périmètre d’emploi doit figurer dans les procédures internes et être connu de tous les utilisateurs.
2. Examiner les données et la représentativité
La qualité des données conditionne directement celle du résultat. L’équipe d’audit doit connaître l’origine des images, les modalités d’acquisition, les appareils utilisés, les protocoles et les critères d’annotation. Une base provenant d’un seul établissement peut masquer des biais liés à un constructeur, à une population ou à une organisation particulière.
Les questions essentielles
- Les données d’évaluation sont-elles indépendantes des données d’entraînement ?
- Les tranches d’âge, sexes, contextes cliniques et niveaux de gravité sont-ils suffisamment représentés ?
- Les images dégradées, incomplètes ou atypiques sont-elles incluses dans les tests ?
- Les annotations ont-elles été réalisées ou relues par plusieurs spécialistes ?
- Les performances sont-elles mesurées par sous-groupes et par type d’équipement ?
Un test local est indispensable. Il permet de comparer les résultats annoncés par le fournisseur à ceux observés sur le parc d’imagerie réel. Pour une IRM, par exemple, les différences de champ magnétique, de séquences et de reconstructions peuvent modifier sensiblement le comportement du modèle.
3. Valider les performances en situation réelle
Les indicateurs statistiques doivent être interprétés avec le contexte clinique. Une sensibilité élevée peut s’accompagner d’un nombre important de faux positifs et augmenter la charge de lecture. À l’inverse, un outil très spécifique risque de manquer des signes discrets s’il est utilisé comme filtre systématique.
L’évaluation doit donc associer des métriques classiques — sensibilité, spécificité, valeurs prédictives et courbe ROC — à des indicateurs de terrain : temps gagné, taux d’examens relus, interruptions du flux de travail et acceptabilité par les radiologues. Une phase pilote, limitée dans le temps et contrôlée, facilite cette mesure avant toute généralisation.
La traçabilité est également déterminante. Chaque résultat généré doit être associé à une version du logiciel, à un horodatage et à l’examen concerné. Il faut savoir si une modification du modèle, du protocole d’acquisition ou du PACS a pu influencer la sortie.
4. Auditer l’intégration au SI de santé
Une IA performante peut devenir inutilisable si elle s’intègre mal au système d’information. L’audit doit cartographier les échanges entre modalités, RIS, PACS, orchestrateur et solution d’IA. Les formats DICOM, les listes de travail, les règles de routage et les retours de résultats doivent être testés avec des cas nominaux et des situations d’erreur.
- Identitovigilance et correspondance fiable entre patient, examen et résultat ;
- Délais de transfert compatibles avec l’activité du service ;
- Gestion des examens annulés, répétés, incomplets ou envoyés deux fois ;
- Affichage clair du résultat dans le poste de lecture habituel ;
- Plan de secours en cas de panne réseau, PACS ou fournisseur.
Cette dimension territoriale rappelle que la technologie s’inscrit dans une organisation de soins, avec ses contraintes de coordination, d’accès et de disponibilité des équipes. Les médias locaux comme Le Mag Toulouse montrent d’ailleurs combien les transformations d’un territoire se lisent aussi à travers ses services publics et ses infrastructures, un angle utile pour replacer l’innovation hospitalière dans son environnement.
5. Vérifier sécurité, conformité et responsabilités
Les images médicales et les données associées sont des données de santé sensibles. Il faut documenter les flux, les hébergements, les habilitations, le chiffrement, la journalisation et la durée de conservation. Une analyse d’impact relative à la protection des données peut être nécessaire, notamment lorsque le traitement est massif ou systématique.
L’équipe doit aussi vérifier le statut réglementaire du dispositif, les conditions de marquage applicables, les mises à jour prévues et la responsabilité de chaque intervenant. Le radiologue conserve la responsabilité de l’interprétation médicale : l’interface doit rendre cette position explicite et éviter toute présentation qui transformerait une suggestion algorithmique en conclusion automatique.
6. Organiser le suivi après déploiement
L’audit ne s’arrête pas le jour de la mise en production. Les performances peuvent dériver avec l’évolution des protocoles, des appareils, des populations prises en charge ou des versions logicielles. Un comité de suivi doit donc analyser régulièrement les indicateurs, les alertes et les retours des professionnels.
La checklist finale peut inclure une revue mensuelle des taux d’échec, un contrôle trimestriel d’un échantillon d’examens et une réévaluation après toute modification majeure du SI ou du modèle. Si les résultats deviennent insuffisants, une procédure doit permettre de suspendre l’outil sans interrompre l’activité de radiologie.
Pour approfondir les enjeux liés à la transformation numérique, aux serveurs PACS et aux innovations en imagerie, découvrez les dossiers publiés sur notre page d’accueil. Une IA bien auditée n’est pas seulement un logiciel installé : c’est un composant maîtrisé d’un parcours diagnostique, évalué avec méthode et piloté dans la durée.