Un sistema di intelligenza artificiale viene introdotto per identificare anomalie nei dati di produzione, classificare difetti attraverso un sistema di visione artificiale oppure supportare l’analisi delle deviazioni. La sua prestazione viene valutata, i risultati soddisfano i criteri di accettazione e il sistema entra in esercizio. Ma chi è responsabile quando cambiano le caratteristiche dei dati, il comportamento del modello perde affidabilità oppure una sua classificazione contribuisce a una decisione che riguarda la qualità del medicinale?
È una questione destinata ad assumere un peso crescente nell’industria farmaceutica. L’integrazione dell’AI nei processi regolati richiede infatti di considerare le condizioni in cui un sistema produce risultati attendibili, le modalità con cui questi risultati vengono utilizzati e le responsabilità associate alle decisioni che ne derivano.
Un modello può raggiungere prestazioni elevate durante la fase di verifica e rivelarsi meno affidabile quando cambiano le condizioni operative. Può identificare correttamente la maggior parte delle anomalie, ma mostrare una sensibilità insufficiente proprio nei confronti delle difettosità più critiche. Oppure può fornire indicazioni tecnicamente plausibili, difficili da ricondurre a evidenze verificabili.
La questione riguarda quindi la capacità dell’organizzazione di mantenere il controllo sul comportamento del sistema e sul suo contributo alle decisioni GxP.
Annex 22, la direzione della regolamentazione europea
Il riferimento più significativo è rappresentato dalla proposta di introduzione di un nuovo Annex 22 – Artificial Intelligence nelle linee guida GMP europee, pubblicata dalla Commissione europea nel luglio 2025 insieme alle proposte di revisione dell’Annex 11 sui sistemi computerizzati e del Chapter 4 sulla documentazione.
La consultazione pubblica si è conclusa il 7 ottobre 2025. Ad oggi, la pagina ufficiale consultata presenta questi documenti come proposte sottoposte a consultazione: occorre pertanto distinguere le indicazioni contenute nelle bozze dagli obblighi GMP già applicabili.
Il progetto di Annex 22 affronta aspetti particolarmente rilevanti per chi sviluppa, acquista o utilizza sistemi AI nei processi produttivi: definizione dell’uso previsto, selezione e addestramento dei modelli, qualità dei dataset, indipendenza dei dati di test, metriche di prestazione e monitoraggio durante l’esercizio.
Il perimetro proposto è preciso. Il testo si concentra sui modelli di machine learning statici e con output deterministico impiegati in applicazioni GMP critiche. Nella formulazione posta in consultazione, modelli dinamici che apprendono durante l’utilizzo, modelli con output probabilistico e sistemi di AI generativa, inclusi i large language model, non sono considerati utilizzabili nelle applicazioni GMP critiche.
Per le applicazioni non critiche di AI generativa, la bozza richiama invece la necessità di una verifica umana da parte di personale adeguatamente qualificato.
Si tratta di una distinzione importante, perché esclude la possibilità di trattare tutte le applicazioni AI come un’unica categoria tecnologica. Rilevano la funzione svolta, le caratteristiche del modello e soprattutto le conseguenze del suo utilizzo.
L’uso previsto determina il perimetro della convalida
Definire l’uso previsto di un sistema AI significa stabilire con precisione quale attività debba svolgere, su quali dati, in quali condizioni operative e con quale livello di autonomia.
Un algoritmo impiegato per individuare possibili anomalie da sottoporre alla valutazione di un operatore presenta un profilo di rischio diverso da un sistema la cui classificazione influenza direttamente l’accettazione di un prodotto.
Anche quando la tecnologia sottostante è simile, cambiano i requisiti di controllo e la natura delle evidenze necessarie a dimostrarne l’adeguatezza.
La valutazione deve quindi considerare il processo nel quale il modello viene integrato, l’impatto potenziale sulla qualità, l’affidabilità delle informazioni utilizzate e il modo in cui gli output vengono trasformati in azioni.
Il Reflection paper EMA sull’utilizzo dell’AI nel ciclo di vita dei medicinali, adottato nel 2024, richiama esplicitamente l’approccio basato sul rischio e attribuisce ai soggetti responsabili dello sviluppo, dell’autorizzazione e della produzione la responsabilità di assicurare che algoritmi, modelli e dati siano adeguati allo scopo previsto.
È un principio che sposta l’attenzione dal singolo strumento alla sua integrazione nel sistema qualità dell’azienda.
La responsabilità attraversa funzioni diverse
Nell’organizzazione farmaceutica, un progetto AI coinvolge generalmente figure con competenze e responsabilità differenti.
Il process owner conosce le condizioni operative e le conseguenze degli errori. Quality Assurance valuta la coerenza con il sistema qualità e presidia i processi GxP di propria competenza. IT e Automation gestiscono l’infrastruttura, l’integrazione e gli aspetti tecnici dei sistemi. I professionisti della data science si occupano dello sviluppo, delle caratteristiche e delle prestazioni dei modelli.
La validazione deve integrare queste competenze, definendo responsabilità documentate e modalità di approvazione coerenti con il rischio.
Il coinvolgimento di più funzioni, tuttavia, può generare zone d’incertezza quando non sono esplicitamente stabilite le responsabilità successive alla messa in esercizio.
Chi approva una modifica al modello? Chi verifica che i nuovi dati rimangano rappresentativi? Chi decide quando una riduzione delle prestazioni richiede un intervento? Chi autorizza il ritorno a una procedura alternativa?
Sono domande organizzative prima ancora che tecnologiche.
La responsabilità GMP resta in capo ai soggetti individuati dal sistema qualità e dalla normativa applicabile. L’utilizzo di un algoritmo, così come il ricorso a un fornitore esterno, non trasferisce automaticamente tale responsabilità al software o a chi lo ha sviluppato.
Prestazioni del modello e controllo nel tempo
Un altro elemento centrale è la relazione tra prestazioni dimostrate durante la convalida e comportamento effettivo nelle condizioni operative.
Accuratezza, sensibilità, specificità e altre metriche devono essere scelte in funzione dell’uso previsto. Un valore complessivo elevato può nascondere prestazioni insoddisfacenti su classi di eventi poco frequenti ma particolarmente rilevanti.
Si consideri un sistema di visione artificiale impiegato per classificare difetti del confezionamento. La proporzione di unità correttamente classificate è un’informazione utile, ma non basta a descrivere l’efficacia del controllo. Occorre valutare la capacità di identificare le difettosità critiche, la frequenza dei falsi negativi, le condizioni di illuminazione, la variabilità dei materiali e le possibili differenze tra linee produttive.
Lo stesso ragionamento riguarda modelli impiegati nell’analisi di dati di processo o nella rilevazione di anomalie.
La rappresentatività del dataset diventa quindi determinante, insieme all’indipendenza dei dati utilizzati per verificare le prestazioni rispetto a quelli impiegati nello sviluppo.
Una volta introdotto il modello, il controllo deve continuare. Il cambiamento delle distribuzioni dei dati in ingresso, delle condizioni di processo o delle caratteristiche degli strumenti può compromettere l’adeguatezza del sistema anche in assenza di modifiche al suo codice.
Per questo il monitoraggio delle prestazioni dovrebbe essere collegato a soglie, responsabilità, frequenze di revisione e procedure di intervento predefinite, proporzionate alla criticità dell’applicazione.
Il change control comprende anche i dati
Nei sistemi computerizzati tradizionali, la gestione delle modifiche considera aggiornamenti software, configurazioni e variazioni dell’infrastruttura.
Nei sistemi AI devono essere valutati anche cambiamenti relativi ai dati, ai modelli e alle procedure di elaborazione.
Una modifica del dataset di addestramento, l’introduzione di una nuova versione del modello, la variazione dei parametri di pre-elaborazione o il cambiamento delle condizioni operative possono incidere sulle prestazioni.
L’analisi dell’impatto deve stabilire se le evidenze disponibili rimangano adeguate oppure se siano necessarie nuove verifiche.
Questa esigenza acquista particolare importanza quando il sistema viene fornito da un soggetto esterno. Le organizzazioni devono disporre di informazioni sufficienti per comprendere quali elementi possano essere modificati dal fornitore, con quali modalità vengano comunicate le modifiche e quali attività debbano precederne l’accettazione nell’ambiente GxP.
La qualificazione del fornitore e gli accordi sulle responsabilità assumono quindi un ruolo rilevante nel mantenimento dello stato di convalida.
Il ruolo della supervisione umana
La presenza di un operatore nel processo decisionale viene spesso proposta come misura di mitigazione del rischio. Tuttavia, la supervisione umana è efficace soltanto se la persona dispone delle informazioni, delle competenze e dell’autorità necessarie per valutare criticamente il risultato del sistema.
Un’approvazione formale dell’output, priva di criteri di verifica o di accesso alle evidenze pertinenti, potrebbe non costituire un controllo adeguato.
Occorre inoltre considerare il rischio di automation bias, ossia la tendenza ad attribuire eccessiva fiducia alle indicazioni generate da un sistema automatizzato.
In ambito GxP, la progettazione della supervisione dovrebbe quindi chiarire quando è richiesta una revisione, quali informazioni devono essere disponibili, come vengono gestite le discrepanze e in quali circostanze è necessario sospendere l’utilizzo del modello.
La formazione del personale deve comprendere anche i limiti della tecnologia, la comprensione degli errori possibili e i criteri per riconoscere situazioni che richiedono un approfondimento.
Quali competenze servono all’industria farmaceutica
L’impiego dell’AI evidenzia una crescente interdipendenza tra conoscenza dei processi farmaceutici e competenze digitali.
Per i professionisti Quality e Validation diventa importante comprendere il significato delle principali metriche di prestazione, i criteri di rappresentatività dei dati, i meccanismi di controllo delle modifiche e le condizioni che possono determinare una perdita di affidabilità.
Parallelamente, chi sviluppa e integra sistemi AI deve conoscere le esigenze di tracciabilità, documentazione, gestione del rischio e data integrity proprie degli ambienti regolati.
Questa convergenza richiede percorsi formativi capaci di collegare le competenze tecniche alle decisioni operative e alle responsabilità organizzative.
La guida ISPE GAMP Artificial Intelligence, pubblicata nel luglio 2025, si inserisce in questa prospettiva, proponendo un approccio complessivo allo sviluppo e all’utilizzo dei sistemi computerizzati che integrano AI in ambito GxP, con attenzione alla sicurezza del paziente, alla qualità del prodotto e all’integrità dei dati.
Dalle aspettative regolatorie alle scelte aziendali
L’evoluzione normativa europea evidenzia la necessità di affrontare l’AI attraverso una governance strutturata, coerente con la criticità delle applicazioni.
Per le aziende farmaceutiche, il lavoro comincia dalla ricognizione degli strumenti già utilizzati, dalla valutazione del loro impatto sui processi GxP e dalla definizione delle responsabilità lungo il ciclo di vita.
La convalida iniziale resta fondamentale, ma non esaurisce le attività necessarie a mantenere il sistema sotto controllo. Qualità dei dati, monitoraggio, change control, supervisione umana e gestione dei fornitori devono trovare collocazione in procedure e responsabilità verificabili.
È su queste scelte che si misura la capacità dell’industria di integrare nuove tecnologie nei propri processi, mantenendo la qualità del medicinale e la sicurezza del paziente al centro delle decisioni.
Vuoi trovare più facilmente MakingPharmaIndustry su Google?
Aggiungici alle tue fonti preferite
