FDAワーニングレターに学ぶ、AI時代のGMPと「Human in the Loop」の重要性

今回は、米国のPurolea Cosmetics Lab社に対して米国食品医薬品局（FDA）から発出された、医薬品製造における「AIの不適切な利用」に関するワーニングレター（警告書）を取り上げます。

【参考】 米国FDA／医薬品製造におけるAIの不適切な使用（Warning Letterより）
https://www.gmp-platform.com/article_detail.html?id=37338
こちらのニューストピックスで、古田土 真一氏が取り上げておられますが、これからの時代に避けては通れない、非常に示唆に富む内容であり、私自身もこのようなAI利用がされてしまうことがあるんだろうな、と思っていたことが現実に起きていたようであり強い危機感を抱いています。

1. AIが「言わなかったから」？ 
ワーニングレターの内容を見ていくと同社は、製品規格や手順書、さらには主製造・管理記録の作成にAIを利用していたようです。
驚くべきこととして、要件であるプロセスバリデーションを実施していなかった理由について、FDA査察官に対し「使用したAIがバリデーションは必要であると一度も言わなかったため、法的要求事項を認識していなかった」と釈明したようなのです。
これは決して対岸の火事や笑い話ではないように思います。
同社にはGMPに関する基本的な理解が欠如しており、その知識不足を補うためにAIに依存していました。
これからAIに日常的に慣れ親しんだ世代が就職し現場の主役となっていく中で、「AIのアウトプット＝全て正しい」と盲信してしまうリスクの恐ろしさを如実に表しています。

2. 問題の核心はAIの利用ではなく「人間の無知」 
専門家も指摘している通り、FDAは「文書作成にAIを使用すること自体」を禁止しているわけではないと考えられます。
最大の問題は、AIが生成した文書を品質部門（QU）の人間が適切にレビュー・承認せず、結果として不正確でcGMPに違反した状態を放置したことです。
PIC/SのAnnex 22などのガイドライン案でも議論されている通り、AI活用においては「Human in the Loop（人間による介入・監視）」をリスクベースでどう組み込むかが鍵となります。 
しかし、ここに最大の落とし穴があります。
せっかくレビューの仕組みを設けても、そのレビューアー自身がAIよりも無知であり、CFRなどのレギュレーションに対する深い理解がなければ、そのレビューは完全に形骸化し、無効化してしまいます。

3. システムの妥当性と経営のガバナンス
さらにこれらの記事から以下のようなことが見えてきます。