כשה-AI לא מספיק: מה מכתב האזהרה של ה-FDA מלמד אותנו על אוריינות AI בתעשייה הרגולטורית

בתחילת אפריל 2026 פרסם ה-FDA מכתב אזהרה לחברת Purolea Cosmetics Lab ממישיגן. הפרות CGMP לא חסרות במכתבי אזהרה, ובדרך כלל הן לא עושות גלים גדולים מחוץ לחוגי הרגולציה. אבל הפעם יש משהו אחר. בפעם הראשונה שמכתב אזהרה של ה-FDA כולל קטע ייעודי שכותרתו: "Inappropriate Use of Artificial Intelligence in Pharmaceutical Manufacturing."

כולם כבר מדברים על זה. אז גם אני.

מה בדיוק קרה שם?

בספטמבר 2025 פקחים מה-FDA הגיעו למפעל של Purolea לביקורת של שלושה ימים. מה שהם מצאו היה תמונה קשה: חרקים, לכלוך, עלים ואשפה באזורי ייצור. דלת פריקה שכאשר היא נפתחת - היא חושפת את קו הייצור ישירות לסביבה החיצונית. מוצרים שיצאו לשוק ללא בדיקות מיקרוביולוגיות. ספקי חומרי גלם שלא עברו הסמכה. ובכלל, מערכת בקרת איכות שפשוט לא תפקדה.

אבל הפרט שתפס את עיני כולם הוא אחר: כשהפקחים שאלו את בעלת החברה איך הם מצליחים לעמוד בדרישות ה-FDA, היא הסבירה שהם משתמשים בסוכן AI שיוצר עבורם את המפרטים, הנהלים, ורשומות הייצור.

כאשר הפקחים ציינו שהחברה מעולם לא ביצעה ולידציה של תהליכים לפני שחרור מוצרים, תשובת בעלת החברה הייתה: "לא ידענו שזה נדרש, כי ה-AI לא סיפר לנו שצריך".

שתי בעיות, לא אחת

ה-FDA הגדיר במכתב שתי כשלים נפרדים, וחשוב להבין את ההבדל ביניהם.

הכשל הראשון: חוסר סקירה של פלטים. החברה השתמשה ב-AI ליצירת מסמכים, אבל איש לא בדק אם הם נכונים. ה-FDA אמר זאת במפורש: אם משתמשים ב-AI ליצירת מסמכים, חובה לבדוק שהפלט מדויק ועומד ב-CGMP. אי עשיית כן היא הפרה של 21CFR 211.22(c). זה כשל ביצועי, ותיקון שלו פחות מורכב.

הכשל השני, והחמור יותר: overreliance. ה-FDA משתמש במפורש במילה הזו. זה לא רק שאף אחד לא בדק את המסמכים. זה שה-AI קיבל תפקיד שהוא לא מסוגל ולא מוסמך למלא: שומר הסף הרגולטורי של החברה. כשבעלת החברה אמרה "ה-AI לא אמר לי שצריך ולידציה", היא חשפה משהו עמוק יותר מרשלנות. היא חשפה שהיא האצילה את שיקול הדעת המקצועי עצמו לכלי טכנולוגי.

הקשר לאוריינות AI

כאן נכנס המושג שמדברים עליו הרבה בשנים האחרונות: אוריינות AI.

אוריינות AI היא היכולת להבין, להעריך ולהשתמש בכלי בינה מלאכותית בצורה מושכלת וביקורתית. זה לא אומר לדעת לכתוב קוד. זה אומר לדעת מה ה-AI יכול לעשות, מה הוא לא יכול לעשות, ואיפה בדיוק הפלט שלו מחייב עיניים מקצועיות אנושיות לפני שממשיכים הלאה.

הקשר בין השניים פשוט: overreliance הוא תוצאה ישירה של חוסר אוריינות.

מי שיש לו אוריינות AI מבין שה-AI הוא כלי שמבצע הוראות, לא מומחה שנושא אחריות. הוא יודע לשאול אותו את השאלות הנכונות, לבדוק את הפלט, ולזהות מה חסר. הוא יודע להשתמש בו כמאיץ לעבודה שלו, לא כמחליף לשיקול הדעת שלו.

מי שאין לו אוריינות AI לא יודע מה שהוא לא יודע. הפלט נראה מקצועי, המסמך נראה שלם, הנוהל נראה תקין. אין לו את הבסיס הרגולטורי לזהות שמשהו חסר. מתוך זה נולד ה-overreliance.

בסיפור של Purolea, בעלת החברה פשוט לא ידעה מספיק על CGMP כדי להבין שה-AI לא כיסה את כל מה שצריך. חוסר האוריינות הרגולטורית הוביל ישירות לאמון עיוור בכלי. וה-overreliance הוביל לאסון.

אוריינות AI היא מה שמונע overreliance. כשאתה מבין את גבולות הכלי, אתה לא מאציל לו יותר ממה שהוא מסוגל לשאת.

מה ה-FDA אמר בדיוק?

ה-FDA לא אסר שימוש ב-AI. הוא אמר משהו פשוט יותר, ומדויק יותר:

"If you use AI as an aid in document creation, you must review the AI generated documents to ensure they were accurate and actually compliant with CGMP. Your failure to do so is a violation of 21 CFR 211.22(c)."

כלומר, ה-AI כשלעצמו אינו הבעיה. הבעיה היא שאף אחד לא בדק. אף אחד לא ידע מספיק כדי לדעת שמשהו חסר.

גם עורכת דין שהגיבה לסיפור אמרה זאת בצורה ברורה: "לא נראה לי שה-FDA מתנגד לשימוש ב-AI כדי לנסח מסמכים. הבעיה שלהם היא שאף אחד לא בדק את זה ושהתוצאה הייתה לא מדויקת לחלוטין".

שלושה עקרונות שנגזרים מהסיפור הזה

1. AI הוא כלי, לא מומחה רגולטורי

אף כלי AI, ולא משנה כמה הוא מתוחכם, לא יכול לשמש תחליף לאחריות המקצועית של בעל הידע. ה-AI יכול לייצר נוהל CAPA שנראה מצוין. הוא לא יודע אם הוא מתאים לתהליך הספציפי שלך, לסביבת הרגולציה שלך, ולרמת הסיכון של המוצר שלך.

המסמך שה-AI הפיק עשוי להיראות מקצועי. זה לא אומר שהוא נכון.

2. בקרת האיכות אחראית על הפלטים, לא רק על הקלטים

לפי 21 CFR 211.22, בקרת האיכות חייבת לאשר נהלים, לבדוק רשומות ייצור, ולהבטיח עמידה ב-CGMP. זה לא משתנה כי המסמך נוצר על ידי AI במקום על ידי בן אדם. האחריות נשארת אנושית. נקודה.

3. חוסר ידע לא הופך לעקרון הגנה

"ה-AI לא אמר לי שצריך ולידציה" זו אולי אמירה כנה, אבל היא לא הגנה רגולטורית. ה-FDA לא מקבל "לא ידעתי" כתשובה, בין אם הבורות נובעת מהאצלת אחריות לבן אדם שכיר ובין אם לכלי טכנולוגי.

אז מה כן עושים עם AI?

אני משתמשת ב-AI בעבודה שלי יום יום. בניתי כלים שלמים סביב יכולות ה-AI. ואני אומרת בבירור: AI הוא דבר מדהים לאנשי מקצוע שיודעים מה הם עושים. הוא עלול להיות מסוכן בידיים של מי שמשתמש בו כתחליף לידע.

מה AI כן יכול לעשות עבור אנשי איכות ורגולציה:

• לייצר טיוטה ראשונה של נוהל, שאת תבדקי ותתאימי

• לסכם מסמך רגולטורי ארוך לנקודות מפתח

• לעזור בניסוח CAPA שאת מכירה לעומק

• לחפש מידע, להציע מבנה, לזהות פערים

• לתרגם, לפרמט, לארגן

מה AI לא יכול לעשות:

• להחליט אם המוצר שלך עומד בדרישות

• לאמת שהתהליך שלך ולידי

• לבדוק אם הנוהל שנוצר תואם לפרקטיקה בפועל

• לקחת אחריות רגולטורית

חוק ה-30/70:

לא יותר מ-30% מהפלט הסופי צריך להגיע ישירות מ-AI, ללא עיבוד ובדיקה מקצועית.

ה-70% הנותרים? אלה הם הידע, השיפוט, וההסמכה שלך.

ומה לגבי מכשור רפואי?

הסיפור הזה הגיע מהעולם הפרמצבטי, אבל השיעור רלוונטי לחלוטין גם לתעשיית המכשור הרפואי.

ה-FDA פרסם בינואר 2026 מסמך עקרונות לשימוש טוב ב-AI בפיתוח תרופות. ה-EU MDR כבר מחייב שכל תהליך יתועד ויוכח, כל נוהל יהיה מבוקר ומאושר. ISO 13485 דורש שהבטחת האיכות תאשר מסמכי מערכת האיכות לפני שחרורם.

בין אם מדובר ב-CAPA, ספציפיקציה, תוכנית ולידציה, או בחינת עמידה ב-MDR, כלי ה-AI יכולים לייצר טיוטה. לעולם לא את ההחלטה.

הנקודה הכי חשובה

המשפט הזה, מהמכתב של ה-FDA, יישאר איתי זמן רב:

"You replied that you were not aware of the legal requirement, as the AI agent you used never told you it was required"

זה לא כשל של ה-AI. זה כשל של אוריינות, שהוביל ישירות ל-overreliance.

מי שמבין מה AI יכול ומה הוא לא יכול, לא מגיע לשם. הוא יודע לשאול, לבדוק, ולהחזיק את האחריות המקצועית אצלו.

ה-AI לא מיועד לדעת מה לא שאלת אותו. הוא אינו שומר הסף הרגולטורי שלך.

שומר הסף הרגולטורי שלך, בסוף, זה אתה.