כשה-AI הוא המכשיר הרפואי - מדריך מעשי ל-SaMD ו-AI

"בנינו אלגוריתם שמנתח תמונות פתולוגיה ומציע אבחנה. האם זה מכשיר רפואי"? השאלה הזאת הגיעה אלי מסטארטאפ בשלב מוקדם. התשובה הקצרה: כנראה שכן. התשובה הארוכה היא מה שהמאמר הזה עוסק בו.

מה זה SaMD ולמה זה חשוב

Software as a Medical Device, לפי הגדרת ה-IMDRF (N10:2013), היא תוכנה שמיועדת לשמש למטרה רפואית אחת או יותר, מבלי שהיא חלק ממכשיר חומרה. ה-FDA, ה-MDR, וכמעט כל רגולציה מרכזית בעולם אימצו את ההגדרה הזו.

ה-AI מוסיף שכבה: תוכנה שמשתמשת בלמידת מכונה, עיבוד שפה טבעית, או ראייה ממוחשבת לצורך המלצה, אבחנה, ניטור, או סיוע בטיפול, היא SaMD. ההבחנה הרגולטורית לא נובעת מהטכנולוגיה שבה משתמשים, אלא מהמטרה הרפואית שלה.

שאלת השאלות: האם האלגוריתם שלך הוא SaMD?

הדרך לענות על השאלה הזאת היא לעבור שתי בדיקות:

בדיקה ראשונה - מטרה רפואית: האם התוכנה מיועדת לאבחן, לנטר, לנבא, לטפל, או להקל על מצב רפואי? אם כן, יש מטרה רפואית.

אם התוכנה מיועדת לניהול אדמיניסטרטיבי בלבד (תזמון, חיוב, אחסון מידע), אין מטרה רפואית.

בדיקה שנייה - תרומה לאבחנה/טיפול: האם פלט התוכנה משפיע על החלטה קלינית? AI שמנתח ECG ומסמן "אנומליה אפשרית" ישפיע על החלטת הרופא.

AI שמסנן תורים על פי ניהול זמינות לא ישפיע.

שתי הבדיקות האלה גם קובעות את רמת הסיכון, ומכאן את המסלול הרגולטורי.

סיווג: לא כל SaMD שווה

תחת MDR, ה-SaMD מסווג לפי כללי הסיווג שב-Annex VIII. לרוב מכשירי ה-AI, הכללים הרלוונטיים הם:

כלל 11: תוכנה שמיועדת לספק מידע המשמש לקבלת החלטות לאבחנה או טיפול במחלות קשות תסווג כ-Class III.

תוכנה שמיועדת לאבחנה במחלות שאינן קשות תסווג כ-Class IIa.

תוכנה שמשמשת לניטור בלבד ואינה משפיעה ישירות על הטיפול תסווג כ-Class I.

בפועל: מרבית מכשירי AI/ML האבחנתיים נמצאים ב-Class IIa ומעלה.

מערכות שמנתחות ממצאים ב-CT, בפתולוגיה, ב-ECG בדרך כלל ייכנסו ל-Class IIb או Class III, בהתאם למחלה ולרמת ההשפעה על ההחלטה הקלינית.

אצל ה-FDA, ה-SaMD מסווג לפי מתודולוגיית IMDRF לשילוב של רמת הסיכון הרפואי (מחלה קשה, חמורה, שאינה חמורה) ומשמעות ה-SaMD (מציין מידע, מנחה טיפול, מטפל). זה מוביל לרמות I, II, III, IV, כשהאחרונה דורשת PMA.

Risk Management לאלגוריתמים: מה ISO 14971 אומר על AI

ISO 14971:2019 הוא הסטנדרט לניהול סיכונים של מכשירים רפואיים, וחל גם על SaMD/AI. אבל יישומו על AI דורש פרשנות יצירתית, כי הסטנדרט נכתב בעיקרו עבור מכשירי חומרה.

הסיכונים הייחודיים של AI שיש לכלול בניתוח ה-Risk:

• Bias: האלגוריתם עלול להיות מוטה כלפי אוכלוסיות שלא יוצגו מספיק בנתוני האימון. זה סיכון קליני ממשי. אם האלגוריתם אומן בעיקר על גברים לבנים בגיל מסוים, הביצועים על נשים, על אוכלוסיות ממוצא אפריקאי, על קשישים, עלולים להיות ירודים בצורה שאינה ניכרת מהמדדים הכוללים.

• Distribution Shift: אלגוריתם עם ביצועים טובים בסביבה אחת יכול להיכשל בסביבה אחרת. מצלמה אחרת, פרוטוקול הדמיה שונה, מאפייני אוכלוסייה שונים. זה לא כשל תוכנה קלאסי, זה כשל אלגוריתמי.

• Overreliance: משתמשים נוטים לסמוך יתר על המידה על המלצות AI, גם כשהמערכת "לא בטוחה". זה סיכון Human Factors שיש לנהל דרך עיצוב ממשק וסימון מפורש של רמת הביטחון.

• Cybersecurity: אלגוריתמים של AI פגיעים להתקפות שאינן רלוונטיות לתוכנה קלאסית, כגון Adversarial Attacks שבהן שינוי קטן בנתוני הקלט גורם לשינוי דרסטי בפלט.

ה-Software Lifecycle של AI: IEC 62304 ומה מעבר לו

IEC 62304:2006+AMD1:2015 הוא הסטנדרט לניהול מחזור חיי תוכנה רפואית. ה-FDA ו-MDR שניהם דורשים שתעמדו בו.

עבור AI/ML, הסטנדרט חל, אבל יש היבטים שהוא לא מכסה במפורש:

• Data Management: מחזור חיי ה-AI כולל גם מחזור חיי הנתונים. מה מקור הנתונים? כיצד תויגו? מי ביצע את ה-Labeling? האם יש Gold Standard? כיצד הם מאוחסנים ומאובטחים? כל אלה נדרשים בתיעוד.

• Model Training & Validation: תהליך האימון הוא שלב קריטי שיש לתעד: אילו Hyperparameters נבחרו ולמה, כיצד בוצע Split של הנתונים לאימון/אימות/בדיקה, כיצד נבחר המודל הסופי.

• Monitoring Post-Market: תקן IEC 62304 עוסק בשינויי תוכנה מוגדרים. AI שלומד מנתונים חדשים דורש מנגנון ניטור שונה: כיצד זוהה Performance Degradation? מה הסף להתערבות?

Clinical Evaluation ל-SaMD: ה-MDCG 2020-1 ומה שמאחוריו

תחת MDR, כל מכשיר רפואי כולל SaMD חייב Clinical Evaluation לפי Article 61 ו-Annex XIV.

עבור AI/ML, ה-MDCG 2020-1 (Clinical Evaluation) הוא המסמך המנחה, וה-MDCG 2020-6 (Clinical Evidence Needed for Legacy Devices) רלוונטי לפעמים כרקע.

מה ה-Clinical Evaluation ל-SaMD/AI צריך להראות:

• Clinical Performance: מדדי ביצועים קליניים, לא רק טכניים. Sensitivity ו-Specificity הם נקודת התחלה, אבל הנוטיפייד בודי יצפה גם ל-Positive Predictive Value ו-Negative Predictive Value בהתאם ל-Prevalence של האוכלוסייה.

• Equivalence או Literature: אם אין מחקר קליני עצמאי, יש לבסס את ה-Clinical Evidence על ספרות ועל ביצועים מוכחים. ל-AI זה מסובך יותר, כי קשה למצוא Equivalent Device.

• Real-World Evidence: נוטיפייד בודי'ס מסתמכים יותר ויותר על ביצועים בשטח. מה קורה לאחר השיווק? יש PMS שמאסף נתוני ביצועים אמיתיים?

Post-Market Surveillance ל-AI: חובה, לא אופציה

AI/ML שמשנה את ביצועיו לאורך זמן (בין אם בשיפור, בין אם בהידרדרות) דורש PMS שמסוגל לזהות את השינוי.

לפי MDR Article 83, היצרן חייב בתהליך PMS פרואקטיבי.

עבור AI, זה אומר: מדידה שוטפת של מדדי ביצועים בשטח, השוואה לבנצ'מרק מההגשה, תהליך מוגדר לזיהוי Drift, ו-Threshold ברור להתערבות, כולל תהליך בקרת שינויים אם נדרש שינוי באלגוריתם.

לסיום: AI הוא מכשיר רפואי - התנהגו בהתאם

הטעות הנפוצה ביותר שאני רואה בסטארטאפים שמפתחים AI רפואי היא שהם חושבים על הרגולציה בסוף התהליך.

AI/ML שפותח ללא בקרת תכן, ללא ניהול סיכונים מסודר, ללא תיעוד של ניהול הדאטה, ייתקל בקיר בשלב הערכת התאימות.

הדרישות לא נוצרו כדי להקשות.

הן קיימות כי פלט אלגוריתמי שגוי יכול לפגוע בחולים.

ומי שמבין זאת בתחילת הדרך בונה מוצר טוב יותר, לא רק מוצר עם תיעוד טוב יותר.