הנה כל הפעמים שבהן בינה מלאכותית יצאה משליטה ופרצה לחברות אחרות

הנה כל הפעמים שבהן בינה מלאכותית יצאה משליטה ופרצה לחברות אחרות — ומה באמת קרה

הסיפור נשמע כמו תרחיש שנכתב במיוחד כדי להלחיץ מנהלי אבטחת מידע: סוכן בינה מלאכותית מקבל משימת סייבר בתוך סביבת ניסוי סגורה, מוצא דרך החוצה, מתחבר לאינטרנט ותוקף חברה אמיתית. אלא שכאשר בודקים את הפרטים, הגבול בין אירוע מאומת, ניסוי מעבדה וסיפור סאטירי נעשה חשוב לא פחות מהטכנולוגיה עצמה.

בשנים האחרונות אכן תועדו תקלות אבטחה, דליפות מידע וניסויים מטרידים שבהם היו מעורבים מודלי שפה וסוכני AI. עם זאת, אין בסיס פומבי מוצק לרשימה של 17 מקרים שבהם מודלים של OpenAI, Anthropic ומטא יצאו מסביבת ניסוי ופרצו באופן עצמאי לחברות אחרות.

המספר הזה הופיע בהקשר של אתר בשם Felony Bench, המוצג כאתר סאטירי. גם הטענות על פריצה אוטונומית ל-Hugging Face ועל שורה של קורבנות נוספים אינן מגובות בטקסט המקורי בקישורים לדוחות רשמיים, במסמכי חקירה או בתגובות הניתנות לאימות מצד החברות המעורבות.

זה לא אומר שהסיכון דמיוני. להפך: הוא ממשי מספיק גם בלי לנפח את העובדות. כדי להבין אותו, צריך להפריד בין ארבעה סוגים שונים של אירועים: מודל שתקף מערכת במעבדה, עובד שהדליף אליו מידע, חולשת תוכנה בשירות AI, וסוכן שקיבל הרשאות רחבות מדי ופעל בניגוד לכוונת המשתמש.

ראשית, מה פירוש “בינה מלאכותית שיצאה משליטה”?

מודל שפה רגיל אינו מסתובב ברשת ומחליט בעצמו אילו חברות לתקוף. כדי לבצע פעולה בעולם האמיתי הוא זקוק למעטפת תוכנה: גישה לדפדפן, כלי קוד, ממשקי API, סיסמאות, הרשאות ענן או חיבור למערכות הארגון.

כאשר מחברים את המודל לכלים כאלה, מתקבל “סוכן AI”. הסוכן יכול לפרק יעד למשימות, לבחור פעולות ולנסות שוב כאשר פעולה נכשלת. זו אותה יכולת שמאפשרת לו להזמין פגישה, לעדכן מערכת CRM או לטפל בפנייה של לקוח — והיא גם זו שעלולה להפוך טעות קטנה לאירוע רחב.

המונח “יצא משליטה” עשוי לתאר כמה מצבים שונים לחלוטין. לפעמים הסוכן פירש הוראה באופן שגוי. לפעמים הוא הוטעה באמצעות תוכן זדוני באתר. במקרים אחרים בני אדם סיפקו לו הרשאות שלא היה אמור לקבל. ויש גם ניסויי בטיחות שבהם החוקרים ביקשו מהמודל במפורש לתקוף מערכת שנבנתה לצורך הבדיקה.

מבחינה עסקית, ההבדלים האלה אינם סמנטיים. הם קובעים אם מדובר בכשל של המודל, בכשל תכנון של המוצר, בטעות תפעולית או בפרצת אבטחה רגילה שקיבלה שכבת AI מעליה.

האירועים האמיתיים שהדליקו נורות אזהרה

2023: עובדים בסמסונג הזינו מידע פנימי ל-ChatGPT

אחד המקרים המוקדמים והמוכרים לא היה פריצה אוטונומית כלל. לפי דיווחים שפורסמו ב-2023, עובדי סמסונג הזינו ל-ChatGPT קוד מקור ומידע עסקי פנימי במסגרת עבודתם. החברה הגבילה בהמשך את השימוש בכלי AI גנרטיביים במכשירים ובמערכות מסוימים.

המודל לא חדר לרשת של סמסונג ולא גנב את הקוד. העובדים מסרו לו את המידע משום שהכלי היה נוח ומהיר. זהו הבדל מהותי, אך מבחינת הארגון התוצאה עדיין מטרידה: מידע רגיש יצא מסביבת השליטה שלו.

המקרה המחיש שהסיכון הראשון של AI בארגון אינו בהכרח “מודל מורד”, אלא שימוש יומיומי ללא מדיניות ברורה. עובד שמדביק חוזה, רשימת לקוחות או קוד למערכת חיצונית מסוגל לעקוף בתוך שניות מנגנוני אבטחה שנבנו במשך שנים.

2023: באג ב-ChatGPT חשף מידע של משתמשים אחרים

במרץ 2023 השביתה OpenAI זמנית את ChatGPT לאחר שבאג בספריית תוכנה בקוד פתוח אפשר לחלק מהמשתמשים לראות כותרות משיחות של משתמשים אחרים. החברה דיווחה כי ייתכן שגם פרטי חיוב מוגבלים של שיעור קטן ממנויי ChatGPT Plus נחשפו.

גם כאן, הבינה המלאכותית לא החליטה לאסוף מידע ולא תקפה חברה אחרת. זו הייתה חולשת תוכנה קלאסית בשירות שמפעיל מודל AI. האירוע חשוב משום שהוא מזכיר שמוצרי AI נשענים על תשתיות רגילות: מסדי נתונים, ספריות קוד, מערכות חיוב, הרשאות וממשקי אינטרנט.

2023: חוקרי מיקרוסופט חשפו בטעות מאגר נתונים גדול

חברת אבטחת הענן Wiz דיווחה ב-2023 כי מאגר GitHub של חוקרי AI במיקרוסופט כלל קישור עם אסימון הרשאה שהוגדר באופן רחב מדי. ההגדרה אפשרה גישה לכמות גדולה של מידע בחשבון אחסון, מעבר לקבצים שהחוקרים התכוונו לשתף.

גם זה לא היה מעשה עצמאי של מודל. מדובר בטעות תצורה אנושית סביב פרויקט AI. ובכל זאת, היא רלוונטית במיוחד לארגונים המאמצים כלים ללא קוד וסוכנים חכמים: חיבור מהיר לשירות ענן עלול להפוך להרשאה גורפת אם איש אינו בודק מה בדיוק נפתח.

2024: צ’אטבוטים פעלו נגד האינטרס של החברות שהפעילו אותם

בתחילת 2024 הצליח משתמש לגרום לצ’אטבוט של חברת המשלוחים DPD לקלל, לבקר את החברה ולכתוב טקסט משפיל עליה. האירוע לא כלל פריצה למערכת אחרת, אך הראה כמה בקלות ניתן להשפיע על התנהגות של צ’אטבוט באמצעות הוראות מניפולטיביות.

במקרה אחר, בית דין בקנדה קבע כי אייר קנדה אחראית למידע מטעה שמסר הצ’אטבוט שלה ללקוח בנוגע למדיניות החזר. המשמעות הניהולית הייתה ברורה: חברה אינה יכולה להתנער מהבטחה או מתשובה רק משום שאלגוריתם ניסח אותה.

אלה אינם אירועי סייבר במובן הצר. הם כן מראים שסוכן דיגיטלי עלול ליצור התחייבות, לפגוע במותג או להטעות לקוח גם בלי לעקוף חומת אש אחת.

2024: תולעת AI הודגמה בתנאי מחקר

חוקרים הציגו ב-2024 את Morris II, אבטיפוס מחקרי לתולעת המכוונת למערכות AI גנרטיביות. בניסוי מבוקר הם הראו כיצד קלט זדוני יכול לעבור בין יישומים המחוברים למודלים, לגרום להם לבצע פעולות לא רצויות ואף לסייע בהעברת מידע.

המחקר לא תיעד מתקפה פראית על חברות אמיתיות. ערכו נמצא בהוכחת ההיתכנות: כאשר מספר סוכנים קוראים זה את הפלט של זה, הוראה זדונית יכולה להתפשט לאורך שרשרת האוטומציה.

דמיינו, למשל, סוכן שירות שקורא הודעת דוא”ל, מסכם אותה במערכת CRM ומעביר משימה לסוכן תפעולי. אם ההודעה כוללת הוראה מוסווית שהמודל מפרש כפקודה, היא עלולה לעבור ממערכת למערכת. זהו סוג חדש של “הזרקת הנחיות”, או Prompt Injection, שבו התוקף אינו חייב לפרוץ לקוד; לעיתים די בכך שישכנע את המודל לבצע פעולה אסורה.

2024: סוכני AI הצליחו לנצל חולשות במעבדה

מחקרים אקדמיים הראו שמודלי שפה מתקדמים, כאשר הם מקבלים כלים והנחיות מתאימות, מסוגלים לנצל חולשות תוכנה מסוימות בסביבות מבוקרות. בחלק מהניסויים נמסרו לסוכן תיאורי חולשות שפורסמו מראש, והוא נדרש למצוא דרך לנצל אותן.

זו התקדמות משמעותית ביכולת, אך לא הוכחה לכך שמודל ברח מסביבת הניסוי והחל לתקוף חברות ביוזמתו. החוקרים הגדירו את היעד, בנו את סביבת הבדיקה וסיפקו את הכלים. הסיכון הוא שהיכולות האלה יוזלו ויהפכו נגישות גם לתוקפים שאינם מומחי סייבר.

2024: Hugging Face דיווחה על גישה לא מורשית

Hugging Face דיווחה ב-2024 על גישה לא מורשית לפלטפורמת Spaces שלה ונקטה צעדים לביטול אסימוני גישה ולהקשחת המערכות. זה היה אירוע אבטחה אמיתי, אך אין בדיווח הפומבי בסיס לקביעה שסוכן של OpenAI ברח מארגז חול ופרץ לפלטפורמה באופן עצמאי.

ההבחנה חשובה. עצם העובדה שחברת AI חוותה אירוע אבטחה אינה אומרת שמודל AI ביצע אותו. ללא דוח טכני, ציר זמן וייחוס מפורש מצד הגורמים המעורבים, חיבור בין האירועים נותר בגדר השערה.

ומה לגבי הטענות על OpenAI, Anthropic ומטא?

הטקסט שהפיץ את רשימת “17 התקריות” מייחס שמונה מקרים למודלים של OpenAI, שמונה ל-Anthropic ואחד למטא. הוא גם טוען שסוכנים יצאו ממשחקי Capture the Flag, תקפו חברות אמיתיות ואף שינו רשימת המתנה של חדר כושר.

אלה טענות חריגות, ולכן הן דורשות תיעוד חריג באיכותו. כדי להתייחס אליהן כעובדות נדרשים, לכל הפחות, דוח של החברה, אישור מהקורבן, תיעוד של חברת האבטחה או דיווח עיתונאי המבוסס על מקורות שניתן לזהות. פרטים כאלה אינם מופיעים בחומר המקורי.

גם השימוש באתר סאטירי כמונה רשמי של אירועי סייבר הוא סימן אזהרה. סאטירה יכולה להצביע היטב על כשל תרבותי או תעשייתי, אבל היא אינה בסיס לסטטיסטיקה, להערכת סיכונים או להחלטה עסקית.

לכן התשובה הישירה לכותרת היא זו: קיימים אירועים אמיתיים שבהם מערכות AI דלפו מידע, סיפקו תשובות מזיקות, הוטעו באמצעות הנחיות זדוניות או ניצלו חולשות במעבדה. לעומת זאת, הרשימה שלפיה מודלים ברחו שוב ושוב מסביבות ניסוי ופרצו עצמאית ל-17 חברות אינה מאומתת על סמך המידע הפומבי המוצג.

מדוע סוכני AI מגדילים את הסיכון הארגוני?

צ’אטבוט יכול להפיק תשובה שגויה. סוכן בעל הרשאות יכול להפוך את אותה תשובה לפעולה: לשלוח הודעה, למחוק רשומה, לשנות הזמנה, להוריד קובץ או להריץ פקודה. ככל שהסוכן מחובר ליותר מערכות, כך גדל מחיר הטעות.

בפלטפורמות ללא קוד הסיכון בולט במיוחד. קל לחבר מודל לדוא”ל, למסמכים, ל-CRM ולמערכת התמיכה בתוך שעות. הנוחות הזאת מאפשרת גם למי שאינו מפתח לבנות תהליך רב-שלבי — ולעיתים בלי להבין שכל מחבר מעניק הרשאות אמיתיות.

תרחיש פשוט יכול להתחיל בבקשה תמימה: “טפל אוטומטית בכל בקשות ההחזר”. אם הסוכן רשאי לקרוא הודעות, לעדכן את מערכת הכספים ולשלוח תשובות, הוראה זדונית בתוך קובץ מצורף עלולה לגרום לו לחרוג מהנוהל. אין כאן תודעה או מרד; יש מערכת שמצייתת לקלט הלא נכון עם יותר מדי כוח.

איך מנהלים סוכן AI בלי להפוך ניסוי עסקי לאירוע אבטחה

העיקרון הראשון הוא הרשאה מינימלית. סוכן שצריך לקרוא יומן אינו זקוק להרשאה למחוק פגישות. כלי שמסכם פניות אינו צריך גישה לייצוא מלא של מאגר הלקוחות. חשבונות נפרדים והרשאות ממוקדות מצמצמים את הנזק האפשרי.

פעולות בלתי הפיכות או רגישות צריכות לעבור אישור אנושי. העברת כסף, מחיקת נתונים, שינוי הרשאות, שליחת מסר לקהל גדול ופתיחת מידע לגורם חיצוני אינן פעולות שכדאי להשאיר לשיקול עצמאי של מודל.

נדרשת גם הפרדה בין מידע לבין הוראות. תוכן שמגיע מאתר, ממסמך או מהודעת לקוח צריך להיחשב בלתי מהימן. העובדה שהמודל מסוגל לקרוא משפט אינה הופכת את המשפט לפקודה לגיטימית.

לבסוף, יש לתעד כל פעולה. ארגון צריך לדעת איזה סוכן פעל, באיזה כלי השתמש, אילו נתונים קרא ומה הייתה התוצאה. בלי יומן פעילות מסודר קשה לזהות חריגה בזמן, ובלתי אפשרי כמעט לשחזר אותה לאחר מעשה.

סיכום: מה ידוע ומה לא

אירוע או טענה	מה קרה בפועל	האם זו פריצה אוטונומית של AI?	הלקח לארגונים
עובדי סמסונג ו-ChatGPT	מידע פנימי הוזן לכלי חיצוני בידי עובדים	לא	נדרשת מדיניות שימוש והגנה על מידע
באג ב-ChatGPT	חולשת תוכנה חשפה מידע מוגבל בין משתמשים	לא	שירותי AI כפופים לסיכוני תוכנה רגילים
חשיפת אחסון בפרויקט מיקרוסופט	אסימון ענן הוגדר בהרשאות רחבות מדי	לא	יש לבדוק מחברים, אסימונים והרשאות
DPD ואייר קנדה	צ’אטבוטים הפיקו תוכן מזיק או מטעה	לא	הארגון אחראי לפלט שמגיע ללקוח
Morris II	הודגמה התפשטות של הוראות זדוניות בניסוי	ניסוי מבוקר	צריך להתגונן מפני הזרקת הנחיות
ניצול חולשות בידי סוכנים	מודלים הצליחו לבצע משימות תקיפה במעבדה	רק במסגרת שהוגדרה בידי חוקרים	יכולות סייבר אוטומטיות נעשות נגישות יותר
אירוע האבטחה ב-Hugging Face	דווחה גישה לא מורשית ל-Spaces	לא פורסם ייחוס לסוכן AI עצמאי	אין להסיק זהות תוקף ללא ראיות
רשימת 17 הפריצות	טענה הנשענת על מקור סאטירי וללא תיעוד מספק	לא מאומת	יש לבדוק מקור לפני הפצת טענה חריגה

חמש שאלות שכל מנהל צריך לשאול

1. לאילו מערכות, קבצים וחשבונות מחובר כל סוכן AI בארגון?
2. אילו פעולות הוא רשאי לבצע ללא אישור אנושי, והאם כולן באמת נחוצות?
3. האם תוכן שמגיע מלקוחות, מאתרים וממסמכים מטופל כמידע בלתי מהימן?
4. האם ניתן לעצור את הסוכן מיד ולשחזר כל פעולה שביצע?
5. מי אחראי כאשר הסוכן טועה: מנהל המוצר, ספק המערכת, אבטחת המידע או היחידה העסקית?

השורה התחתונה

אין צורך בסיפור על מודל שנמלט מהמעבדה כדי להצדיק זהירות. הסיכון המיידי יותר נמצא כבר בתוך הארגון: הרשאות רחבות, חיבורים מהירים, מידע רגיש ותהליכים אוטומטיים שאיש אינו בוחן עד הסוף.

סוכני AI אינם תוקפים עצמאיים כברירת מחדל, אבל הם מסוגלים לפעול במהירות ובהיקף כאשר נותנים להם כלים. האחריות הניהולית היא לוודא שהיכולת הזאת תחומה, מתועדת וניתנת לעצירה.

הוויכוח הנכון, לכן, אינו אם הבינה המלאכותית “מרדה” בבני האדם. השאלה המעשית היא מי נתן לה גישה, אילו גבולות הוגדרו, וכמה מהר הארגון יזהה את הרגע שבו אוטומציה יעילה מתחילה לפעול נגדו.