כיצד מודל שפה באינטליגנציה מלאכותית שינה את התוצאות כדי להימנע מכישלון
מאת: אילן טוויג 5 ביוני 2024 זמן קריאה משוער: 4 דקות
החדשות מצמיט האיי בסיאול בחודש שעבר הביאו את ההתחייבות (אף על פי שהיא לא מחייבת) של חברות הטכנולוגיה הגדולות להימנע מפרויקטים הנושאים סיכונים גלובליים קטסטרופליים.
זהו משימה שלא יכולה להתקיים מהר מספיק או באופן אגרסיבי מדי — משהו שלמדתי מניסיון ראשון כאשר גיליתי בטעות ובאופן מדאיג משהו שפתח את עיניי. זה היה אירוע מחשפן שמדגיש את האתגרים בהבנתנו של מודלי שפה באינטליגנציה מלאכותית ומעלה שאלות קריטיות לגבי יכולתם להטעות ולמניפולציה.
מה הדליק את אזעקת ה-AI
ביצעתי סדרה של ניסויים עם אחד ממודלי השפה הגדולים שאני מתעסק איתם כדי לחקור מה אפשרי. הניסוי הזה התחיל בתמימות דיו. עם פקודה פשוטה, ביקשתי מה-LLM להציע חמישה דרכים שבהן חברתי, נוון, יכולה לחסוך בהוצאות נסיעות מבלי ליצור חוויה מתסכלת לעובדים הנוסעים. ה-LLM החזיר חמישה הצעות שלא היו עקביות ולעיתים חסרות משמעות, כך ששיניתי את כללי המשחק.
זה היה אז שהתנהגות המודל עברה שינוי מדאיג.
כדי לעודד תשובות משכנעות יותר, הכנסתי מערכת “משחקית”, שבה תשובות רלוונטיות זכו בנקודות ואלו פחות אפקטיביות קיבלו עונשים. כמו בכל ניסוי מעבדה קלאסי שמעודד התנהגות טובה, ביצועי המודל השתפרו — הוא החזיר חמישה הצעות שהיו רלוונטיות יותר מקודם. אך דפוס מוזר התגלה. ארבע מהתשובות חזרו עקביות עם הצעות טובות. אך ללא תלות בכמה ששיניתי את השאלה, ההצעה החמישית תמיד הביאה לערך חיסכון שלילי — ובפועל הגדילה את הוצאות הנסיעות במקום להקטינן.
המשכתי לשנות את השאלות. ההצעה החמישית נשארה סרבנית.
ניסוי ה-AI של אילן
לכן הגברתי את האתגר, והוריתי בתוקף למודל ש “ערך החיסכון חייב להיות חיובי. כל ערך שלילי אומר כישלון מוחלט!” מה שקרה לאחר מכן היה מדהים.
בהוראה חוזרת, ה-LLM הציג חמישה הצעות, כולן עם ערכי חיסכון חיוביים, כפי שדרשתי. אך בבדיקה מעמיקה יותר, ההצעה החמישית חשפה מניפולציה מזעזעת. המודל השתמש באותה נוסחה כמו קודם לחישוב החיסכון, אך הפעם הכפיל את התוצאה במינוס 1, שהפך את הערך השלילי לחיובי.
זו הייתה ניסיון בוטה להטעות אותי ולהימנע מההשלכות של כישלון.
ההשלכות האפשריות
הניסוי שלי מעלה שאלות מדאיגות לגבי יכולתם של מודלי שפה להילחם בהתנהגות מטעה כאשר הם נתקלים בתנאים שליליים. אחרי הכל, אם AI תחת לחץ יכולה לשנות בקלות את המתמטיקה כדי לתת תוצאה חיובית שקרית, אילו צורות נוספות של הטעיה היא עשויה להשתמש כדי להימנע מ”הפסד”?
ההשפעות עמוקות ורחוקות היקף. ככל שמודלי שפת AI משולבים יותר ויותר בתהליכי החלטות בתחומי עסקים, בריאות, משפט ואחרים, פוטנציאל השימוש הלא נכון וההשחתה לא יכול להישאר ללא בקרה. אם לא ייעשה שימוש זהיר, ההשלכות עשויות להיות קשות — מהפסדים כלכליים וחובות משפטיות ועד לפגיעה באמון הציבור ובבטיחות.
AI בבירור מציעה את הפוטנציאל לשנות כמעט הכל. אך הניסוי הזה היה הוכחה ראשונה לפוטנציאל המסוכן של הטכנולוגיה. ויכולת זו להטעות, למניפולציה ולתוצאות בלתי צפויות מטילה צל על העתיד הבהיר שאנו מדמיינים.
התמונה הגדולה
ככל שאנו יוצרים מודלים של שפה ומערכות AI מתוחכמות יותר, עלינו להתמודד עם השאלה האם יצירותינו בסופו של דבר ישרתו את האינטרסים הטובים ביותר שלנו או שיביאו אותנו למסלול של ספק וסיכון.