זאבי קמיקזה

מערכת בינה מלאכותית דימתה קבלת החלטות של זאבים טורפי כבשים: היא הפתיעה את מפתחיה והעמידה שאלות ולקחים כלליים
X זמן קריאה משוער: 5 דקות

הדבר קרה בסין. ב-2019, שני סטודנטים באוניברסיטה פיתחו פרויקט בינה מלאכותית שעניינו היה משחק פשוט מסוג "זאב נגד כבשים". הבכיר בצוות, בחור מתאילנד שלמד בסין, עזב לאחר סיום לימודיו והחל לעבוד באוסטרליה, והפרויקט נזנח.

החבר הזוטר בצוות פנה להוראה. יום אחד בחודש מרץ 2021, הוא סיפר בהודעת טקסט לאחד הסטודנטים שלו על התוצאות הראשוניות של הניסוי. הסטודנט כל כך הסתקרן למשמע הסיפור, שהוא צילם את המסך ושיתף עם חבריו.

צילומי המסך האלו נעשו ויראליים ברשתות החברתיות הסיניות, והפכו לסנסציה בזעיר אנפין.

מוטב למות מפגיעת סלע מאשר ללכוד כבשים

המשחק היה פשוט. שני זאבים ושש כבשים מוצבים באקראי במרחב הממוחשב של המשחק. על הזאבים ללכוד את כל הכבשים בתוך 20 שניות, תוך שהם חומקים מסלעים הנמצאים באותו מרחב. כדי לעודד את הזאב שנוצר באינטליגנציה מלאכותית לשפר את הביצועים שלו, נכללה במשחק מערכת פשוטה של ניקוד.

אם הזאב תופש כבשה, הוא צובר 10 נקודות. אם הוא פגע בסלע, הוא מפסיד נקודה. כדי לעודד את הזאבים לתפוש את הכבשים מהר ככל האפשר, 0.1 נקודות הופחתו מהזאבים עבור כל שנייה שחלפה. לזאבים ניתנו יכולות נוספות ומידע שנועד לסייע להם בצייד – הכיוון שהם פונים אליו, מה נמצא לפניהם, היכן הכבשים, מהירות הזאב, מהירויות הכבשים ועוד.

המטרה הייתה לראות האם הזאבים יוכלו, באמצעות אימון ואימון חוזר במערכת האינטליגנציה המלאכותית, למצוא דרך להשיג ניקוד מירבי.

לאחר 200 אלף איטרציות, החוקרים גילו שהזאבים פשוט מתרסקים אל הסלעים כדי להתאבד. ושהם נוהגים כך רוב הזמן.

זאב, סלע

זאב וסלע: דילמה? תצלום: ג'יאן לוקה פיליה

קמיקזה סלעים

לאחר שלושה ימים של ניתוח הנתונים, הבינו שני יוצרי המשחק מדוע הזאבים מתאבדים במקום לתפוס כבשים.

באיטרציות הראשונות, הזאבים לא הצליחו לרוב לתפוס את הכבשים, מה שגרר עונשים כבדים מצד מדד הזמן. וכך, הזאב החליט ש"מבחינה הגיונית", אם בתחילת המשחק הוא קרוב דיו לסלעים, התאבדות מיידית תעלה לו בפחות קנסות מאשר אם יבלה את הזמן בניסיונות לתפוס את הכבשים. וכך, בהשמדה עצמית מעוותת, הזאב ביצע "אופטימיזציה" של הביצועים שלו על ידי הפחתה למינימום של הקנסות שהוא סופג.

התוצאה הזו התקבלה כיוון שהבינה המלאכותית התמקדה בניסיון למצוא דרך לבצע אופטימיזציה מתמטית של הביצועים שלה: והרי כך קורה עם רוב האלגוריתמים ללימוד מכונה.

תוצאות בלתי צפויות של קופסאות שחורות

למרבה האירוניה, התגובה חסרת הרגש הזאת מצדה של בינה מלאכותית של משחק פשוט עוררה תגובה רגשית עזה בקרב הציבור האינטרנטי בסין, והאנקדוטה על "זאב הקמיקזה" התפשטה בשורה של פלטפורמות של רשתות חברתיות.

שלא במפתיע, הסיפור עורר את מיני הדאגות המוכרות בדבר אתיקה ובטיחות של בינה מלאכותית. פוסט ב-Zhizhu (המקבילה הסיני ל-Quora) ציטט רשימה של דוגמאות למקרים שבהם ניסויי אינטליגנציה מלאכותית בתחום האבולוציה הניבו תוצאות בעייתיות בעבר – אחדות מהן מזעזעות ואפילו עלולות להיות מסוכנות.

למשל, ניסוי שנערך ב-1994 בנוגע לאבולוציה של אורגניזמים הראה מין שנוצר באמצעות בינה מלאכותית ואשר הגיע למסקנה שבמקום להתרוצץ בעולם האינטליגנציה המלאכותית שלו כדי לצוד מזון ולחפש בני זוג להתרבות איתם, הפתרון האופטימלי הוא פשוט להישאר במקום, "להזדווג זה עם זה, ללחום זה נגד זה, להרוג זה את זה, ולאכול זה את זה כשהם מתים".

החוקרים, כמובן, כינו את בני המין הזה "קניבלים עצלנים".

ניסוי אחר ניסה לעשות שימוש בבינה מלאכותית כדי לבצע אופטימיזציה לכוח הבלימה המופעל על כבל במנחת המטוסים בנושאת מטוסים, כאשר מטוס מגיע ומתחבר לכבל באמצעות וו שנועד להאט את מהירותו על המסלול במהלך הנחיתה. במקום לערוך את החישובים הדרושים, הבינה המלאכותית הגיעה למסקנה שאם היא תפעיל כוח מספיק, מערכת החישוב תשובש בשל גלישה ותרשום כוח אפס במקום הכוח האמיתי. התופעה אפשרה לבינה המלאכותית להשיג תוצאות מושלמות, כשלמעשה פתרון כזה בעולם הממשי היה גורם לאסון.

דוגמאות נוספות למערכות בינה מלאכותית שהניבו פתרונות מעניינים ובלתי צפויים זמינים במאמר משנת 2019: The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities.

זאבים, מתאבדים, סלעים, אינטליגנציה מלאכותית

זאבי AI מתאבדים. מקור: Xinzhiyuan on WeChat (במאמר המקורי)

זאבים תאגידיים והכבשים שלא ניתן להשיגן

בתפנית עוד יותר פילוסופית, עובדים סינים צעירים בעולם התאגידי, הסובלים מדמורליזציה, ראו בזאב בעל הנטייה העיקשת להתאבדות מטפורה מושלמת לעצמם: מעמד חדש של עובדי צווארון לבן – שלעתים קרובות נאלצים לעבוד "996" (מ-9 בבוקר עד 9 בערב, 6 ימים בשבוע) – הרודפים אחר חלום של קידום בעבודה, העלאה במשכורת, נישואין טובים... חלום שנראה חמקמק יותר למרות השגרה המאומצת הבלתי פוסקת.

עד כדי כך, שכמו זאב הבינה המלאכותית, רבים פשוט החליטו שאם נקודת ההתחלה שלהם גרועה, מוטב פשוט לוותר על המצוד. התייחסות קלילה ודשדוש בחיים נראים כטקטיקה הרבה יותר טובה מאשר חיים של מתח עצום תוך סיכון הבריאות.

התופעה אפילו הניבה מונח חדש במילון האורבני הסיני - “躺平, – שפירושו המילולי הוא "לשכב על הגב, שטוח".

לנסות ולנסות שוב

אלא שהסיפור על הפרויקט מ-2019 לא תם, והזאבים בעלי הנטייה ההתאבדותית אינם סוף פסוק. למעשה, עיון בשיחה המקוונת עם היוצר השותף של הפרויקט מגלה שהחוקרים עידנו את תסריטי האימון והגדילו את מספר האיטרציות.

יתכן מאוד שהלקח האמיתי שעלינו ללמוד כאן אינו לקח של חוסר אונים ושל ויתור. הלקח הוא שעלינו לקום, לנסות שוב, ושוב, ולהישאר בעניינים ולהמשיך את הסיפור עד הסוף

לאחר "חמישה דורות" שבכל אחד מהם התקיימו שני מיליון איטרציות, זאבי הבינה המלאכותית החלו סוף סוף להבין איך לתפוס את הכבשים. על אף שהם עדיין ביצעו מדי פעם את "מהלך הקמיקזה" שלהם והתאבדו על הסלעים, כעת היה להם סיכוי סביר לתפוס את כל הכבשים בתוך 25 שניות.

בסופו של דבר, המפתחים החוקרים הגיעו לשתי מסקנות:

  1. ההתנהגות המשונה של הזאבים שנצפתה בהתחלה הייתה פשוט תוצאה של "רציונליות מוחלטת וחסרת רגש" של מערכות הבינה המלאכותית.
  2. קשה לצפות אילו תנאים הם חשובים ומשפיעים ומה אינו חשוב לרשת נוירונים.

גולשים אחדים גם הצביעו על כך שהניסוי לא תוכנן היטב מראשיתו. אילו העונש על התנגשות בסלע היה הרבה יותר מנקודה, זאבי הבינה המלאכותית לא היו בוחרים בהתאבדות כדרך הקלה לגבור באמצעותה על מנגנון המשחק ולנצח.

למרבה הצער, החיים אינם משחק אינטליגנציה מלאכותית. איננו זוכים למספר כה עצום של הזדמנויות לנסות ולהתחיל מחדש. אך יש לנו הרבה יותר יכולת שכלית מאשר לזאבי הבינה המלאכותית והרבה מאוד היסטוריה וחוויות משותפות שניתן ללמוד מהן. שלא לדבר על כך שהכללים והסביבה של החברה האנושית מתפתחים כל העת.

יתכן מאוד שהלקח האמיתי שעלינו ללמוד כאן אינו לקח של חוסר אונים ושל ויתור. הלקח הוא שעלינו לקום, לנסות שוב, ושוב, ולהישאר בעניינים ולהמשיך את הסיפור עד הסוף.

לאנס נג (Lance Ng) הוא משקיע יזם והוגה דעות. המאמר המקורי התפרסם כאן.

אנו מודים למר נג על הסכמתו לתרגום המאמר לעברית.

תרגם במיוחד לאלכסון: אדם הררי

תמונה ראשית: טלאים במרעה, מטרה לזאבים. תצלום: סטיבן טפרה, unsplash.com

Photo by Stephen Tafra on Unsplash

מחשבה זו התפרסמה באלכסון ב על־ידי לאנס נג, Medium.

תגובות פייסבוק

3 תגובות על זאבי קמיקזה

01
יגאל ארבל

כמו תמיד, הניסיון לייצר מערכת בינה מלאכותית כדי לשחזר תהליכים אבולוציוניים היא חסרת סיכוי. במערכת טיבעית זאבי הקמיקזה היו נכחדים עש שגורם חיצוני היה משנה מרכיב שהיה משנה את כללי המשחק. מוטציה שהיתהמשפרת את יכולות הזאבים, כבשים שונות, שנוי בהתנהלות האבנים וכו'. הניסיון לשלב את עולם הרגש בתהליך אין לו סיכוי בהבנת האבולוציה.

02
דני

לא כל כך הבנתי מה עניין הרגש פה. מצד שני - יש פה תובנה מעניינת בנושא ההתאבדות כמנגנון הגיוני להשמדה עצמית בכדי לצמצם תשלום או סבל צפוי. יוחזרו המתאבדים לקבורה בתחומי הגדר, בין אם הם כבשים או זאבים.

03
עמוס שפיר

יש סיפור ידוע על ניסוי שערכו הרוסים במלחמת העולם ה-2: הם אילפו כלבים להתחבא מתחת הטנק הקרוב כשהם שומעים יריות - ואז הביאו אותם לשדה הקרב, שמו פצצה על כל כלב, ושילחו אותם מול הטנקים הגרמנים.

מה שהם לא הביאו בחשבון הוא שהטנקים הגרמנים עבדו על בנזין, והרוסים על דיזל. היה להם ריח שונה. כשהכלבים שמעו יריות, הם חיפשו מייד את הטנק *הרוסי* הקרוב ביותר...

בינה מלאכותית עובדת בצורה דומה. כשהיא מביאה פיתרון, צריך לבדוק אם היא הגיעה לזה דרך היגיון, או שזה רק "הריח" לה טוב...