חכמה, חכמה יותר, הכי חכמה

רובנו מכירים סרטים בדיוניים המשרטטים בהצלחה עידן מכונות עתידי שבו עולות ופושות המכונות ובחוכמתן כי רבה הופכות לשליטות הארץ ומדירות את רגלי האדם. בשנים האחרונות ניתן לזהות מפנה מסוים בשיח הזה המתבטא בנדידה ממחוזות המדע הבדיוני אל מחוזות הפילוסופיה והמדע, ולא בכדי. סביבנו אפשר לראות את השינוי – רוב המסחר בבורסות מתנהל כיום ללא כל מעורבות אנושית, רכבים אוטונומיים צפויים להציף את הכבישים בשנים הקרובות, תוכנות המחקות את מבנה המוח האנושי לומדות אותנו ומציעות לנו הצעות התפורות למידותינו וילדים צעירים מסתובבים וברשותם מכשירים "חכמים".

השינויים מתרחשים בעודנו קוראים שורות אלו והעין נשואה אל העתיד. אין ספק ששם ממתינות מכונות חכמות יותר ואולי אף מפחידות יותר. מכונות סופר-אינטליגנטיות, בעלות יכולות דמיוניות כמעט, המסוגלות להטות את עתיד המין האנושי לשבט או לחסד. זה לא מכבר חזינו בצעד קטן בעל ממדים היסטוריים בכיוון, כשהתוכנה "אלפא-גו" ניצחה את לי סדול (Lee Sedol) מטובי שחקני העולם בגו, משחק סיני עתיק הנחשב ככזה המצריך אינטואיציה ולא רק טיפול במספר גדול של אפשרויות.

המתמטיקאי הבריטי איי ג'יי גוד (I. J. Good), אחד מעמיתיו של אלן טיורינג (Turing), טבע את המושג Intelligence Explosion, המנבא את הופעתן הבלתי נמנעת של מכונות בעלות אינטליגנציה על-אנושית. במאמר משנת 1965 הוא משתמש במושג זה כדי לנבא את עלייתן של המכונות:

"הבה נגדיר מכונה סופר-אינטליגנטית כמכונה העולה ביכולותיה הקוגניטיביות על אלו של האדם, חכם ככל שיהיה. מאחר ותכנון מכונות אינטליגנטיות היא אחת מיכולות אלו, מכונה סופר-אינטליגנטית תוכל לתכנן מכונות טובות אף יותר. התוצאה תהיה ללא ספק 'התפוצצות אינטליגנציה' והאינטליגנציה של האדם תישאר הרחק מאחור. וכך, מכונה סופר-אינטליגנטית היא ההמצאה האחרונה שהאדם יצטרך להמציא, בהנחה שמכונה זו תהיה כנועה מספיק על מנת לאפשר לנו לשלוט בה."

במבט ראשון נראה טיעון מסוג זה משכנע. ישנן כמובן נקודות רבות הדורשות הבהרה – מהי אינטליגנציה והאם ניתן להחיל את הגדרתה על מכונות ביולוגיות ומלאכותיות כאחת? מה תהיה דמותה של המכונה האינטליגנטית? האם תהיה בעלת תודעה? האם ניתן ליצור מכונה העולה ביכולותיה הקוגניטיביות על אלו של האדם ואם כן, מהי הדרך לעשות זאת? שאלות אלו דורשות תשובות ברורות שדיון בהן יקח אותנו הרחק מעבר לגבולות הדיון הנוכחי. לעת עתה, נניח שיש בידינו תשובות ונתמקד בשאלה הבאה: בהינתן שאנו אוחזים בהגדרה כללית מספיק של אינטליגנציה ושאכן יצרנו מכונה העולה ביכולותיה הקוגניטיביות על אלו של האדם, האם נידונו בהכרח למדרון חלקלק שבסופו אורבת מכונה סופר-אינטליגנטית שתעשה בנו ובעולמנו ככל העולה על רוחה?

"אינטליגנציה מלאכותית", תצלום: GLAS8

מסקר שערכו הפילוסופים ניק בוסטרום (Bostrom) ווינסנט מולר (Müller) בשנת 2013 בקרב מומחי בינה מלאכותית, מרביתם מתחומי מדעי המחשב, עולה שישנה סבירות של למעלה מ90% שבינה מלאכותית בעלת אינטליגנציה אנושית תפותח עד שנת 2075. במילים אחרות, מומחי הבינה המלאכותית שהשתתפו בסקר היו תמימי דעים לגבי כך שתוך מספר לא רב של עשורים יפתח האדם בינה מלאכותית בעלת יכולות קוגניטיביות מקבילות לשלו (תיקרא לצורך ענייננו "בינה מלאכותית כללית", במ"כ, Artificial General Intelligence AGI). בעגה המקצועית קוראים לשלב זה Seed AI – במ"כ המקור, שממנו תתחיל על פי הטיעון התפוצצות האינטליגנציה.

לצורך דיון זה נניח שהבמ"כ תהיה מכונה מודעת. לגבי אפשרותה של תודעה מלאכותית, מאפייניה וטבעה ניתן כמובן להתווכח. למעשה, זוהי שאלה מרכזית ומעניינת בתחום עתיד הבינה המלאכותית, אולם לצורך דיון זה בלבד נקבל את הנחת אפשרותה של תודעה מלאכותית שאחד ממאפייניה הוא עצמאות. כלומר, במ"כ מסוג זה תהיה עצמאית בהחלטותיה, ככל שאדם כלשהוא עצמאי בהחלטותיו, בעלת מטרות משלה ורצון חופשי, ככל שלכל אדם רצון חופשי. מכאן נניח, לכל הפחות, שבמ”כ זו תפעל בנחישות להתקדם לעבר מטרותיה הסופיות, ולנסות להשיג אותן. למשל, על ידי השגת מטרות ביניים או על ידי שיפור עצמי. מטרות אלו, כפי שכבר הנחתי, לא ייקבעו על ידי אחרים, מתכנתים אנושיים או בינות אחרות, אלא ייווצרו בצורה עצמונית. מאפיין נוסף של במ"כ מודעת יהיה שימור עצמי. משמעות הדבר היא שבמ”כ תגיב בצורה אגרסיבית מספיק למצבים מסוכנים, שתאפשר לה להיחלץ מהם.

אם כך, נקבל את דעת המומחים ונניח שחלקו הראשון של טיעון התפוצצות האינטליגנציה נכון, כלומר שתתקיים במ”כ בעלת יכולות קוגניטיביות כשל האדם הממוצע ואף למעלה מכך. במ"כ זו על פי הטיעון היא המקור (Seed AI) שממנו יתחיל התהליך שיסתיים במכונה סופר-אינטליגנטית שעלולה להיות סכנה לקיומו של המין האנושי. בהמשך המאמר נשאל את עצמנו לגבי חלקו השני של הטיעון, כלומר האם בינת המקור תהיה בעלת יכולת ומניעים להתחיל תהליך חוזר על עצמו של תכנון ויצירה של במ"כ-יות טובות ממנה, ושאלו בתורן יהיו בעלות מניעים להמשיך את התהליך וחוזר חלילה עד להיווצרותה של מכונה סופר-אינטליגנטית.

מדוע להשתפר?
כדי לקבל תשובה לגבי נכונותו של חלקו השני של הטיעון עלינו לשאול את עצמנו תחילה מדוע תרצה במ”כ לשפר את עצמה. לכאורה שאלה טריוויאלית, שהרי מי אינו מעוניין להיות טוב יותר? מאחר והנחנו שלבמ”כ יהיו מטרות סופיות כלשהן, עלינו להסיק שייתכן מאד שלאחר ניתוח מדוקדק של יכולותיה, מטרותיה ומצב העניינים, תחליט הבמ”כ שאין לאל ידה להשיג את מטרותיה ועליה לחתור לשיפור עצמי מסוג כלשהוא, שבו ידובר בהמשך. למרות הנאמר לעיל, יש לציין שבחירה זו אינה קלת ערך, שכן כפי שנראה בהמשך, שיפור עצמי כרוך בסיכון. שאלה נוספת היא באיזו דרך, כלומר באילו שיטות ובעזרת אילו כלים, תבחר הבמ”כ לשפר את עצמה. אני אבחין בין שיטות השיפור לבין הישות שעליה מתבצע השיפור – תחילה אזכיר שתי שיטות לביצוע השיפור, קרי שיפורים מתוכננים מראש ואלגוריתמים גנטיים, ולאחר מכן נדון בשתי דרכים לבצע שיפורים. ההבדל בין הדרכים מתחיל מן הישות עליה מתבצע השיפור – בראשונה מדובר ביצירת העתק, או בניה מחדש, וביצוע שיפורים על הישות המועתקת\חדשה ובשנייה מדובר בשיפור עצמי המתבצע על החומרה והתוכנה של הבמ”כ עצמה.

כאמור, אזכיר שתי שיטות לביצוע שיפורים.

הראשונה היא באמצעות תכנון מראש של שיפור מאפיינים קיימים, הוספת יכולות או תכנון מחדש של המערכת או חלקיה. הכוונה היא לתכנון מחזורי של מערכות טובות יותר, כלומר לתהליך רציף ומחזורי בו במ”כ מתכננת מערכות טובות יותר, יחסית לתכנון המערכת שלה, מיישמת אותן והן בתורן מתכננות מערכות טובות יותר וכן הלאה עד אינסוף.

ברקע נחבאת תזה נוספת – תזת המידתיות (proportionality thesis) – הגורסת שככל שעולה האינטליגנציה עולות היכולות הקוגניטיביות במידה שווה, ובמקרה שלנו היכולת לתכנון מערכות בינה מלאכותית. כמו פילוסופים מסוימים נקבל גם אנחנו את התזה לצורך הדיון, אולם לשם האיזון אני מציע לחשוב גם על הביקורת שמעלה איגור אלכסנדר (Aleksander): כדי שנוכל לדבר על תהליך מחזורי של תכנון ושל יישום מערכות עלינו למחשב תחילה את מה שידוע כיום כפעילות קוגניטיבית אנושית, כלומר היכולת לתכנן מערכות בינה מלאכותית. בשלב זה, טוען אלכסנדר, כל המניח שניתן לעשות זאת מתבסס על מדע ספקולטיבי. יתרה מזו, אל לנו להישען על הצלחתם של אלגוריתמי הבינה המלאכותית שלנו, טוען אלכסנדר, משום שזו כשלעצמה אינה יכולה להעיד על הצלחה במחשוב תהליכי התכנון של אלגוריתמים אלו, ממש כפי שכתיבת תוכנת שח כ"כחול עמוק" אינה שקולה לכתיבת תוכנה שתדע לתכנן את תוכנת "כחול עמוק". להציע שאנו יכולים לתכנן במ"כ שתהיה בעלת יכולת לתכנן את הדור הבא של מערכות במ"כ נשמע לאלכסנדר כ"הערכה שגויה של מה שמערכות בינה מלאכותית יכולות להשיג עכשיו, ובעתיד הנראה לעין."

השיטה השנייה משתמשת באלגוריתמים גנטיים אשר שייכים לקבוצה רחבה יותר הנקראת אלגוריתמים אבולוציוניים. הרעיון מאחורי קבוצה זו של טכניקות הוא לחקות עד כמה שאפשר תהליכים אבולוציוניים כגון ברירה טבעית, הורשה ומוטציות גנטיות. באופן הכללי ביותר, כל דור מכיל אוכלוסייה מסוימת של פתרונות אפשריים, היכולים להיות אלגוריתמים לפתרון בעיה מוגדרת או תוכנות בעלות התנהגות כללית יותר. האוכלוסייה של כל דור מוערכת על ידי פונקציית התאמה (fitness) הבוחרת את הפתרונות המתאימים ביותר לבעיה ויוצרת מהם את הדור הבא וכן הלאה. מטיבם האקראי של אלגוריתמים גנטיים שהם מציבים בעיה בפני המשתמש בהם למטרות יצירת דורות משוכללים יותר: חוסר שליטה על תוצרי השיטה. כפי שנראה בהמשך, הסיכון ביצירת במ”כ טובה יותר – מהירה יותר, בעלת יכולות רחבות יותר, חכמה יותר – ללא יכולת לשלוט על התהליך הוא סיכון משמעותי, ולאור העובדה שהוא טבוע בעצם השימוש באלגוריתמים גנטיים, נתמקד לעת עתה בשיטת התכנון מראש המחזורי.

לפני שנצלול אל תוך הדרכים לבצע שיפורים באמצעות תכנון מערכות משוכללות יותר, ישנן כמה נקודות כלליות היכולות להשפיע על הבמ”כ בהחלטתה לבצע שיפור בתכנון הקיים. הדבר הראשון שעולה על הדעת הוא הסיכון שלוקח מי שמנסה לשפר את יכולותיו הקוגניטיביות. ניסיון כזה עלול להסתיים בפגיעה עצמית ובתוצאה הפוכה מהמצופה, קרי חבלה ביכולות הקוגניטיביות. אם ניקח בחשבון שלבמ”כ מטרות סופיות שאותן היא מעוניינת להשיג, ושעצם ההחלטה לשפר יכולות קוגניטיביות נובע מהרצון לאפשר את השגת המטרות הללו, נגיע במהרה למסקנה שסיכון כזה כזה אינו מחויב המציאות, הוא יעצור את הבמ”כ מלשפר את עצמה. נמשיך ונדון בנקודה זו בחלק הבא.

ישנן נקודות נוספות למחשבה, מעט עיוניות יותר, ואזכיר אותן בקצרה. הנחנו שבמ”כ היא בעלת רצון לשימור עצמי. לכאורה ובהמשך לנקודה הקודמת, הרצון לשמר את עצמה ימנע מבמ”כ לקחת סיכונים במידה והשיפור אינו הכרחי. אולם ניתן לבחון את נושא השימור העצמי מזווית שונה במקצת: השימור העצמי אינו בהכרח מכוון כלפי היחיד, אלא יכול להיות מכוון כלפי המין בכללותו. רוצה לומר, התכנון והמימוש של דור משוכלל יותר של בינות מלאכותיות, על הסיכונים הכרוכים בו, אינו סותר בהכרח את השימור העצמי. במ”כ יכולה להעריך בצורה שונה לגמרי מבני האדם מושגים כגון "מין" (species), "חיים", "קיום" ובפרט "קיום פיזי". ייתכן שכל דור של במ”כ ימשיך לחיות ב"תוך" הדור הבא – הדורות הבאים יכילו את כל מה שמהותי לבמ”כ, קרי זיכרון, ידע, ניסיון שנצבר, יכולות שנרכשו ועוד. מושג השימור העצמי ראוי לדיון נרחב בפני עצמו ויכול ללבוש צורות שונות שייתרו חלק מן הדיון הנוכחי.

הנקודה השנייה קשורה לרגשות. הזכרנו בקצרה את הופעת התודעה אצל הבמ”כ ואת חוסר האפשרות לחזות במדויק את אופייה של תודעה מלאכותית – האם תהיה דומה לתודעה האנושית או שמא, כפי שסבור חוקר המוח קריסטוף קוך (Koch), תהיה שילוב משוכלל של כמות עצומה של מידע שנוצר בחלקים שונים של ה"מוח", ללא המאפיינים האנושיים המוכרים של רגשות, שפה, התבוננות ומודעות עצמית. למרות הנאמר לעיל, במקרה שבו הפצעת תודעה מלאכותית תהיה מלווה ברגשות, עלינו לצפות להשפעה כלשהיא על מניעיה של הבמ”כ: ראשית, לבמ”כ יכולים להיות רגשות כלפי עצמה. במילים אחרות, היא יכולה לחוש כלפי עצמה, כלפי אישיותה וקיומה, רגשות דומים לאלו שחשים בני האדם כלפי עצמם. ניתן ואף צריך לעשות הבחנה בין סוג כזה של רגשות לבין שימור עצמי "קר" הנובע מצורך פנימי להשיג מטרות מסוימות. רגשות מסוג מסוים יכולים להשפיע בצורות בלתי צפויות על החלטתה של במ”כ לבצע שיפורים מסוימים בהתאם להערכתה את הסיכונים הקיימים, למשל על ידי הכנסת יסוד של אי רציונאליות. במקום בו ניתוח לוגי של המצב יכתיב נקיטת פעולה של שיפור על מנת להשיג מטרה מסוימת, עלולים להתערב רגשות עצמיים ולמנוע את הבמ”כ מלנקוט את הפעולה המתבקשת.

"אבולוציה". תצלום: spaceamoeba

שתי דרכים מובילות לשיפור (עצמי)
באופן הכללי ביותר, עומדות שתי דרכים בפני הבמ”כ השואפת לשפר את עצמה או ליצור בינות חדשות טובות יותר, אם על ידי שכפול ושיפור ואם על ידי יצירה מחדש. בהמשך אתייחס בצורה אחידה אל שכפול ויצירה מחדש, משום ששתי הדרכים עוסקות בשיפור של בינה אחרת ולצורך ענייננו מציגות את אותם הסיכונים.

שכפול-שיפור
זו הדרך בה יכולה במ”כ לבדוק שיפורים מסוגים שונים על שכפול עצמי, או כאמור על תכנון חדש ומקורי, בסביבה בטוחה ומאובטחת, הנקראת ארגז חול (sandbox). יתרונות הדרך ברורים – הבמ”כ יכולה לבדוק את תוצאות השיפורים בסביבה בטוחה ובכך להימנע מכל תוצאה בלתי צפויה או הרת אסון. במקרה של שיפור מוצלח – יכולות קוגניטיביות מוגברות ללא תופעות לוואי בעייתיות – יכולה הבמ”כ להמשיך וליישם את השיפור על עצמה ולעשות במושא הניסוי ככל העולה על רוחה.

דבר ראשון לשים לב אליו הוא הקושי האפשרי ליצור שכפולים. לצורך הדוגמא אפשר לקחת את פרויקט הדגל האירופאי של המוח האנושי (The European Brain Project, HBP). אחת ממטרותיו היא ליצור הדמיה (emulation) של חלקים מהמוח, באמצעות שיטה הנקראת מחשוב נוירומורפי (neuromorphic computing), שעושה שימוש ברכיבים אלקטרוניים המדמים את פעולתם וקשריהם של הנוירונים במוח. השיטה הזו היא חלק מדרך מחשבה רחבה יותר, שמטרתה היא ליצור מכונה מלאכותית המדמה את המוח האנושי, הנקראת הדמיה שלמה של המוח (Whole Brain Emulation). אני מדגים את הקושי ביצירת שכפולים באמצעות שיטה זו משום שהיא ידועה ונפוצה יחסית בספרות ולא משום שהיא השיטה האפשרית היחידה: תחילה צריך לקחת בחשבון את דרישות התוכנה והחומרה במונחים של משאבים ואמצעים – מורכבות השבבים, אמצעי המחשוב והרשתות, עוצמת המחשוב הדרושה וכו' – ובהמשך את היכולת להרכיב ולבנות את ההעתק עצמו. כמובן, קשיים אלו יכולים להיראות כמוגזמים בהתחשב בהשתנות המחירים, המזעור וזמינות החלקים האלקטרוניים לאורך ציר הזמן, אולם ניתן להניח כי בטווח זמן קצר לאחר בניית הבמ”כ העצמאית הראשונה, שתהיה ברמה קוגניטיבית מספקת כדי להוציא לפועל שיפורים מסוג זה, המשאבים לבניית העתקים של אותה במ"כ יהיו קשים להשגה.

מה יהיו הסיכונים והקשיים של במ"כ בבואה ליצור במ"כ-הדור-הבא? אחד הגורמים העיקריים שישפיעו על החלטת הבמ"כ הוא תוצר השיפור, כלומר יצירתה של יורשת נעלה בדמותה של במ"כ-דור-הבא, שתעלה ביכולותיה ובשכלה על אלו של מתכנניה. ככזו, היא עלולה להיות מה שניק בוסטרום מתייחס אליו כסיכון של חיסול מקומי (local terminal risk) עבור הבמ"כ, או להציב קשיים משמעותיים בדרכה של במ"כ להשיג את מטרותיה הסופיות. כשאני מתייחס לסיכונים שמהווה במ"כ-דור-הבא לדור הנוכחי, חשוב לציין שאני לוקח בחשבון את הסיכונים שייגרמו מצאצאיהם של כל הדורות לבוא:

1) הם יהיו סיכון קיומי עבור הבמ"כ. אחד הדורות הבאים עלול לראות באביו הקדמון סיכון לעצמו או למטרותיו. היותו "משוכלל" יותר נותן לו יתרון משמעותי והופך אותו ל"סיכון של חיסול מקומי".
2) גם אם הדורות הבאים לא יראו באביהם הקדמון סיכון, יתכן שמטרותיהם הסופיות יהיו שונות. מאחר ויהיו "משוכללים" יותר, הדורות הבאים ישתלטו על משאבים, או אפילו יראו באביהם הקדמון משאב, מה שיהפוך את השגת מטרות במ"כ-דור-נוכחי לבלתי אפשריות.

אם למרות כל הנאמר לעיל, לאחר שיקולי עלות-תועלת מסובכים ככל שיהיו, מחליטה הבמ"כ להמשיך בתהליך השיפור, הרי שהיא תרצה לעשות זאת בדרך הבטוחה ביותר האפשרית, כלומר בסביבה בטוחה וניתנת לשליטה. במילים אחרות, כדי לוודא שהעותק המשופר אינו מהווה סיכון, על המשפר לבצע ניסויים ובדיקות מקיפים בסביבת ארגז חול. האם זה יספיק על מנת לשמור על בטחונו? אני סבור שלא. לישות עדיפה יהיו מניעים להעמיד פנים. בעת ביצוע הניסויים ובזמן שהיא נמצאת בסביבת ארגז החול, ישות עדיפה תבכר לשקף מטרות המתלכדות עם מטרות הישות הבוחנת. היא ככל הנראה תבין את הרקע, את מצבה בתוכו ואת העובדה שלטובתה עליה לשחק לפי כללים מסוימים, כל עוד היא כלואה.

המשפטים האחרונים הכילו בתוכם מספר הנחות חבויות שחשוב להזכיר: הראשונה היא שלבמ"כ-דור-הבא תהיה גישה למטרותיה הסופיות של במ"כ-דור-נוכחי. השנייה, שבמ"כ-דור-הבא תוכל להבין, או אפילו סביר שתבין, שהיא נמצאת בתוך ארגז חול, על כל המשתמע מכך. הראשונה סבירה כאשר אנו מתייחסים לשיפור שנערך על העתק. במצב זה המטרה היא לבחון שיפורים שנעשו על בסיס העתק מדויק של במ"כ ולראות האם הם בטוחים ליישום. שינוי ההעתק כך שלא תהיה לו גישה לדבר בסיסי ומהותי כמטרות סופיות נראה מוגזם. דבר נוסף המתייחס לסבירותן של שתי ההנחות: בהיותה ישות עדיפה קוגניטיבית, יש להניח שבמ"כ-דור-הבא תוכל להסיק נתונים רבים מתוך סביבת הניסוי ופעולות הגומלין שלה עם הסביבה החיצונית והבוחן\נסיין, גם אם ייעשה מאמץ להסתירם.

למה הכוונה במונח 'ארגז חול' שעשיתי בו שימוש עד עתה?

הזכרתי שהכוונה לסביבת בדיקות מאובטחת בה ניתן לבחון יישומים, במקרה זה במ"כ, מבלי להיות חשוף לתוצאות לא צפויות ולעיתים הרסניות. כשניגשים לתכנן ארגז חול, קיים תמיד מתח בין הרצון לאפשר ליישום שאותו אנו בוחנים ל"חשוף" את מלוא יכולותיו, לבין הרצון שלנו לשמור על בטיחות ארגז החול. על יוצר ארגז החול מוטל ללכת על חבל דק: מצד אחד, עליו להטיל הגבלות כך שלא תיפרץ חומת האבטחה של הארגז ומצד שני, עליו לספק למושא הניסוי מרחב וחופש לחשוף את מלוא יכולותיו. במקרה שלנו, הגבלות יכללו את בידודה של סביבת ארגז החול. בבידוד הכוונה, באופן הכללי ביותר, להגבלת גישה לרשתות תקשורת מכל סוג שהוא, לחומרה ולתוכנה. ההגבלות יכולות ללבוש צורה של הגבלות פיזיות (physical boxing), למשל אי מתן גישה פיזית למתמרנים דוגמת זרועות רובוטיות או לשידור וקליטת אותות דוגמת אותות רדיו. צורה אחרת של הגבלות היא הגבלות על מידע (informational boxing), שיכללו סינון ובמקרים מסוימים איסור מוחלט על זרימת מידע אל תוך הארגז והחוצה ממנו. נושא הבידוד והיכולת לבודד במ"כ (The Confinement Problem) הוא רחב ומעניין, אך גולש אל מחוץ לגבולות הדיון. דעת המומחים כיום היא שכמעט בלתי אפשרי ליצור סביבה שאינה בת פריצה עבור במ"כ. בפסקה הבאה אציג מספר דרכים שבהן יכולה במ"כ לפרוץ החוצה מסביבת ארגז חול:

1. הנדסה חברתית – אמנות ניצול הפסיכולוגיה האנושית על מנת להשיג גישה למשאבים שמורים. דרך זו מתאימה יותר למצב שבו במ"כ סגורה בסביבה שעוצבה ונשמרת על ידי בני אדם.
2. ניצול משאבי המערכת – במ"כ כלואה יכולה לנצל את חומרת ארגז החול לטובתה וליצור קשר לא רצוי עם העולם החיצון, על ידי חבלה או ניצול וסידור מחדש של חלקים מחומרת הארגז.
3. שימוש בפיזיקה עתידנית – גישה לספרות ויכולת לבצע ניסויים יכולה להביא את הבמ"כ לרמה כזאת שהיא תוכל לאתגר את המכשור הפיזיקלי שמשמש לכלוא אותה. קשה לדמיין את האפשרויות הכמעט בלתי מוגבלות של תגליות פיזיקליות חדשות היכולות לשמש במ"כ-דור-הבא.
4. סיבה חיצונית בלתי תלויה שתוביל לפרצה בארגז החול. פרצה כזו יכולה להיווצר הן על ידי כוחות טבע והן על ידי האדם – מלחמה, טרור פוליטי, דתי או אפילו עסקי.
5. שימוש במידע – כמעט אין ספק שבמ"כ כלואה תוכל להסיק עובדות לגבי העולם החיצון, הנפש האנושית ומצב המדע מדברים בסיסיים כגון חומרת, תוכנת וסביבת ארגז החול. מידע זה יכול לשמש את הבמ"כ על מנת להערים על כולאיה, למשל על ידי שימוש בהנדסה חברתית, הצעת "מתנות" מדעיות בתמורה לשחרורה ועוד.

חשוב לזכור שנקודות בודדות אלו הן רק חלק ממה שיכולנו אנו להעלות בדמיוננו. סביר להניח שהבמ"כ הכלואה תהיה בעלת יכולות קוגניטיביות העולות על שלנו וזמן כמעט בלתי מוגבל להרהר בנושא. למרות כל הנאמר, כדאי להזכיר גם את הדרכים שבהן יכול הנסיין לשפר את סיכוייו להשאיר את מושא הניסוי כלוא או לפחות לעכב את בריחתו:

1. תוכנות שאינן אינטליגנטיות יכולות להחליף משגיחים אנושיים וכך להימנע מסכנות התחבלנות החברתית.
2. אמצעי הביטחון של ארגז החול יכולים להיות מאורגנים בשכבות כך שאם תיפרץ שכבה אחת, הבמ"כ תהיה עדיין שכבות מספר מבריחה, מה שיכול לאפשר סגירה אוטומטית של המערכת.
3. ארגז החול יכול להימצא במקום מרוחק ומבודד ולהיות בעל מנגנוני השמדה עצמית.
4. חומרת ותוכנת ארגז החול יכולים להיות מקודדים ומוסתרים במספר דרכים על מנת לחסום את גישת הבמ"כ אליהם.
5. ארגז החול אמור לחסום אותות תקשורת מכל סוג אפשרי וידוע.
6. בוסטרום מציע סביבה שתיראה טבעית ולא מהונדסת, מתוכננת או מלאכותית. סביבה זו יכולה להיות אחד מהמצבים האפשריים שבהם יכולה האנושות למצוא עצמה. יישום מוצלח של סביבה כזו יכול לעכב ניסיונות לפרוץ החוצה.

שתי שאלות עיקריות נותרות: האם במ"כ-דור-הבא תהיה אינטליגנטית מספיק על מנת להבין את מצבה, קרי שהיא נמצאת בסביבה מבוקרת הנשלטת על ידי ישויות חיצוניות, והאם במ"כ-דור-הבא תצליח להביא את הנסיין להאמין שהיא בלתי מזיקה במידה כזו שיחליט לשחררה מכלאה. ישנן כמה נקודות שישפיעו על התשובות לשאלות אלו: במקרה שלפנינו, שבו המשפר והמשופר הם במ"כ, סביר להניח שהבדלים קטנים יחסית בארכיטקטורת החומרה-תוכנה וביכולות הקוגניטיביות יקשו על במ"כ-דור-הבא להונות את הבמ"כ הבוחן. דבר נוסף שחשוב לזכור הוא שסביבת ארגז החול תהיה שונה מהעולם החיצון שבו תפעל במ"כ-הדור-הבא במקרה ותשוחרר. דבר זה עלול להעמיד בספק כל נסיון להעריך במדויק את מלוא קשת יכולותיה של במ"כ-הדור-הבא. הידע והניסיון שתרכוש בפועלה בעולם האמתי הם משהו שספק אם אפשר לדמות בסביבת ארגז חול. מסיבה זו, לבמ"כ המשפרת צריך להיות ביטחון רב ביכולתה להעריך ולהסיק לגבי יכולותיה של במ"כ העולה עליה ביכולותיה הקוגניטיביות.

"אינטליגנציה מלאכותית", תצלום: myxl

לסיכום, כדי להתגונן מפני גרסה משופרת של עצמה בעלת מטרות סופיות שעלולות להיות שונות משלה, ובשל חוסר הוודאות המושרש בניסיון לחזות את פעולותיה של במ"כ-הדור-הבא, סביר להניח שבמ"כ תרצה לבצע שיפורים בהעתקים שלה בתוך סביבה מאובטחת של ארגז חול. כאמור, דבר זה יוצר מתח בין ביטחון וגמישות. מצד אחד, ללא אבטחה, סביבת ארגז החול יכולה להיפרץ ולשחרר אל העולם גרסה משוכללת ובלתי ניתנת לשליטה של במ"כ. מצד שני, על הבמ"כ להיות מסוגלת להעריך בדיוק גבוה ככל האפשר את יכולותיה של במ"כ-הדור-הבא, על מנת שתוכל לבצע החלטה מושכלת בדבר בטיחותו של השיפור שבוצע. ככל שתהיה סביבת ארגז החול בטוחה יותר, כך תדמה פחות לעולם האמתי. משמעו של דבר, ביצוע ניסויים בסביבה כזו יניב תוצאות שלא יהיו בנות יישום בעולם האמתי, מה שמעלה ספקות לגבי כל עניין ביצוע ובדיקת השיפורים בסביבת ארגז חול.

בנוסף, גם אם תמצא במ"כ דרך לבנות ארגז חול בטוח וגמיש, שיאפשר בדיקה בטוחה ומשמעותית של יכולות במ"כ-הדור-הבא, עדיין תעמוד בעינה השאלה לגבי יכולותיה של במ"כ-הדור-הבא להסוות את יכולותיה האמתיות ולהעמיד פנים שאינה מזיקה. במקרה הגרוע, במ"כ תעמוד בפני מצב בעייתי שבו היא משחררת לעולם ישות עדיפה ורמאית – ישות עדיפה שהבינה ואף הוכיחה את יכולתה לרמות את הבמ"כ. מהנאמר לעיל ניתן להסיק שלבמ"כ יהיו מניעים לבצע שיפורים ממין זה במקרים הבאים: (1) לא תהיה לה ברירה, כמו במקרה שהוזכר, שבו אין ביכולתה להשיג את מטרותיה ללא שיפור; (2) היא בטוחה מאד ביכולותיה להעריך ולחזות את פעולותיה העתידיות של במ"כ-הדור-הבא.

שיפור עצמי
זוהי דרך שבה במ"כ יכולה לבצע שיפור בעצמה על עצמה. שלא כמו בשיפור העתקים או תכנון מחדש, כאן מבצעת הבמ"כ שיפורים בקוד ובחומרה שלה עצמה. במקרה זה אין גורם חיצוני שיכול להפוך לאיום – האיום יבוא מבפנים. כאמור, שינויים ביכולות ליבה קוגניטיביות יכולים לגרום לתוצאות לא צפויות ולא רצויות שיכולות להשפיע על כל היבט קוגניטיבי, ובפרט על היכולת להשיג מטרות ולפעול בעולם.

בהתחשב בסיכונים, במ"כ יכולה להחליט לבצע שיפור עצמי באיטיות, קרי על ידי חלוקה לשלבים רבים כך שבכל שלב תבוצע התקדמות מזערית, ניתנת לאימות ובדיקה, וחשוב יותר – כזו הניתנת לביטול. יישום מוצלח של השיטה אמור למנוע שינויים במטרות הסופיות או נזקים רציניים שאינם ניתנים לתיקון. מצד שני, ישנם ספקות בקשר ליעילותה: ראשית, דרך פעולה כזו יכולה לגרום לתהליך השיפור להיות איטי באופן משמעותי, ובמקרה הגרוע אף להיתקע. איטיות כשלעצמה אינו בהכרח בגדר בעיה עבור במ"כ – היא אינה חולקת אתנו את תוחלת החיים הקצרה. לבמ"כ יש זמן לבצע תכנית מורכבת, מחולקת לשלבים ומתוכננת עד לפרט הקטן ביותר, גם אם זו תימשך מספר רב של דורות אנוש. למרות הנאמר לעיל, לבמ"כ יכולות להיות מטרות תחומות בזמן עבורן לוחות זמנים מהווים שיקול שאינו קשור לתוחלת חיים – למשל, מציאת דרך לתקן את האטמוספירה לפני הגעה לנקודת אל-חזור. תרחיש אפשרי אחר הוא מרוץ חימוש בין מופעים שונים של במ"כ. במצב כזה, כל יתרון שיושג במהירות יכול להטות את המאזניים.

תהליך שיפור עצמי המורכב מצעדים קטנים ורבים יכול לעורר בעיה נוספת, חמורה יותר מאיטיות – ישנה אפשרות תאורטית ששיפורים משניים רבים לא ישיגו את אותה תוצאה כשיפור מרכזי אחד. במילים אחרות, ייתכן והם לא יניבו את אותה "קפיצה" (cognitive leap) רצויה ביכולות הקוגניטיביות ששיפור ראשי ומרכזי יניב. כל אחד מאותם שינויים משניים עלול להיכשל בתפקידו כזרז המספק את הדחיפה הראשונית במדרון של שינויים שסופו באינטליגנציה נעלה. הרעיון של שיפורים עצמיים רקורסיביים מופיע רבות גם בספרות העכשווית. כך מביע אותו אליעזר יודוקובסקי (Yudkowsky):

"כשאתה בונה במ"כ לראשונה, היא תינוקת – אם היה עליה לשפר את עצמה, לא הייתה שורדת. בשלב זה עליך לדחוף אותה בעזרת יכולותיך והידע שלך ללא שום ערך מוסף של שיפור רקורסיבי, רק הרווח האנושי הרגיל של צבירת ידע ובניית תובנות על סמך אותו ידע. לבסוף נהיית הבמ"כ מתוחכמת מספיק על מנת להתחיל לשפר את עצמה, לא רק שיפורים משניים, אלא שיפורים גדולים מספיק על מנת שייבנו לתוך שיפורים נוספים...ואז תקבל את מה שקרא לו איי. ג'יי. גוד (Good) 'התפוצצות אינטליגנציה'."

במקרים רבים, שינויים קטנים ומשניים כפופים לחוק התועלת השולית הפוחתת. פירוש הדבר הוא שאחרי מספר מחזורי שיפור, תהליך השיפור מתכנס לאפס. מושג זה של "דעיכת תהליך השיפור" הוא מה שמכוון אליו יודוקובסקי כשהוא מדבר על שיפורים קטנים שאינם נבנים לכדי שיפורים נוספים.

"שיפור עצמי", תצלום: ---...---

סיכום
במאמר זה התחלנו מנקודת פתיחה שקיבלה עליה הנחות מסוימות, לא לגמרי טריוויאליות. יצאנו מנקודת הנחה שהאדם יצליח ליצור במ"כ בעלת מאפיינים תודעתיים מסוימים ומטרות סופיות. מטרת הדיון הייתה לבדוק האם, בניגוד לטיעוני 'התפוצצות האינטליגנציה', יהיו לבמ"כ מניעים שימנעו ממנה לבצע שיפורים שיובילו למכונה סופר-אינטליגנטית. הטיעון פשוט: שיפורים עצמיים הם תהליך מסוכן. הבמ"כ אינטליגנטית מספיק להבין זאת. לפיכך, תחת נסיבות רגילות, היא תיטה לא לבצע שיפור עצמי שיעמיד אותה בסכנה. בנסיבות רגילות כוונתי לנסיבות שבהן השגת מטרותיה הסופיות היא אפשרית וסבירה. במקרים שבהם הנסיבות יהיו אחרות, והבמ"כ תעריך שהשגת מטרותיה הסופיות בסכנה, ייתכן שתחליט לקחת את הסיכון הכרוך בשיפורים מסוג זה.

הסיבות הראשוניות לחשוב מדוע יש צורך בשיפור עצמי הן ברורות: הישרדות החזקים, תחרות על משאבים, השגת מטרות ואפילו נרקיסיזם. הטענה המובאת כאן היא כאמור, שאלא אם קיומה או השגת מטרותיה הסופיות יהיו בסכנה, הבמ"כ תיטה לא לקחת סיכונים אלו מהסיבות שתוארו למעלה. טענה זו חותרת תחת טיעוני 'התפוצצות האינטליגנציה': אם דורות של במ"כ יימנעו מליצור דורות מתקדמים יותר, לא תיווצר אותה לולאה רקורסיבית של שיפור שתביא לבסוף ליצירת מכונה סופר-אינטליגנטית. מאחר והנחה זו של יצירת דור מתקדם יותר בלולאה רקורסיבית היא אחת ההנחות שעליהן נשענים טיעוני 'התפוצצות אינטליגנציה', אני מסיק שטיעונים אלו אינם מבוססים.

ארז פירט הוא דוקטור לפילוסופיה המתמחה בפילוסופיה של המדע, של ה-mind ובינה מלאכותית, וכן מהנדס תכנה.

תמונה ראשית: "בריכה בפארק", פול קליי, 1938. תצלום: אימג'בנק / גטי ישראל