תורכי ללא הפסקה

מדוע הוריקנים הזוכים לשמות נשיים גובים קורבנות רבים יותר? האם רמת האינטליגנציה מנבאת את אופן ההצבעה בבחירות? האם אתי לשלם לאנשים כדי שישתתפו בניסויים רפואיים?

חוקרים אימצו כלי חדש במטרה לענות על שאלות: צבאות של מיקור-המונים, המורכבים ממשיבים על שאלונים מקוונים

בשנים האחרונות, חוקרים אימצו כלי חדש במטרה לענות על שאלות כאלו: צבאות של מיקור-המונים, המורכבים ממשיבים על שאלונים מקוונים, מ-Mechanical Turk של אמזון, מ-Google Surveys וממבחר גדול של נותני שירות דומים שגובים תשלום תמורת מילוי שאלוני סקרים למיניהם.

אני מבין את כוח המשיכה של התופעה. לאחר שעזבתי משרה שנתנה לי גישה שוטפת לאוסף גדול של משיבים על שאלונים, הרגשתי כמעט מנוטרל, בשל היעדרן של אופציות קלות ואמינות כשאני רוצה לקבל מדגם מהיר ומייצג. ואז גיליתי את Mechanical Turk, וכוחות-העל שלי בתחום הנתונים שבו למצבם הטוב. פתאום שוב יכולתי להשיג תגובה מהירה לשאלות בוערות כמו "מה אנשים באמת מרגישים ביחס ל-Slack".

עפרונות צבעוניים. תצלום: Olloweb Solutions

מה הופך מדגמי סקר מקוונים לכלי כה מהפכני עבור מדעי החברה?

בואו נסתכל במיוחד ב"Mechanical Turk" של אמזון, שכן הוא הכלי שמרבים להשתמש בו במיוחד. למי שאינם מכירים את MTurk (כפי שמכנים אותו בקיצור לא פעם), החוקר בתחום מדע המדינה אדם ג'יי. ברינסקי (Adam J. Berinsky) ושותפיו למחקר כתבו את המאמר "הערכת שווקי עבודה מקוונים לצורך מחקר ניסויי", ובו הם מציעים סקירה תמציתית מועילה:

"כדי להתחיל לעשות סקר באמצעות MTurk, חוקר (בלשון של אמזון הוא מכונה "Requester") פותח חשבון (http://www.mturk.com), מפקיד כסף בחשבון שלו, ולאחר מכן מפרסם "מודעת דרושים" באמצעות הממשק האינטרנטי של MTurkובו הוא מתאר את 'משימת האינטליגנציה האנושית' (Human Intelligence Task, או HIT) שיש להשלים וכן את התמורה שתשולם (אמזון מטילה עמלה של 10% על כל התשלומים [הערת העורך: בינתיים העמלה עלתה והיא לרוב בין 20 ל-40%]. לכל HIT  יש מספר מוגדר של משימות וה-requester יכול לפרט כמה פעמים 'עובד' ב-MTurkיכול לבצע את המשימה. חוקרים גם קובעים דרישות כגון ארץ מגורים או 'רמת שביעות רצון' קודמת, שהיא האחוז של ה-HITsשהמשיב הגיש ואשר אושרו לאחר מכן על ידי requesters. כשעובדים ב-MTurk אשר עומדים בתנאים הללו נכנסים לחשבון שלהם, באפשרותם לעבור על רשימת ה-HITsהזמינים להם ולבחור לבצע כל משימה שהם נמצאו מתאימים לה".

היות שהמשיבים עשויים לקבל אפילו רק סנטים אחדים למשימה, העובדה שרבים מוכנים, רוצים ומסוגלים לבצע משימות כמו מילוי שאלוני סקר, עשויה להיראות משונה

היות ש-"turkers" (כך מכונים עובדים ב-MTurk) עשויים לקבל אפילו רק סנטים אחדים למשימה, העובדה שרבים מוכנים, רוצים ומסוגלים לבצע משימות כמו מילוי שאלוני סקר, עשויה להיראות משונה. במאמר על השלכות מיקור-המונים על חוקי העבודה, החוקר אלק פלסטינר (Alek Felstiner) חולק ציטוטים אחדים מדבריהם של turkers, שעשויים להבהיר מעט את התעלומה:

"אני פנסיונר עם הכנסה מצומצמת... ההכנסה הנוספת חשובה כעת עוד יותר, לאור עליית מחירי הדלק, והעובדה שהקנייה השבועית בסופרמרקט נעשית יקרה יותר מדי שבוע".

"אין משרות באזור שלי, הגשתי מועמדות ליותר מ-40 משרות ובינתיים, כבר שלושה חודשים שלא מתקשרים אלי ממקומות עבודה. אני עושה את זה כדי לשלם את החשבונות, כולל שכר דירה וחיתולים לילדים שלי, עד ששוב אמצא עבודה".

"אני עובד כמורה והמשכורת שלי לא מספיקה לצרכיי אז אני מחפש איך לעשות עוד קצת כסף. זאת הסיבה שאני משתתף ב-Mechanical Turk".

אותם Turkers, וכל סביבת הסקרים המקוונים שהם חלק ממנה, סייעו בטיפול בשורה של בעיות מתודולוגיות שרודפות חוקרים באקדמיה מזה זמן רב. ראשית, משיבים על סקרים מקוונים מציעים לחוקרים באקדמיה חלופה על פני הנוהג השחוק והמוכר של התייחסות לסטודנטים כאל שפני ניסיונות. כפי שהחוקר בתחום הפסיכולוגיה מייקל בוהרמסטר (Michael Buhrmester) ושותפיו כתבו בבחינה שלהם של נתוני Mechanical Turk משנת 2011: "פרשנים מלינים מזה זמן רב על ההסתמכות הכבדה על דגימות מקולג'ים אמריקניים בתחום הפסיכולוגיה, ובמובן רחב יותר על דגימות ממקטע צר של המין האנושי".

שנית, משיבים מקוונים מייצגים יותר מאשר מקורות אחרים, זמינים ובמחיר סביר, ל"מדגם" (כלומר, קבוצה של משיבים על סקר מקוון). כפי שהחוקרים בתחום מדע המדינה ארין ס. קסזה (Erin S. Cassese) ואחרים מציינים במאמרם: "חוקרים מוצאים שביחס לדגימות זמינות אחרות, משתתפים ב-MTurk הם בדרך כלל יותר מגוונים ונראה שהם מגיבים לגירויים ניסויים באורח שעולה בקנה אחד עם התוצאות של מחקרים קודמים".

לבסוף, משיבים ב-Mechanical Turk בדרך כלל מבצעים עבודה יסודית למדי בבואם להשיב על הסקרים המוצגים להם (אם כי, כפי שאסביר בהמשך, העניין הזה יכול להיות בבחינת אליה וקוץ בה). כפי שברינסקי ושות' כותבים: "יתכן שמשיבים ב-MTurk מיטיבים לשים לב לכלים הניסויים ולשאלות הסקר ביחס למשיבים אחרים".

המון אלמוני ואחיד. יציע ב-Londoa Aquatic Sports Centre, תצלום: דילן נולטה

תור הזהב של מחקרים מבוססי סקרים

רשימת המחקרים החברתיים היצירתיים שנעזרים בכוחו של ההמון ארוכה ומעניינת: פסיכולוגים, כלכלנים, סוציולוגים, כולם מנצלים את הכלים המקוונים

הזמינות הפתאומית של מקור למשיבים אחראיים, שהם אוכלוסייה מגוונת מבחינת זהותם ושאינם סטודנטים, הביאה למעין תור זהב בתחום המחקרים המבוססים על סקרים. רשימת המחקרים החברתיים היצירתיים שנעזרים בכוחו של ההמון ארוכה ומעניינת. מאמרו של החוקר ס.ה.ר. רסמוסן (H.S.R. Rasmussen) על כך שהיכולת הקוגניטיבית משתווה לאפקט של תחכום פוליטי בהצבעה אידאולוגית דן בסקר שארך 30 עד 40 דקות ונערך בקרב 2556 עובדי MTurk, שכל אחד מהם קיבל תשלום בסך 1.10 דולר. ההתבססות בין השאר על המדגם הזה, אפשרה למחברים להגיע למסקנה ש"השפעת היכולת הקוגניטיבית על הצבעה אידאולוגית משתווה לחשיבותו של תחכום פוליטית, שהוא המנבא הקלאסי החשוב ביותר של הצבעה אידאולוגית".

גם כלכלנים מצטרפים למגמה. כדי להבין את האופן שבו נתפשות "עסקאות דוחות" כמו "תרומת כליה תמורת תשלום, זנות והשתתפות בניסויים רפואיים תמורת תשלום", שלושה כלכלנים השתמשו ב-Mechanical Turk, והנה תיאור התהליך מתוך מאמרם:

"הצגנו ל-1445 משתתפים ב-Mechanical Turkניסוי רפואי פיקטיבי שמשלם למשתתפים בו 50, 1000 או 10,000 דולר. תיארנו את הניסוי ככזה העוסק בתופעות לוואי של חיסון, ניסוי הדורש בסך הכול 40 שעות מזמנו של המשתתף, ואפיינו את הניסוי כבעל סיכון נמוך, אך לא נטול סיכון. בפני כל משיב הוקרן באקראי אחד משלושת סכומי התשלום המוצע, והוא השיב על שאלות אחדות, כולל כיצד הוא היה מחליט, כחבר בוועדת בדיקה פנימית האחראית על אישור הניסוי, לפני שהוא השיב על אותן שאלות עבור כל אחד מהסכומים האחרים".

החוקרים מצאו ש"מהמודל עולה שתמורות דומות במהותן תיתפשנה כאתיות ביותר". המחברים אינם מציינים מה היה גובה התמורה, בדולרים, שהם נזקקו לה כדי לקבל תשובות לסקר שלהם.

Mechanical Turkגם סייע לצוות בין-תחומי להתעמק בהבדלים בתגובה להוריקנים בעלי שם גברי לעומת הוריקנים בעלי שם נשי. הם ציינו ש"ניתוחים של נתוני ארכיון על נספים בפועל כתוצאה מהוריקנים בארצות הברית (בשנים 1950-2012) מעלים שהוריקנים חמורים בעלי שמות נשיים כרוכים בשיעורי תמותה גבוהים באורח משמעותי". החוקרים ביצעו מספר ניסויים כדי לפרק את הגורמים המרכיבים את התופעה, והסתייעו בין היתר ב-MechanicalTurk:

"ל-142 משתתפים הוצג תרחיש וניתנה להם מפת מזג-אוויר שבה הוצג הוריקן כריסטופר או הוריקן כריסטינה, והם דיווחו על כוונותיהם להתפנות מהאזור המוכה בהוריקן ביחס לשלושה עניינים (למשל: 1=בהחלט אתפנה, 7=בהחלט אשאר בבית)... מדידה של הסיכון כפי שהנבדקים תפשו אותו הראתה... שהוריקן כריסטופר נתפש כמסוכן יותר מאשר הוריקן כריסטינה".

בעוד ש-Mechanical Turkאפשר ביצועם של מחקרים מגוונים ומושכים שכאלו, השיטה אינה נטולת בעיות. ראשית, עולות שאלות מהותיות באשר לתוקפם של ממצאים שמופקים מתוך סקרי MTurk. כפי שג'ון בוהנן (John Bohannan) מציין במאמרו "מדעי החברה בפרוטות", בעיה מובהקת גלומה במי שמכונים "super-Turkers", אנשים שהם למעשה עובדים ב-MTurk כמקצוע, כשאחדים מהם עובדים יותר מ-20 שעות בשבוע. ניסויים רבים במדעי החברה מסתמכים על כך שהנבדקים אינם יודעים את כוונותיהם של החוקרים. ברינסקי אומר ש-super-Turkersעלולים להטות ניסויים אם הם משתדלים מדי לרצות את החוקרים. ויש לחשש הזה בסיס, כיוון ש-MTurkמשתמש במדד המבטא עד כמה עובד הוא אמין ורציני.

בעיה אחרת היא הקלות הגמורה שבה MTurk עשוי לשנות את צורת המחקר המקובלת במדעי החברה. במאמר בכתב העת American Sociological Review הסוציולוג דייויד פיטרסון (David Peterson) מביע דאגה מכך ש"על ידי אימוץ המקור המרוחק הזה לאיסוף נתונים, פסיכולוגים חברתיים התחייבו לסנן את כל היבטי הניסוי שלהם דרך המדיום הדיגיטלי באינטרנט. הם מפסידים בכך גישה ישירה ובלתי אמצעית למושא מחקרם".

עוני: מגע ישיר, מבט אנושי מעבר לנתונים (קמפלה, אוגנדה). תצלום: ביל וגנר.

אי-צדק כלכלי ובעיה אתית

אנשי אקדמיה בעלי משרות וקביעות מנצלים עבודה בתשלום נמוך, המבוצעת על ידי אנשים הנמצאים בקצה הנגדי של סולם השכר והעבודה

ושיקול אחרון, שהוא אולי המטריד ביותר, הוא הבעיה האתית בכך שאנשי אקדמיה בעלי משרות וקביעות מנצלים עבודה בתשלום נמוך, המבוצעת על ידי אנשים הנמצאים בקצה הנגדי של סולם השכר והעבודה. כפי שמציין פלסטינר: "עובדים נוטים לקבל תשלום נמוך ביותר עבור נתח העבודה הקוגניטיבית שלהם, בסדר גודל של סנטים למשימה. בדרך כלל, הם אינם מקבלים תנאים סוציאליים כלשהם וגם אינם נהנים מביטחון תעסוקתי".

אנשי אקדמיה אינם נרתעים מניצול ההזדמנויות שנורמת השכר הנמוך הזאת מציעה. ברינסקי ושותפיו למאמר, כשהם כותבים על הניסויים שלהם (אמנם ניסויים בשלב מוקדם של הכלי) ב-MTurk, מציינים שאפילו רמת התשלום הגבוהה ביותר שהם השתמשו בה ב-Mturk– 50 סנט לסקר של חמש דקות (השקול לשער של 6 דולר לשעה) – עדיין עומדת על עלות של 55 סנט למשיב (כולל העמלה של אמזון, בגובה 10%), כלומר 11 סנט לדקה של עבודה על סקר. לצורך השוואה, מדגם סטודנטים אופייני מגלם עלות למשיב של כ-5 עד 10 דולר, ולמדגמים שאינם של סטודנטים אך מתבצעים בקמפוסים, מדובר בעלות של כ-30 דולר למשיב. כשמדובר בשימוש במשיבים שמגיעים דרך סוכנות לעבודה זמנית, העלות היא בין 15 ל-20 דולר.

לדעתי, אי-הצדק הכלכלי המתגלה כאן – ולא הדאגות המתודולוגיות – הוא שאמור להטריד יותר מכל את מי ששוקלים לחקור באמצעות MTurk. ואכן, הניצול של עובדי MTurk כבר מעורר ביקורת שאינה מאירה באור חיובי את הקהילה האקדמית. בעוד שאנשי אקדמיה עשויים לבכות על הירידה במימון למחקרים ועל העלייה בתחרות על מענקים, לא מחסור במימון ולא חשיבותו של המחקר האקדמי יכולים להיחשב לתירוצים מתקבלים על הדעת לכך שמשיבים על סקרים מקבלים תשלום שהוא אחוז זעיר משכר המינימום.

הצד החיובי של הבעיה הוא שבהחלט יש לה פתרון. כל משימה ב-MTurk מבקשת מן ה-requester להעריך כמה זמן ייקח לבצע את המשימה. כל משימה שהושלמה כוללת דיווח על משך הזמן שנדרש בפועל למבצע כדי להשלים את המשימה. חוקרים פשוט צריכים להריץ "סיבוב" של סקרים, לחשב את הזמן בפועל שנדרש כדי להשיב על כל סקר ולתמחר את המשימות שלהם כך שהשכר יהיה שווה לפחות לשכר מינימום. בסקרי MTurkשאני מריצה, אני מתמחרת כעת את כל המשימות בתעריף של לפחות 25 סנט לדקה, ששקול בממוצע לשכר של 15 דולר לשעה שאקטיביסטים רבים בתחום העבודה סבורים שהוא שכר מינימום סביר.

סביר שהשימוש בפלטפורמות סקרים במיקור המונים יעלה בשנים הבאות, כך שאנו מצויים בזמן המתאים שבו יש לקבוע נוהגי מחקר שיבטיחו שכר הוגן למשיבים על סקרים מקוונים. כתבי עת אקדמיים שפיטים, מוציאים לאור אקדמיים ואוניברסיטאות, יכולים כולם למלא תפקיד בקידום יחס אתי למשיבים על סקרים מקוונים, פשוט על ידי כך שהם ידרשו גילוי מלא של התעריף ששולם ושל הקצאת הזמן, כחלק מכל מחקר שמשתמש בכוח עבודה במיקור המונים. כבר היום אנו מצפים מחוקרים באקדמיה לגלות את גודל המדגם: באופן דומה, עלינו גם לצפות מהם לגלות האם המשיבים שלהם הרוויחו דולר תמורת סקר של חמש דקות, או רבע דולר עבור סקר של חצי שעה.

שווקי עבודה של מיקור המונים מחוללים שינויים בקלות ביצוע הסקרים והמחקר הניסויי וגם בעצמתם של הסקרים והמחקר. אך השינוי יוכל לתרום באמת להעלאת הרמה בתחום, רק אם הוא יתבסס על צדק ולא על ניצול.

מקורות:

Evaluating Online Labor Markets for Experimental Research: Amazon.com's Mechanical TurkBy: Adam J. Berinsky, Gregory A. Huber and Gabriel S. LenzPolitical Analysis, Vol. 20, No. 3 (Summer 2012), pp. 351-368Oxford University Press on behalf of the Society for Political MethodologyWorking the Crowd: Employment and Labor Law in the Crowdsourcing IndustryBy: Alek FelstinerBerkeley Journal of Employment and Labor Law, Vol. 32, No. 1 (2011), pp. 143-203University of California, BerkeleyAmazon's Mechanical Turk: A New Source of Inexpensive, Yet High-Quality, Data?By: Michael Buhrmester, Tracy Kwang and Samuel D. GoslingPerspectives on Psychological Science, Vol. 6, No. 1 (JANUARY 2011), pp. 3-5Sage Publications, Inc. on behalf of Association for Psychological ScienceSocially Mediated Internet Surveys: Recruiting Participants for Online ExperimentsBy: Erin C. Cassese, Leonie Huddy, Todd K. Hartman, Lilliana Mason and Christopher R. WeberPS: Political Science and Politics, Vol. 46, No. 4 (October 2013), pp. 775-784American Political Science AssociationMore Money, More Problems? Can High Pay be Coercive and Repugnant?By: Sandro Ambuehl, Muriel Niederle and Alvin E. RothThe American Economic Review, Vol. 105, No. 5, PAPERS AND PROCEEDINGS OF THE One Hundred Twenty-Seventh Annual Meeting OF THE AMERICAN ECONOMIC ASSOCIATION (MAY 2015), pp. 357-360American Economic AssociationFemale hurricanes are deadlier than male hurricanesBy: Kiju Jung, Sharon Shavitt, Madhu Viswanathan and Joseph M. HilbeProceedings of the National Academy of Sciences of the United States of America, Vol. 111, No. 24 (June 17, 2014), pp. 8782-8787National Academy of SciencesSocial Science for PenniesBy: JOHN BOHANNONScience, New Series, Vol. 334, No. 6054 (21 October 2011), p. 307American Association for the Advancement of ScienceAll That Is Solid: Bench-Building at the Frontiers of Two Experimental SciencesBy: David PetersonAmerican Sociological Review, Vol. 80, No. 6 (December 2015), pp. 1201-1225American Sociological Association

אלכסנדרה סמואל כותבת טור דו-שבועי The Digital Voyage, שבו היא בוחנת סוגיות פסיכולוגיות, חברתיות ומעשיות בהגירה לעולם המקוון.

הקטע המקורי הופיע באתר JSTOR Daily, כאן.

תורגם במיוחד לאלכסון על ידי אדם הררי

תמונה ראשית: חיילי טרקוטה כחולים, פורטוגל. תצלום: ריקרדו רושה, unsplash.com

Photo by Ricardo Rocha on Unsplash