חשבון הנפש של המדע

ההידרדרות של כתבי העת המדעיים קשורה במשבר האתי של המחקר המדעי בכלל
X זמן קריאה משוער: 5 דקות

מעמדו של פרס נובל מאפשר לזוכיו חירות נדירה. ישנם מדענים המעזים, למשל, להיכנס לתחומי מחקר שלא העזו לגשת אליהם קודם לכן, ואחרים אוזרים אומץ להשמיע ביקורת שהרוב אינו משמיע. ביקורת שכזו השמיע שבוע שעבר רנדי שקמן. זוכה פרס נובל לרפואה הטרי הכריז כי מעתה, המעבדה שהוא מנהל באוניברסיטת קליפורניה, ברקלי, תחרים את כתבי העת המדעיים היוקרתיים ביותר, ביניהם את Cell, Nature, Science. וזאת בשל הנזק העצום שכתבי עת אלה גורמים למדע, כך טען במאמר שפרסם בגרדיאן.

סיינס, נייצ'ר ודומיהם מודעים היטב ליוקרה שהם מייצגים וגם לתלות החוקרים ביוקרה זו כדי לקבל הכרה וקידום. בתוך כך, טוען שקמן, כתבי עת אלה נוטים להגביל באופן מלאכותי את המאמרים שהם מקבלים, תוך שהם מתנהגים כ"מעצבי אופנה המייצרים מהדורה-מוגבלת של תיקי צד או חליפות ומלבים את כך את הביקושים", כלשונו. בראש מעייניהם לא עומדת חשיבותו של המחקר המדעי, אלא עד כמה הוא עשוי להיות פרובוקטיבי וליצור באזז. מעבר להדרתם של מחקרים "משעממים" יותר אך חשובים, גישה זו גם תורמת פעמים רבות להיווצרותן של בועות בשדות מחקר אופנתיים: חוקרים מקבלים תמריץ לצאת בהצהרות נועזות ובלתי זהירות, שלאחר מכן חוקרים אחרים מצטטים כיוון שהם פורסמו בכתבי עת יוקרתיים, והקהילה המדעית מפנה תשומת לב לממצאים נוצצים אך לא משמעותיים. "פרסמתי מאמרים אצל המותגים הגדולים, כולל את המאמרים שזיכו אותי בפרס הנובל, אך לא עוד" כותב שקמן ומזמין את הקהילה המדעית להצטרף אליו.

ההגינות מחייבת לציין כי הביקורת של שקמן אינה חפה מאינטרסים. לצד עבודתו בברקלי, הוא גם עורך את eLife, כתב-עת מדעי ללא מטרות רווח אך עם שאיפות להתחרות במגרש של הגדולים. ואף על פי כן, הביקורת שלו מכה הדים בימים האחרונים בעיתונות ובלוגי המדע בעולם. אולי משום ששקמן אינו היחיד המחזיק בדעות אלה ואולי גם משום שהן רק קצה הקרחון, כפי שעולה בפרק שהוקדש לסוגיה בספרו האחרון של יעקוב בורק, "איך מוצאים חתול שחור בחדר חשוך". נראה כי רוב הביקורת מופנית כלפי תחום הרפואה ותעשיית התרופות.

מאז לידתו של המדע המודרני במאה ה- 17, העיקרון שקידם את הידע האנושי היה "Trust, but verify" (בְטַח, אך וודא). מאמר שפורסם בחודש האחרון באקונומיסט תוהה מדוע הולך ודוהה החלק השני במשוואה הזו. מדוע כל כך הרבה מאמרים מדעיים לוקים בהליכים קלוקלים וניתוח מוטה. איך ייתכן, למשל, שבשנה שעברה חוקרים בחברת הביוטכנולוגיה Amgen, הצליחו לשחזר בהצלחה את תוצאותיהם של רק שישה מתוך 53 המחקרים הבולטים ביותר בתחום הסרטן. תופעה זו אינה יוצאת מן הכלל אלא דוגמה אחת מתוך רבות.

אחת הסיבות לכך היא שכתבי העת המדעיים (ולא רק היוקרתיים), פחות מעוניינים במחקרים המשחזרים ובודקים תוצאות מחקרים אחרים. אך בכך אין מה להאשים (רק) את כתבי העת משום שאלה הם חוקי התחרות שצמחו בקהילה המדעית מאז שנות החמישים. צמיחת הקהילה מכמה מאות אלפים לשישה-שבעה מיליון חוקרים פעילים כיום, רופפה בהדרגה את מנגנון הביקורת העצמית של המחקר. תְנַאי הקידום המרכזי בקריירה של מדען הוא פרסום מחקר (העיקרון נקרא באנגלית: publish or perish- "פרסם או העלם") ולא שחזור ממצאי מחקריהם של אחרים.

בעיה נוספת היא שיש מעט מאוד עניין לפרסם תוצאות מחקר שליליות. פרסומים של מחקרים שלא צלחו הם רק 14% מסך כל המחקרים, צניחה של 30% מ- 1990. מדוע זה חשוב? העיתונאי והרופא בן גולדאקר ממחיש זאת בספרו האחרון Bad Pharma באמצעות דוגמה כואבת. במרץ 2006 הגיעו שישה מתנדבים לבית חולים בלונדון כדי לקחת חלק בניסוי מדעי שבדק תרופה חדשה בשם TGN1412. תוך שעה כל השישה פיתחו חום גבוה, כאבי ראש ושרירים, ואז בהדרגה קרסו מערכות הלב והנשימה ובהמשך נמקו גם אצבעות ידיהם ורגליהם. וועדת החקירה שהוקמה לאחר המקרה (ששת המתנדבים ניצלו בעור שיניהם) התעניינה בעיקר אם ניתן היה לצפות את הקטסטרופה הזו. התשובה המדהימה שהתחקיר העלה, היא שזו כלל אינה הפעם הראשונה שזה קרה. עשר שנים קודם לכן, נערך ניסוי בנבדק אנושי עם חומר דומה לזה של התרופה שנבדקה והסימפטומים שעלו היו מקבילים במדויק לאלה של ששת הנבדקים. הסיבה שאיש לא ידע, היא משום שתוצאות הניסוי המוקדם הזה מעולם לא פורסמו. אותו חוקר פשוט לא טרח לפרסם את התוצאות השליליות בשל נורמות על פיהן אין כל חובה או ציפייה לפרסם ממצאים שלא עלו יפה. וזהו אינו מקרה חריג: ממחקר שנעשה ב- 2009, התגלה כי במשך 8 שנים, 80% מניסויי "נבדק אנושי ראשון" לא פורסמו.

אם נדמה לכם שלהיעדר פרסום תוצאות שליליות יש השלכות רק על ניסויים, חשבו שוב בביקור הבא בבית המרקחת. גולדאקר מראה כי אינספור תרופות מגיעות למדפים בזכות מאמר אחד ויחיד שהראה תוצאות חיוביות ורצויות, לצד מאמרים נוספים שהניבו תוצאות שליליות אך מעולם לא פורסמו. רוב התרופות הללו אינן מסכנות חיים, הודות לבדיקות שהן עוברות, אך האפקט של רבות מהן אינו גדול מהאפקט של מים עם קצת סוכר (או במילים אחרות: פלסבו).

וכאן צריך להביא בחשבון גם את הצלע השלישית: חברות התרופות. לאחר הטיות הפרסום שיוצרים כתבי העת והחוקרים בעצמם, ממניעים שונים, צריך לציין כי רוב התרופות נבדקות על ידי אותן החברות המייצרות ומשווקות אותן. הקשר בין מימון לבין הגעת התרופה למדף הוכח זה מכבר- 85% ממחקרים הממומנים על ידי התעשייה יוצאים חיוביים לעומת 50% מהמחקרים הממומנים על ידי הממשלה בארה"ב. מה שמדהים עוד יותר הוא, שאף אחד כאן לא עובר על החוק. למעשה, גולדאקר טוען כי משום שאלה הנורמות הנהוגות מזה עשרות שנים, גם אם מחר הן ישתנו לטובה מהקצה אל הקצה, עדיין נהיה בבעיה חמורה, משום שהניסויים העתידיים שהקהילה המדעית תערוך, יסתמכו על מידע וממצאים חלקיים ואף שקריים.

השאלה היא מה ניתן לעשות בקשר לכל אלה. ראשית, באופן אידיאלי, כדאי לייצר במות לפרסום ממצאי מחקרים עם תוצאות שליליות ולחייב בחוק את פרסומם. עם התפתחות הביג דאטה, מנועי חיפוש ייעודיים עשויים לסייע לחוקרים לעשות סדר בבלגן ולהתחשב במידע רב הערך הזה. אתגר גדול יותר טמון בשינוי נורמות הפרסום. עורכי כתבי-עת המעוניינים לפרסם תוצאות מסעירות וחוקרים התלויים באותם כתבי עת כדי להתקדם מייצרים מעגל קסמים אכזרי של הטיות מחקריות. לפי האקונומיסט, מוסדות הבריאות הלאומיים בארה"ב, המשקיעים 30 מיליארד דולר במחקר מדי שנה, מכירים בבעיה ומנסים כיום למצוא דרך לעודד שחזור מחקרים. ניתוב חכם של כספי מדינה עשוי עם הזמן גם להשפיע על נורמות הקידום באקדמיה. במקביל, גם מנגנוני ביקורת עמיתים (peer review) צריכים להשתכלל ולהיות מזמינים וקלים יותר לתפעול.

בחזית שתערער את כוחם של כתבי העת הגדולים שקמן מציע את המודל של כתבי עת חופשיים באינטרנט כאלטרנטיבה. "כפי שוול-סטריט צריכה למצוא דרך לשנות את תרבות הבונוסים, המקדמת סיכון גבוה ומתגמלת מעט אינדיבידואליים ובכך פוגעת במערכת הכלכלית כולה, כך גם המדע צריך לשבור את עריצותם של כתבי העת היוקרתיים", הוא כותב. "התוצאה תהיה מחקר איכותי יותר שישרת את החברה כולה".

מקורות"כיצד כתבי עת כמו נייצ'ר, סיינס ו- Cell פוגעים במדע"- מאמרו של רנדי שקמן בגרדיאן.דיווח ודיון בהצהרתו של שקמן בטלגרף, באקונומיסט ובגרדיאן."היכן המדע שוגה"- מאמר באקונומיסט על הכשלים המחקריים הנפוצים במדע. "איך מוצאים חתול שחור בחדר חשוך"- ספרו של יעקב בורק Bad Pharma: How medicine is broken and how we can fix it- ספרו של בן גולדאקר.

מחשבה זו התפרסמה באלכסון ב


תגובות פייסבוק

> הוספת תגובה

9 תגובות על חשבון הנפש של המדע

02
בר חיון

תודה דניאל. יכול להיות שאתה צודק, בגלל הפוקוס בעולם הרפואה. אך ראשית, "רפואה" מסתמכת על לא מעט תחומי מדע שאינן רק פיתוח תרופות גרידא (ביוטכנולוגיה, ביוכימיה, ביופיסיקה ועוד). בנוסף, ההתמקדות שלי היתה בעולם הרפואה כי שם זה הכי אקוטי, אך הביקורת מופנית גם לשדות מחוץ לעולם הרפואה, מתחום הפסיכולוגיה ועד מדעי המחשב. במאמר מהאקונומיסט (השלישי ברשימת המקורות) ההערכה (חסרת הסימוכין, לצערי) היא ששלושת רבעי מהמחקרים המתפרסמים במדעי המחשב לא שווים הרבה.

03
דניאל ר

בעיקרון אני מסכים אתך: בכל תחומי הידע מתפרסמת כמות כלשהי של הבלים, טעויות ושקרים. אני לא יכול לאמוד את שיעורם בכל ענף וענף, אבל כמות השערוריות שמגיעות לדפי העיתון ברפואה, פסיכולוגיה ומדעי החברה מעידה בעיניי שיש תחומים שבהם בדק בית הוא כורח המציאות ומקומות אחרים שבהם הוא לא יותר מ"רעיון טוב". בתור חוקר שקורא מאמרים הן בפיסיקה והן בכימיה - יש אופנות שאליהן מתנקז עודף של מימון, אבל שערויות כאלה כמעט שאין והסיבה היא כנראה, כפי שציינת, הכסף הגדול יותר שמסתובב בתחום הרפואה. האירוניה היא שכשמשהו הוא "אופנתי" - דווקא אז חוקרים נוטים יותר לשחזר ניסויים קודמים כדי "לקחת את זה הלאה".

הביקורת על מדעי המחשב שאתה מצטט בתגובה - חבל שבכלל הופיעה באקונומיסט. מילא שהמדען לא מנדב את שמו - גם אני הייתי חושש מתגובת העמיתים - אבל שלפחות יתן איזשהי אינדיקציה לחומרת המצב מלבד התיאור המעורפל ששלושת רבעי המאמרים הם bunk. הרי האימפקט פקטור של עשרת הפרסומים המובילים במדעי המחשב הוא מעל 4, כלומר לכל מאמר בהם יש בממוצע 4 ציטוטים. נדמה לי שזה נכנס לאקונימיסט כדי לאפשר את ההכללה ליתר תחומי המדע ואז, ממש כמו נייצ'ר וסיינס, להיות פרובוקטיבי לויצור באזז.

אם יש תחום שזקוק לזרקור חזק שיופנה אליו, זה לדעתי תחום הכלכלה. לפרסומים בתחום הזה יש כוח, לא רב אבל גם לא זניח, להשפיע על מקבלי החלטות ומכאן מתקיימים שני התנאים שמתקיימים ברפואה: יש אינטרסים עוצמתיים ויש מחיר בחיי אדם, אלא שהמחיר לא כל כך בולט לעין כמו ברפואה. כמו שראינו במאמר המפורסם של ריינהארט ורוגוף שנקטל לאחרונה, אפשר להוציא מאמר כזה אפילו עם טעויות חישוב.

04
בר חיון

לפי מה שאני מתרשם, אכן, גם כלכלה היא תחום לא חף מבעיות (הנכללת במדעי החברה הנתונים כיום תחת ביקורת). בגלל שהאמירה של האקונומיסט על מדעי המחשב גם בעיני מעוררת חשד, לא ציינתי אותה בכתבה. אך המאמר נטע בי את הרושם שמדובר במספיק תחומים שיצדיקו את הכותרת המכלילה, תוך תקווה שמי שהתעוררה בו הסקרנות לא יסתפק בכותרת, ימשיך ויקרא את המאמר ויקבל את הזרקור וההקשר הראויים.

[ראה גם תשובתי לאסף בעניין הרגולציה שגם היא בצרות בתחום תעשיית התרופות.]

05
אסף

דניאל. בפסיכולוגיה, המחקרים מגוחכים להחריד ואנשים מקבלים פרופסורה בגינם. למשל, הידעת אנשים אטרקטיבים (יעני, נראים טוב) מצליחים יותר בחיים?. כן, כן, יש על זה המון מחקרים בפסיכולוגיה חברתית. בנוסף, הסתבר ש"חשיפה מובילה לקירבה". תראה מישהו הרבה פעמים מול העיניים ולא תחוש יותר זר איתו. מדהים!. גם על זה קיבלו פרופסורה. אני מאמין שעל המחקר שהוכיח ש "עדיף להיות צעיר, בריא ועשיר, מזקן אני וחולה" יקבלו פרס נובל.

    06
    בר חיון

    הגזמה (בלשון המעטה). יש שפע של מחקר איכותי ומעניין עם תקפות ומהימנות טובים בפסיכולוגיה. לא בטוח שהדוגמאות שהבאת מייצגות משהו.

    והמחקר על ה"הצלחה בחיים" (מהי הצלחה?) של אנשים שנראים טוב דווקא נשמע מעניין ולא מובן מאליו. שוב, תלוי איך בדקו וכולי.

07
אסף

בר, התייחסתי למחקרים בתחום הפסיכולוגיה החברתית ולא בתחום הקליני, פיזיולוגי, השיקומי , החינוכי והרפואי. מאחר ואני מגיע מהתחום, קראתי עשרות מחקרים בזורנלים נחשבים (למשל journal of personality and social psychology), כך שיש לי פרספקטיבה בנושא. בכול אופן, הנקודה היא שלא כול תובנה של "שכל ישר" צריך להוכיח מחקרית. כהנמן ודן אריאלי אגב, הם פסיכולוגים.הראשון פסיכולוג חברתי והשני פסיכולוג קוגנטיבי. אני תוהה מדוע הם בחרו לקרוא לעצמם "כלכלנים התנהגותיים"' אני גם תוהה מדוע עד היום, למיטב זכרוני, לא זכה מעולם פסיכולוג בפרס נובל וכהנמן וטברסקי זכו בפרס נובל על מחקרם ב"כלכלה" (למרות שהוא עוסק בהטיות רגשיות בקבלת החלטות "רציונאלית") ולא כפסיכולוגים.

08
בר חיון

האם יש פרס נובל בפסיכולוגיה? אני לא חושב שכהנמן וטברסקי מיתגו את עצמם ככלכלנים לפני הזכיה. ואני חושב שלמחקר בהטיות קוגניטיביות יש הרבה חשיבות בכלכלה.
אני גם לא בטוח שאני מסכים עם טיעון שלך בעניין השכל הישר. מחקרים רבים מראים שהשכל הישר טועה. וזה שזה נראה הגיוני בדיעבד, אתה יודע... הראיה לאחור היא 6/6. אבל סטינו מהנושא :)