מתאמי וודו: האם התוצאות של כמה ניסויים בסריקת מוח היו מוגזמות?

2023 מְחַבֵּר: Peter Bradberry | [email protected]. שונה לאחרונה: 2023-05-21 22:33

אד וול הוא סטודנט לתואר שני במחלקה למדעי המוח והקוגניציה במכון הטכנולוגי של מסצ'וסטס. הוא גם המחבר הראשי של מאמר שפורסם לאחרונה, "קורלציות וודו במדעי המוח החברתיים", שחקר את המתאמים הגבוהים בין מדדי אישיות או רגשנות אצל הפרט, כמו חוויית פחד, או נכונות לסמוך על אדם אחר עם האדם. פעילות של אזורי מוח מסוימים כפי שנצפתה במכונת fMRI. העיתון עורר שטף של פרשנויות. עורך Mind Mindters, ג'ונה לרר, משוחח עם וול על המשמעות של מחקר זה לעתיד מדעי המוח החברתיים, האם העיתונות אשמה ומדוע עלינו תמיד לנחש כמה ניחושים.

LEHRER: מה גרם לך להתעניין לראשונה במבט ביקורתי במאמרי fMRI במדעי המוח החברתיים ?.

VUL: לפני כארבע שנים [אוניברסיטת קליפורניה במדעי המוח בסן דייגו] האל פשלר ואני ראינו שיחה שבה דווח על קשר גבוה מאוד בין פעילות המוח למהירות בה מישהו יצא מהחדר לאחר המחקר.

בהתחשב במה שידענו על fMRI והגורמים שקובעים כמה מהר אנו נוטים ללכת באופן כללי, נראה היה לנו שלא יאומן שפעילות באזור מוח ספציפי זה יכולה להסביר כל כך הרבה את השונות במהירות ההליכה. במיוחד כך מכיוון שפעילות ה- fMRI נמדדה כשעתיים לפני שההליכה התרחשה. אז או שפעילות באזור זה שלטה ישירות בפעולה המוטורית עם עיכוב של שעתיים - משהו שקשה לנו להאמין לו - או שקורה משהו דגיגי. בשלב זה, למרות החשדות שלנו, לא ידענו בדיוק מהו אותו דבר דגי, אז שמנו את הנושא בצד.

לפני שנתיים הצטרפתי ל [M. I. T. מדענית המוח] המעבדה של ננסי קנבישר והתחילה לעבוד ישירות עם נתוני fMRI, ולמדתי את הז'רגון והסטטיסטיקה הרלוונטיים. בשלב זה, [M. I. T. פוסט-דוק] כריס בייקר וננסי קנווישר כתבו ביקורת על מאמר ב- Nature Neuroscience, שסבל מניתוח לא עצמאי. לאחר שעבדתי בעצמי על המקרה הכללי (וכתבתי פרק בנושא), הבנתי כיצד מתארים כנראה המתאמים שנראו לנו דגים לפני זמן כה רב, ולכן יצאנו לחקור, ובסופו של דבר מובילים למאמר זה.

LEHRER: מה זה "מתאם וודו" ?.

VUL: אנו משתמשים במונח זה כדרך הומוריסטית לתאר קשרים גבוהים באופן מסתורי המופקים על ידי שיטות סטטיסטיות מסובכות (שלרוב מעולם לא תוארו בבירור במאמרים המדעיים שבדקנו) - ואלו מתגלות למרבה הצער תוצאות מטעות מאוד. הנושא הספציפי שאנו מתמקדים בו, שאחראי להרבה מאוד קשרים מסתוריים, הוא משהו שאנו מכנים בדיקה ומדידת "קשרים בלתי תלויים". ביסודו של דבר, מדובר בנתוני קטיף דובדבן בשוגג וזה גורם לאומדנים מנופחים של מתאמים.

לפרטים מעט יותר:.

סריקת fMRI מייצרת הרבה נתונים: תמונה תלת ממדית של הראש, המחולקת לאזורים קטנים רבים, הנקראים ווקסלים. בסריקת fMRI ברזולוציה גבוהה יהיו מאות אלפי ווקסלים אלה בתמונת התלת מימד.

כאשר חוקרים רוצים לקבוע אילו חלקים במוח מתואמים עם היבט מסוים של התנהגות, עליהם איכשהו לבחור תת-קבוצה של אלפי ווקסלים אלה. אסטרטגיה מפתה אחת היא לבחור ווקסלים המראים מתאם גבוה להתנהגות זו. עד כה האסטרטגיה הזו בסדר.

הבעיה מתעוררת כאשר החוקרים ממשיכים לספק לקוראיהם מדד כמותי של גודל המתאם שנמדד בדיוק בתוך הווקסלים שבחרו מראש לשם מתאם גבוה. הליך דו-שלבי זה הוא מעגלי: הוא בוחר ווקסלים בעלי מתאם גבוה, ואז מעריך מתאם ממוצע גבוה. פרקטיקה זו מנפחת את מדידת המתאם מכיוון שהיא בוחרת את הווקסלים שהפיקו תועלת מהמקרה, כמו גם כל מתאם בסיסי אמיתי, המעלה את המספרים.

אפשר לראות תופעות דומות מאוד בתחומי חיים רבים. נניח ואנחנו בוחרים את אנליסטי ההשקעות שמבחר המניות שלהם לחודש אפריל 2005 הצליח הכי טוב באותו חודש. אנשים אלה ככל הנראה נוטים שיהיה להם כישרון, אבל יהיה להם גם מזל יוצא דופן (וכמה מומחי מימון, כמו נסים טאלב, אומרים שהמזל יהיה כנראה האלמנט הגדול יותר). אבל אפילו בהנחה שהם מוכשרים יותר מהממוצע - כפי שאנו חושדים שהם יהיו - אם נבקש מהם לחזות שוב, במשך חודש מאוחר יותר, תמיד נגלה שכקבוצה הם לא יכולים לשכפל את הביצועים שהציגו באפריל. הסיבה היא שבפעם הבאה, המזל יעזור לחלקם ויפגע בחלקם - ואילו באפריל, לכולם היה מזל בצד שלהם או שהם לא היו נכנסים לקבוצה העליונה. כך שהביצועים הממוצעים שלהם באפריל הם הערכת יתר של יכולתם האמיתית - את הביצועים אותם ניתן יהיה לשכפל בחודש הממוצע.

זה בדיוק אותו הדבר עם נתוני fMRI ו- voxels. אם חוקרים בוחרים ווקסלים בקורלציה גבוהה בלבד, הם בוחרים ווקסלים ש"יש להם מזל ", כמו גם שיש להם מתאם בסיסי כלשהו. אז אם תיקח את המתאמים שהשתמשת בהם כדי לבחור את הווקסלים כמדד למתאם האמיתי עבור הווקסלים האלה, תקבל הערכת יתר מטעה מאוד.

זה, אם כן, מה שאנחנו חושבים שעומד בבסיס מתאמי הוודו: הניתוח נוצל בשוגג במקרה, וכתוצאה מכך מדידות מנופחות של מתאם. החלק המסובך, שאני לא יכול להיכנס אליו כאן, היה שהחוקרים ניסו לקחת בחשבון את העובדה שהם בודקים כל כך הרבה אזורי מוח שונים, אבל אמצעי הזהירות שלהם הפכו את הבעיה שאני מתאר גרועה יותר, לא טובה יותר !.

LEHRER: המאמר שלך עורר ויכוח רב בקרב מדעני המוח החברתיים, וכמה מהמדענים הוציאו דחייה למאמר שלך. (מאז ביטלת את ההפרכה הזו.) למה אתה מקווה שהדיון הזה יוביל? אילו שינויים מתודולוגיים תרצו לאמץ על ידי מדעני המוח החברתיים המשתמשים ב- fMRI?.

VUL: הדיון שדרבנו די מעניין לצפייה. בהתחלה חלק מהסופרים שעליהם מתחנו ביקורת, ערערו על הנקודה הסטטיסטית שלנו, אך מסיבה טובה - נראה כי קו הטיעון הזה לא תפס. כרגע, ככל הידוע לי, נראה כי כולם מודים שהניתוח ששימש במחקרים אלה לא היה כשר, במובן של מתן מספרי מתאם שניתן להתייחס אליהם ברצינות. במקום זאת, אנו שומעים בעיקר כמה טיעונים אחרים בשלב זה.

האחד הוא שערכי המתאם עצמם לא ממש חשובים - זו רק העובדה שיש מתאם במקום מסוים בראש שחשוב. אני בכלל לא מסכים עם התצפית הזו, ואנחנו חושבים שהעובדה שרבים מהמאמרים האלה הופיעו במקומות כל כך גבוהים היא בגלל שהעורכים התרשמו (בצדק) מהשפעות גדולות. אם אפשר להסביר, למשל, שלושה רבעים מההבדלים האינדיבידואליים במשהו חשוב כמו חרדה או אמפתיה, ברור שזו פריצת דרך אמיתית, וזה אומר לך לא רק המחקר העתידי צריך להסתכל, אלא גם לאן לא צריך. מצד שני, אם זה רק 3 אחוז מהשונות, זה הרבה פחות מרשים, ועשוי לשקף אסוציאציות הרבה יותר עקיפות.

שמעתי גם כמה אנשים מתלוננים שגם אם אנחנו צודקים בנקודה המתמטית, הצגנו את הטיעון שלנו בצורה קצת מחוספסת, תוך ביקורת על מאמרים מסוימים והפניית תשומת לב חיצונית שלילית לשטח, והשתמש במונח ההומוריסטי " וודו.”.

הופתענו כמו כל אחד מכמה עניין העיתון שלנו עורר. ברור שזה התפשט מעין מדעני מוח "ויראלי" שאנו מכירים אמר שהוא קיבל שבעה עותקים שנשלחו אליו (אף אחד מהם לא). הצד הטוב הוא שאנשים חושבים עכשיו יותר טוב על איך הם מבצעים את הניתוחים שלהם. הצד הרע הוא שכל הפרסום הזה הותיר כמה מחברים מרגישים נבוכים ונבחרים. לדעתנו, הנושאים הסטטיסטיים של עצמאות והשוואות מרובות מלאים במלכודות מסובכות - איננו מציעים שאלה היו טעויות טיפשיות שאנשים עשו, ואנחנו מצטערים שפגענו ברגשותיו של מישהו. אולם אני לא חושב שהיה הגיוני לכתוב מאמר שלא "שם שמות", משום שאם הספרות המדעית אמורה להנחות החלטות מחקריות עתידיות, אנשים צריכים לדעת על אילו תוצאות ניתן לסמוך, שאינו יכול. (למעשה, אנו חושדים שסימנו רק חלק קטן מהעיתונים שיש להם בעיות אלה, וחלקם נמצאים בתחומים אחרים, כגון נוירוגנטיקה, מדעי המוח הקוגניטיביים באופן רחב יותר ואחרים.).

LEHRER: האם אתה חושב שהתקשורת אחראית בחלקה לסנסציוניזציה של ממצאי מדעי המוח החברתיים? וכיצד התקשורת יכולה לעשות עבודה טובה יותר בדיווח על נתוני סריקת מוח ?.

VUL: מדעי המוח החברתיים מרגשים! מי לא רוצה לדעת מדוע אנו חשים אהבה, קנאה או שאדנות; כיצד אנו מחליטים להעניש אחרים; ולמה דחייה כואבת? לכן לא נדרש הרבה כדי לסנסציה של ממצאים בתחום זה - רוב הממצאים כבר יתפסו את דמיונו של הציבור, והם זקוקים רק לדחיפה קלה מהתקשורת.

באופן כללי, הייתי דוגלת בספקנות מעט יותר מצד הכתבים ביחס לכל הממצאים המדעיים. אני חושב שכתבים בדרך כלל מנסים לכתוב מסקנות במונחים מעט גדולים יותר ממה שהמדענים השתמשו במקור. מה שהם אולי לא מבינים זה שמדענים עצמם לעתים קרובות מכרו מעט את ההשלכות של ממצאיהם. אתה מרכיב את הדברים האלה ואתה יכול בסופו של דבר עם כיסוי מוגזם באמת. (מצד שני, אולי אם היו עוקבים אחר עצה זו, עמודי מדע היו בסופו של דבר משעממים ולא נקראו, אז אולי עלי לסגת מההצעה.).

בכל הנוגע לדיווח על נתונים של סריקת מוח במיוחד, שמתי לב שהממצאים שנראים כמלהיבים את הציבור, ואת העיתונאים, הם בעיקר מהמגוון של "המוח עושה X", כאשר X הוא תכונה אנושית עמוקה אנו מוקירים (כמו אהבה, שפה וכו '). אולי זה עדיין מרגש את הדיוט שמנסה לאחוז בתפיסה כלשהי שהמוח והמוח הם ישויות שונות. אני לא חושב שיש הרבה אנשים שלומדים מדעי המוח שמוצאים את זה מעניין במיוחד. רובנו שוכנענו ביסודיות שהמוח והמוח הם דבר אחד. אולי אם עיתונאים יתמקדו בשאלות איך עובד משהו במוח, במקום שזה עובד במוח, הם עשויים להרים תת-מערך קצת יותר (מדעית) של התחום.

LEHRER: מה אתה חוקר כשאתה לא חושב על קורלציות וודו ?.

VUL: לאחרונה עבדתי בממשק של פסיכולוגיה קוגניטיבית ולמידת מכונה, ושאלתי כיצד אנשים עשויים לבצע חישובים סטטיסטיים קשים למדי (שנדמה שכולנו עושים באופן לא מודע ואוטומטי כל הזמן).

בחנתי את הרעיון שהמוח האנושי הוא "מנוע דגימה", בעצם, שהוא מגלם מודלים סטטיסטיים מורכבים, אך יכול לעשות עליהם רק שיפוטים על ידי ציור דוגמאות. זה יהיה שווה ערך לתת למישהו מטבע כפוף: הוא לא יודע את ההסתברות שהוא ינחית ראשים או זנבות, אבל הוא יכול להעיף אותו כמה שיותר רוצה.

ניסוי אחד בנושא זה עורר לאחרונה התרגשות תקשורתית (אני די מרוצה ממסקנות העיתונים שלי מוגזמים יתר על המידה), שקראנו להם "חוכמת ההמון שבפנים".

אם תבקש משני אנשים לנחש כמה אנשים חיים בניו יורק, בממוצע, הממוצע של שני הניחושים שלהם יהיה טוב יותר משני הניחושים בלבד. השפעת חוכמת ההמון הזו היא תוצאה של ניחושים של אנשים שונים עם טעויות עצמאיות.

בדקנו את ההשערה שאפילו הממוצע של שני ניחושים מאדם אחד יהיה מדויק יותר משני הניחושים בלבד. זה יהיה המקרה אם תגובות מרובות של אדם אחד הן דפוסי מטבעות דמויי דמיון מסוימים - ממודל הסתברותי פנימי. ואכן, זה בדיוק מה שמצאנו. הממוצע של שני ניחושים מאדם אחד היה (בממוצע) טוב יותר משני הניחושים בלבד - והשיפור היה גדול עוד יותר אם שני הניחושים הופרדו בשבועיים. לפיכך, יש לנו למעשה קהל מתפתח בתוך המוח שלנו - ובמקרים מסוימים אנו יכולים להרוויח על ידי התייעצות עם הקהל ההוא, ולא רק לבצע שיפוט מיידי אחד.

אתה מדען? האם קראת לאחרונה מאמר שנבדק על ידי עמיתים שעליו אתה רוצה לכתוב? ואז צרו קשר עם עורך ה- Mind Matters, ג'ונה לרר, כותב המדע שמאחורי הבלוג "הקורטקס הפרונטלי" והספר "פרוסט היה מדעני מוח". ספרו הבא, איך אנחנו מחליטים, יהיה זמין בפברואר 2009.