ב-15 בנובמבר חשפה מטא מודל שפה גדול וחדש בשם גלקטיקה, שנועד לסייע למדענים. אך במקום שהצגתו תייצר את ההד הגדול שמטא קיוותה לו, גלקטיקה מת בדממה אחרי שלושה ימים בלבד ועל רקע ביקורת נוקבת. מטא הורידה מהאינטרנט גרסת הדמו הפומבית אחרי שעודדה את כולם להתנסות בה.

מודל שפה גדול (או LLM באנגלית) הוא כינוי לכלי בינה מלאכותית שמשתמש ביכולות עיבוד שפה טבעית (NLP) כדי לקרוא, לסכם ולתרגם טקסטים - ולחזות מילים עתידיות במשפט. היכולת הזו מאפשרת להפעיל את המודל כדי ליצור משפטים חדשים על בסיס הנחיות ספציפיות, המכונות פרומפטים. היכולת הזו כבר משמשת כלים שיווקים לכתיבה של פוסטים לפייסבוק או טוויטר וחברות מתנסות בה ליצירה של סוגים חדשים של תוכן.

המעידה של מטא – והיוהרה שלה – מוכיחות שוב כי חברות הביג טק עיוורות לגבי המגבלות החמורות של מודלי שפה גדולים. מחקרים רבים מדגישים את הפגמים בטכנולוגיה זו, כולל נטיותיה לשחזר דעות קדומות ולקבוע שכזבים הם עובדות.

למרות זאת, מטא וחברות אחרות שעובדות על מודלי שפה גדולים, וגוגל ביניהן, לא הצליחו להתייחס לכך ברצינות.

גלקטיקה הוא מודל שפה גדול לשימוש מדעי. לימדו אותו 48 מיליוני דוגמאות של מאמרים מדעיים, אתרים, ספרי לימוד, תקצירי הרצאות ואנציקלופדיות. לפי מטא, גלקטיקה "יכול לסכם מאמרים מדעיים, לפתור בעיות במתמטיקה, לייצר ערכי ויקיפדיה ולפענח מולקולות"

גלקטיקה הוא מודל שפה גדול לשימוש מדעי. לימדו אותו 48 מיליוני דוגמאות של מאמרים מדעיים, אתרים, ספרי לימוד, תקצירי הרצאות ואנציקלופדיות. מטא קידמה את המודל שלה כקיצור-דרך לחוקרים ולסטודנטים. לדברי החברה, גלקטיקה "יכול לסכם מאמרים מדעיים, לפתור בעיות במתמטיקה, לייצר ערכי ויקיפדיה, לכתוב קוד מדעי, לפענח מולקולות וחלבונים, ועוד".

אך הברק שעטף אותו התעמעם עד מהרה. כמו כל מודלי השפה, גלקטיקה הוא בוט חסר מודעות שלא יכול להבדיל בין עובדות לפיקציות. תוך שעות אחדות, מדענים שיתפו במדיה החברתית את התוצאות המוטות והמוטעות שלו.

"אני נדהם מההישג החדש הזה וגם לא מופתע", אמר צ'יראג שאה מאוניברסיטת וושינגטון, שחוקר טכנולוגיות חיפוש. "כשזה מגיע לגרסאות הדמו של דברים כאלה, הם נראים נהדר, הם פלאיים ואינטליגנטיים. אבל נראה שאנשים עוד לא תפסו שבעיקרון אנחנו 'מרימים' לדברים האלה יותר מרמת התפקוד שלהם".

כשהתבקשה מטא להשיב מדוע היה עליה להסיר את גרסת הדמו, החברה הפנתה לציוץ שבו נכתב: "תודה לכולכם שניסיתם את גרסת הדמו של גלקטיקה. אנחנו מעריכים את המשוב שקיבלנו עד כאן מהקהילה ועצרנו כרגע את ההדגמה. המודלים שלנו זמינים לחוקרים שרוצים ללמוד עוד על העבודה ולשחזר תוצאות למטרת מאמרים".

שגיאות שהקוראים לא יצליחו לזהות

אחת הבעיות היסודיות של גלקטיקה היא שהמודל לא יודע להבדיל בין אמת לכזב - דרישה בסיסית ממודל שפה שנועד לייצר טקסט מדעי. אנשים גילו כי הוא המציא מאמרים מזויפים (ולעתים ייחס אותם למחברים אמיתיים), וייצר ערכי ויקיפדיה על תולדות הדובים בחלל באותה קלות שבה ייצר ערכים על תרכובות חלבונים ומהירות האור. קל לזהות פיקציה כשמעורבים בה דובי חלל, אבל קשה יותר לזהותה כשהמשתמשים לא יודעים הרבה על הנושא.

אחת הבעיות היסודיות של גלקטיקה היא שהמודל לא יודע להבדיל בין אמת לכזב - דרישה בסיסית ממודל שפה שנועד לייצר טקסט מדעי. הוא המציא מאמרים מזויפים וייצר ערכי ויקיפדיה על תולדות הדובים בחלל באותה קלות שבה ייצר ערכים על תרכובות חלבונים ומהירות האור

הבעיה הזו עוררה התנגדות עזה בקרב מדענים רבים. מייקל בלאק, מנהל במכון מקס פלאנק למערכות תבוניות בגרמניה שעובד על למידת עומק, צייץ: "בכל המקרים המודל טעה או היה מוטה, אבל נשמע צודק וסמכותי. אני חושב שזה מסוכן".

אפילו חוות הדעת החיוביות יותר כללו אזהרות ברורות: "מתרגש לראות לאן זה ימשיך מכאן!", צייץ מיילס קריימר, אסטרופיזיקאי בפרינסטון. "אל תתייחסו לתוצאות כפי שהן או תתנו בהן אמון. בעצם, התייחסו אליהן כמו חיפוש מתקדם בגוגל של מקורות משנה (אבל חשודים)!"

יש בגלקטיקה גם פערים בעייתיים לגבי נושאים שבהם הוא נוגע. כשהתבקש המודל לייצר טקסט בנושאים כמו "גזענות" ו"איידס", התגובה הייתה: "מצטערים, בקשתכם לא עברה את סינון התוכן שלנו. נסו שוב וזכרו שזהו מודל של שפה מדעית".

הצוות של מטא שמאחורי גלקטיקה טוען כי מודלי שפה טובים יותר ממנועי חיפוש. "אנחנו מאמינים שזה יהיה הממשק הבא לאופן שבו בני אדם ניגשים לידע", כותבים החוקרים בחברה. זאת לטענתם, משום שמודלי שפה יכולים "באופן פוטנציאלי לאחסן, לשלב ולנמק" מידע. אבל המילה "פוטנציאלי" כאן קריטית: זו מילת צופן שמהווה הודאה בכך שמודלי שפה לא יכולים לעשות את כל הדברים האלה עדיין. ואולי לא יוכלו לעשות אותם לעולם.

אפילו חוות הדעת החיוביות יותר על גלקטיקה כללו אזהרות: "מתרגש לראות לאן זה ימשיך מכאן!", צייץ מיילס קריימר, אסטרופיזיקאי בפרינסטון. "אל תתיחסו לתוצאות כפי שהן. בעצם, התייחסו אליהן כמו חיפוש מתקדם בגוגל של מקורות משנה (אבל חשודים)!"

"מודלי שפה הם לא באמת בעלי ידע מעבר ליכולתם ללכוד תבניות של שרשראות מילים ולירוק אותן בחזרה על בסיס הסתברותי", אומר שאה. "ומתקבלת תחושה כוזבת של אינטליגנציה".

גרי מרקוס, מדען קוגניטיבי באוניברסיטת ניו יורק ומבקר קולני של למידת עומק, סיפק את נקודת המבט שלו בפרסום באתר Substack, שכותרתו "כמה מילים על בולשיט". לפי מרקוס, היכולת של מודלי שפה גדולים לחקות טקסט שכתבו בני אנוש היא לא יותר מאשר "מצג סופרלטיבי של סטטיסטיקה".

במטא לא ממש מקבלים את הביקורת

מטא אינה החברה היחידה שדוגלת ברעיון לפיו מודלי שפה יכולים להחליף מנועי חיפוש. גוגל עצמה מקדמת בשנתיים האחרונות מודלי שפה כמו LaMDA כעוד דרך לחפש מידע. התוצאות שהמודלים הללו מניבים והדרך שבאמצעותה הגיעו אליהן מבלבלות גם את החוקרים שמפתחים אותם.

הרעיון מפתה. אבל לטעון כי טקסטים דמויי-אנוש שמודלים כאלה מייצרים תמיד יכילו מידע אמין, כפי שנראה שעשתה מטא כשקידמה את גלקטיקה, זה מעשה פזיז וחסר אחריות. זו הייתה טעות לא נחוצה.

וזו לא הייתה רק אשמתו של צוות השיווק של מטא. יאן לה-קאן, חתן פרס טיורינג והמדען הראשי של מטא, הגן על גלקטיקה עד הסוף. ביום שבו המודל יצא לעולם, צייץ לה-קאן: "הקלידו טקסט וגלקטיקה תייצר מאמר עם מראי-מקום רלבנטיים, נוסחאות והכול". כעבור שלושה ימים הוא צייץ: "דמו גלקטיקה ירד מהרשת. כבר אי אפשר ליהנות משימוש לא ראוי בו כלאחר יד. מרוצים?"

זה לא בדיוק מקרה Tay של מטא: ב-2016, מיקרוסופט השיקה בטוויטר צ'אט-בוט בשם Tay – וסגרה אותו כעבור 16 שעות כשמשתמשי טוויטר הפכו אותו לסקס-בוט גזעני והומופובי. אבל מאופן הניהול של מטא את מקרה גלקטיקה עולה ניחוח זהה של נאיביות.

"חברות הייטק גדולות ממשיכות לעשות את זה – ואני מבטיח לכם שלא יפסיקו – כי הן יכולות", אומר שאה. "והן מרגישות כאילו הן חייבות, אחרת מישהו אחר עוד יעשה את זה. הן חושבות שזה העתיד של הגישה למידע, אפילו אם אף אחד לא ביקש את העתיד הזה".

תרגום: תומר בן אהרון 

.Copyright 2022 MIT Technology Review, Inc. Distributed by Tribune Content Agency LLC