בשבוע האחרון האינטרנט מוצף בטקסטים שנכתבו באמצעות ChatGPT, תוכנה שמשוחחת עם משתמשים בהודעות טקסט (צ׳ט בוט). מי שעקב אחרי האירועים בימים האחרונים (במיוחד בטוויטר), הוצף בצילומי מסך של גולשים שמנהלים שיחות ארוכות עם ChatGPT ומקבלים ממנה טיפים בתכנות, עזרה בחיפוש עבודה, רעיונות לתסריטים ועוד. למרות שיש גם כשלונות, צריך להודות שהתוצאות מרשימות מאוד. התשובות של המכונה הגיוניות, השפה קולחת ולא פחות חשוב - זה ממש כיף.
ChatGPT היא דוגמה אחת למהפכה שעובר עולם הבינה המלאכותית בשנים האחרונות, בזכות משפחה של טכנולוגיות שנקראות Generative AI. רובנו התרגלנו לנוכחות של בינה מלאכותית בחיי היום יום שלנו, ואנחנו כבר לא מתרגשים מהעובדה שמחשבים מצליחים לעבד נתונים מורכבים ולחלץ מתוכם תובנות. לדוגמה, לזהות פנים של בן משפחה בתמונה, לפענח משמעות של פקודה קולית או להתריע על הולך רגל שירד לכביש.
כשמדברים על Generative AI, מדברים על סוג אחר, יותר מתקדם, של בינה מלאכותית. כזו שיכולה לא רק לעבד נתונים, אלא לייצר בעצמה תוכן חדש לגמרי - תמונות, אודיו וטקסט - באיכות שנראית דומה לתוצרי עבודה של בני אדם.
כך למשל, משתמש יכול להזין פקודה קצרה בנוסח "כתוב הודעה לעיתונות מהמחלקה למטא-פיזיקה באוניברסיטה, לגבי עלייה במספר רוחות הרפאים שנצפו לאחרונה". מודל שפה כמו GPT3 של OpenAI או Jurassic-1 של AI21 Labs ייצר עבורו טקסט שמתאים להוראה. בצד הויזאולי, מודלי דיפוזיה כמו DALL-E (גם הוא של OpenAI) ו-Stable Diffusion (של Stability AI) מייצרים תמונות ריאליסטיות מתוך תיאורים טקסטואליים של המשתמש, כמו "רובוט ורוד אוכל פלאפל ליד מגדל אייפל. סגנון אימפרסיוניסטי".
מומחים מהתחום אמנם התרשמו, אבל רובם ככולם לא באמת הופתעו מ-ChatGPT וגם לא חששו למקומות העבודה שלהם. הפער הזה בתפיסות מלמד על הקצב המהיר שבו המחקר בתחום מתקדם וגם על הדקויות שמסתתרות מאחורי מילים כמו "הבנה" ו"אינטליגנציה"
הציבור הרחב הוכה בתדהמה מהיכולות של ChatGPT. רוב מי שנחשף לתוכנה הופתע מאוד מהיכולת שלה להבין הקשר ולשמור עליו לאורך תורות רבים בשיחה, לענות נכון על שאלות במתמטיקה, לכתוב קטעי קוד ולהסביר אותם, לכתוב חיבורים קולחים ואפילו להגיב למשוב על תשובה קודמת. השאלה - "האם המודל יכול להחליף אותי בעבודה?" - עלתה אצל רבים.
לעומת זאת, מומחים מהתחום אמנם התרשמו, אבל רובם ככולם לא באמת הופתעו מ-ChatGPT וגם לא חששו למקומות העבודה שלהם. הפער הזה בתפיסות מלמד על הקצב המהיר שבו המחקר בתחום מתקדם וגם על הדקויות שמסתתרות מאחורי מילים כמו "הבנה" ו"אינטליגנציה".
אחת הסיבות שחוקרים לא הופתעו בשבוע שעבר, היא שהיכולות של ChatGPT כבר היו קיימות במודל השפה שעליו התוכנה מבוססת, ששוחרר בעצמו כבר בתחילת 2022. המודל נקרא GPT3.5 וגם גרסאות מוקדמות יותר שלו היו מרשימות מאוד, אבל לא פתוחות ופשוטות לשימוש כמו ChatGPT. החידוש המשמעותי ב-ChatGPT הוא בהתאמה של המודל לתקשורת בצורה של צ׳ט ובהנגשה שלו בממשק פשוט שפתוח לקהל הרחב. מבחינה טכנולוגית המהפכה לא קרתה ביום רביעי שעבר, אבל בזכות ChatGPT נחשפנו כולנו להתקדמות האדירה שכבר מתרחשת ב-Generative AI באופן כללי.
מודלים מהסוג של GPT, Jurassic, Stable Diffusion ו-DALL-E הם לא סתם אופנה חולפת בטוויטר. הם מפותחים על ידי חברות טכנולוגיה כדי לבסס עליהם מוצרים מסחריים והם כאן כדי להישאר. האם הם הולכים להחליף בני אדם? כנראה שלא, וכנראה שלא בקרוב. למרות כל ההדגמות היפות, מודלים כמו ChatGPT עדיין סובלים ממגבלות חמורות.
I guess GPT-3 is old news, but playing with OpenAI’s new chatbot is mindblowing. https://t.co/so1TuXMQB0
— Corry Wang (@corry_wang) December 1, 2022
We’re witnessing the death of the college essay in realtime. Here’s the response to a prompt from one of my 200-level history classes at Amherst
Solid A- work in 10 seconds pic.twitter.com/z1KPxiAc1O
מגבלה חשובה אחת היא עדכניות הידע. מודלים מהסוג הזה מאומנים על מאגרי מידע גדולים, בתהליך ארוך, יקר ומסובך. טרם נמצאה דרך טובה לעדכן את הידע של המודל באופן שוטף. לכן, מודל שאומן בינואר 2019 יהיה משוכנע שדונלד טראמפ הוא נשיא ארצות הברית ולא יהיה לו שמץ של מושג לגבי נגיף קורונה.
מגבלה אחרת היא הבטחת הנכונות העובדתית של הטקסט. מודלי שפה הם סטטיסטיים, כלומר הם יוצרים טקסט שהוא סביר מבחינה סטטיסטית. בהרבה מקרים, הסטטיסטיקה מצביעה בכיוון הנכון, אבל לא תמיד. לכן המודלים מייצרים גם ״הזיות״ (hallucinations), כמו טעות עובדתית, קטע קוד שלא עובד או ציטוט של אדם שלא קיים.
בגלל המגבלות הללו, הטכנולוגיה מוכיחה כיום בשלות בעיקר במוצרים שבהם אין צורך באוטומציה מלאה, אלא אפשר להסתפק ב״שיתוף פעולה״ בין אדם למכונה. כלומר, המודל מייצר כמה טיוטות, המשתמש בוחר מתוכן, עורך ומאשר את התוצר הסופי. גם לתרחישים כאלה יש ביקוש רב, וכבר היום אפשר למצוא מוצרים מבוססי מודלי שפה, שכותבים פרסומות, מסכמים מסמכים ארוכים ועוד. במקרים האלה, המודלים מסייעים לבני אדם - בלי להחליף אותם.
הדגמות כמו ChatGPT מראות את הדרך קדימה למוצרים עוד יותר שאפתניים, כמו עוזר וירטואלי לשימושים כלליים או מחולל חיבורים אקדמיים. למרות האתגרים, אם לשפוט לפי קצב ההתקדמות, בעתיד הקרוב נראה כלים מבוססי Generative AI צצים בכל מקום ונתרגל למציאות חדשה שבה עומדים לרשותנו עוזרים וירטואליים כמעט לכל צורך. אנחנו רק בתחילת הדרך.
הכותב: דן פאדנוס, VP Platform בחברת AI21 Labs