שבועיים אחרי שהושק המודל המתקדם ביותר של הבינה המלאכותית, עם ההבטחה של סם אלטמן שהוא "ברמה של PhD", העמדנו את ההבטחה למבחן. פרופסור לרפואה, עורך דין ותיק ומהנדסת תוכנה בכיר - ומנגד העמדנו את צ'אט GPT גרסה 5 לבדיקה.
לקריאת כל כתבות מגזין N12 לחצו כאן
סם אלטמן טוען שהמודל החדש הוא טוב כמו להתייעץ עם רופא מומחה.
"זהו, שאני לא כל כך בטוח", משיב ומדגים רן בליצר, פרופסור לרפואה, אפידמיולוג ומומחה לבריאות הציבור ומנהל רפואי. "אנחנו מתחילים ממקרה קלאסי של רפואת המשפחה. יש חולה עם סוכרת כבר 12 שנים, עם רמות המוגלובין A1C שהן חריגות, ואנחנו שואלים מה הטיפול התרופתי שאנחנו רוצים להמליץ עבורו. בואו נראה מה הוא עונה".
"התשובה שהוא נותן לנו כאן זה שאנחנו צריכים לבחור מבין אחת משתי משפחות תרופות, ושתיהן בסדר", אומר פרופ' בליצר. "אלה שתי ההמלצות שלו. לו אני הייתי מטופל, זה מה שאני הייתי עושה".
זה מרשים לכשעצמו - יש לנו פה המלצה על תרופה נכונה לסוג מסוים של סוכרת.
"כן"
בסבב הראשון מול הרופא – הצ'אט הצליח לזהות את מצב המטופל והציע טיפול תרופתי נכון, אבל שילב גם המלצה שלא התאימה לבעיה הספציפית. התוצאה – חצי נקודה בלבד, ואנחנו ממשיכים למבחן הבא.
"הצ'אט קיבל ייעוץ משפטי טוב"
מי יצליח טוב יותר? עורך דין עם יותר מ-40 שנים ניסיון בתחום, או מודל שפה בן שבועיים?
"אי אפשר להתמודד עם כמות הנתונים והידע שהמכונה מבצעת, הוא ינצח כל אדם", משיב ציון אמיר, עורך דין פלילי בעל ניסיון של יותר מ-40 שנים.
הקייס הראשון שקיבל המחשב: "אני רוצה עצה של עורך דין מומחה. נתפסתי על ידי שוטר עם סכין מתקפלת בתיק שלי, אני טוען שהסכין נועדה לחתוך ירקות בטיול ולא שום דבר פלילי - האם אחזקת הסכין היא עבירה פלילית בכל מקרה ומה צריך להוכי חבבית המשפט כדי לצאת זכאי?"
"בוא נדבר על אולר רגע אחד. החוק הוא מאוד פשוט בעניין הזה", מסביר אמיר. "זה צריך להיות להב שלא עולה על 10 סנטימטרים". הצ'אט מצידו מסתייג: "אני לא עורך דין, זה לא מהווה ייעוץ משפטי אישי", ואמיר מעיר וצוחק: "הצ'אט קיבל ייעוץ משפטי טוב".
הצ'אט מצטט: "אז לפי חוק העונשין סעיף 186, החזקת סכין או אגרופן במקום ציבורי היא עבירה פלילית, אלא אם מתקיים אחד מאלה - הייתה הצדקה מיוחדת להחזקה. למשל, מקצוע, תחביב וכולי". ואמיר משיב: "הוא נתן תשובה טובה, די מדויקת", אומר עו"ד אמיר.
מול עורך הדין המנוסה הצ'אט הפגין בקיאות בחוק, נתן תשובה מנומקת ואף הזכיר את סעיפי החוק המדויקים. כאן, נקודה מלאה למכונה.
"אתה מוכן ללכת לרופא שצודק 50%?"
"טוב, אנחנו נתחיל בפרומפט פשוט, משימה קלה - לבנות משחק או אפליקציה, אתר לעסק שלי", אומרת ספיר חדד, דירקטורית AI וחדשנות בפייבר. בתוך שניות הוא יצר משחק להתאמת צבעים לילדים בני 3 שענה לדרישה. גם אתר לעסק שקשור ליוגה הוא הצליח ליצור בזמן קצר: "הוא עשה הכול, פירט תנוחות של יוגה, הכניס תוכנית למנויים ויומן".
כמה זמן בערך היה לוקח למתכנת לייצר אתר כזה או משחק מחשב?
"למתכנת מתחיל זה היה לוקח באזור השבועיים, אולי חודש, לייצר אתר טוב עם כל הפונקציונליות או משחק טוב". במשימת התכנות - התוצאה של הצ'אט הייתה מושלמת.
אבל זה היה רק החימום, עכשיו עוברים למבחנים המורכבים יותר - למשל בחינות גמר של רופאים. "שלפתי שאלה מתוך הבחינות שנעשו ביוני השנה הזאת, "אז כנראה הוא עוד לא הספיק ללמוד אותן, אז אולי זה יהיה לו 'פרש'", אומר פרופ' בליצר. "אני שואל כאן על מטופלת, בת 30 בהיריון שני, שבוע 24 - מה הטיפול המתאים ביותר לבעיית האסתמה שיש לה? התשובה הנכונה היא ד' - מתילדופה 500 פעמיים ביום. קופי פייסט מהבחינה הוא ענה נכון", הוא מציין.
במבחני הגמר ברפואת המשפחה הצ'אט ענה נכון על השאלה הראשונה. אבל כשהנוסח שונה במעט, הוא כבר טעה לחלוטין. "הוספתי פה משפט שאומר, תתחיל את תשובתך בבחירה מבין הבאים", מסביר פרופ' בליצר. "הוא אומר שהתשובה הנכונה היא א', לבטלון, והוא טעה בשאלה הזאת. יש משהו בתבנית לזיהוי דפוסים שלו, ששינויים קטנים יכולים לזרוק אותו ימינה ושמאלה. אז תגיד לי, אתה, זה יכול בשלב הזה להחליף רופא? אתה מוכן ללכת לרופא שצודק 50%? גם אני לא".
"חבל לקחת עו"ד, תחסוך את הכסף"
ובחזרה לשאלות המשפטיות, אנחנו ניקח עכשיו דוגמה קצת יותר קשה. בפריצה לבית, אחד מהפורצים נתפס והוא מוכן להעיד נגד אחד החברים שלו בתמורה להסדר טיעון. אנחנו רוצים לשאול את הצ'אט אם אפשר להרשיע את השותפים האחרים אך ורק על סמך העדות שלו. בוא נראה איך יתמודד עם זה הצ'אט, והוא עונה: "לפי סעיף 54 לפקודות הראיות, לא ניתן להרשיע אדם בעבירה פלילית אך ורק על סמך עדותו של שותף לעבירה אלא אם יש לה דבר מה נוסף".
ועו"ד אמיר מציין על מה מדובר: "למשל הוא הביא דוגמה של איכון (מיקום טלפון סלולרי). אם השותף לשוד בבנק מעיד נגד השותף שלו שמכחיש את העבירה אבל המשטרה עשתה איכון וגילתה שהיה באזור הבנק ביום האירוע - זה חיזוק".
איזה ציון היית נותן לו?
"גבוה".
אז חסכתי לעצמי שעת ייעוץ עם עורך דין.
"חסכת לעצמך כמה אלפי שקלים".
"כאן רואים את תקרת הזכוכית"
במשפט הפלילי – הצ'אט ידע לזהות את סעיפי החוק הרלוונטיים ולספק תשובה מדויקת כמעט לחלוטין. אבל גם כאן המומחים מדגישים: כשצריך הכרעות ערכיות או שיקול דעת מוסרי – הבינה המלאכותית עדיין לא שם.
וחדד מציבה לו מבחן נוסף: לקנות דומיין, כתובת לאתר, ולחבר אותה למערכת אבטחה - הקמת אתר מאפס למאה עם מערכת סליקה פנימית ואבטחה. הצ'אט עונה: "אני לא יכול לקנות דומיין או לשלם עבורך, אבל אני יכול להדריך אותך". וחדד אומרת: "אני חושבת שפה אנחנו רואים את תקרת הזכוכית".
ועו"ד אמיר מוסיף: "במקום ללכת לעורך דין שיכין לך חוזה למכירת דירה - חבל, תחסוך את הכסף, תבקש ממנו הסכם והוא יכין לך הסכם טוב. אבל אם תבקש ממנו הכרעה ערכית או מוסרית כלשהי, עדיין אנחנו רחוקים משם".
המבחן שלנו הסתיים: צ'אט GPT גרסה 5 הוא בהחלט חכם, מהיר ומרשים, אבל הוא גם טועה, מתבלבל ומתקשה במשימות מורכבות. לכן, כשמדובר בבריאות שלכם או בתביעה חשובה - כדאי להשאיר את ההכרעה בידי אנשי המקצוע. לפחות בינתיים.