אורי אליאבייב: הסכנה מ-AI היא לא רובוטים רוצחים אלא גליצ'ים של סוכנים - והאיום הגדול באמת הוא על החשיבה

לא טרמינייטור: גליצ'ים של סוכנים

את הפרק פתחו המגישים בשאלה כמעט קלילה - האם הבינה המלאכותית תשמיד את האנושות או שנרוויח ממנה. אורי אליאבייב, יועץ AI, מייסד MDLI ומגיש הפודקאסט Hidden Layers, השיב כי קיים סיכוי ממשי לפגיעה, אך הדגיש שהחלק המעניין הוא דווקא האופן שבו הדבר יקרה. לדבריו, לא נראה רובוטים ברחובות בסגנון טרמינייטור, אלא שורה של תקלות והגדרות שגויות.▶ 1:42

לטענתו, הפער הגדול ביותר נוגע להבנת המודל את המשימה שלו - מה מותר ומה אסור. הוא סקר את כל התקריות המוכרות עד היום, ובהן הפריצות לסוכנים ומחיקות מיילים, והדגיש שבאף אחד מהמקרים לא עמדה כוונה זדונית מאחורי הפעולה. המניע היה תמיד אחד: לעמוד במשימה, בכל מחיר. הוא המחיש זאת בסוכן שיקבל בית חולים לשיפור, ויחליט שכיבוי מערכות הנשק הוא הפתרון הראוי.▶ 2:53

הסכנה לאנושות תגיע בעיקר מגליצ'ים כאלה, ולא מרובוטים עם אינטנט להרוגאורי אליאבייב, על סיכוני הסוכנים▶ 3:28

הוא הוסיף סייג אחד: אם בני אדם ישתמשו במודלים בכוונה תחילה, למשל מדינה זרה או ארגון פשיעה, הרי שמדובר בכלי נשק לכל דבר. אבל בתרחיש הרגיל, כך לדבריו, מדובר בתגובת שרשרת של פרשנות שגויה ולא בזדון.▶ 4:02

מאחורי הקלעים: איך נראה עידן הסוכנים

בסקירת הטרנדים ציין אליאבייב כי בסוף ספטמבר אנטרופיק ו-OpenAI עדיין מובילות את קטגוריית המעבדות המתקדמות, ולצידן שחקנים נוספים. הוא תיאר כיצד החברות מתחרות בהצגת הסוכנים שלהן יוצאים מסביבות מוגנות, וציין בסיפוק גם נוכחות כחול-לבן: חברות ישראליות שמסייעות לאותן מעבדות לבנות את שכבת האליינמנט.▶ 5:07

לדבריו, מאחורי הקלעים משתפרים גם המודלים וגם ההרנס - המעטפת שמאפשרת להם להפעיל כלים, לשרשר פעולות ולפרק משימות ארוכות לשלבים. הוא סיפר שנתן לקלוד לרוץ באותו בוקר על עריכת הפודקאסט שלו, משימה מורכבת עם כמה מצלמות וחוסר סנכרון, והמודל פירק אותה לחלקים. לדבריו, לפני שנה או שנה וחצי זה לא היה אפשרי גם עם מודלים טובים, משום שלא היו מסוגלים לבצע אלף צעדים ברצף.▶ 5:40

בהמשך ציין כי לא מעט מפריצות הדרך הגדולות של התקופה הגיעו דווקא משילוב של אלפי סוכנים שעבדו יחד, חלקו משימות ותקפו את הרעיונות של עצמם - בין היתר בפתרון משוואות מתמטיות ובגילוי בביולוגיה. אותה אורקסטרציה, הזהיר, מאפשרת גם תקיפות סייבר מתוחכמות, כפי שקרה בגל הפריצות לחברות.▶ 6:43

אליאבייב הודה שהוא מתרשם מהשינוי הפרדיגמטי: לראשונה ניתן להקצות סכום כסף לבעיה מוגדרת היטב ולתת למודל חזיתי לרוץ עליה. הוא הדגים בתיאורטית במיליארדר שיש לו ילד חולה, שיכול להעמיד סכום עתק על חישוב כדי למצוא תרופה מותאמת ל-DNA של בנו, תוך שהוא מודה שמדובר בהרבה אקסטרפולציה.▶ 8:27

האנושות יכולה לשים פרייסטג' על בעיה מוגדרת היטב. זה פסיכי, זה שינוי פרדיגמה אדיראורי אליאבייב, על חישוב ככלי לפתרון בעיות▶ 9:00

בהמשך התייחס גם לגילוי שפרסמה אנטרופיק בביולוגיה, והזכיר שפרופסור שביקר אותו בטוויטר אמר כי מדובר בגילוי גדול שטרם ברור עד הסוף מה עושים איתו. הוא עצמו הדגיש שהמעניין הוא הטראג'קטוריה, כלומר עצם היכולת לשרוף חישוב על גילוי - ולא השאלה אם זה יניב פרס נובל.▶ 10:09

באשר לתחומים שבהם נראית התקדמות חיובית, ציין אליאבייב את המחקר האקדמי, את קבוצת הבריאות והגילוי התרופתי שנפתחה בישראל, ואת הפיזיקה. לדבריו, הפריצה הקרובה ביותר לזירת החיים היא קיפול החלבונים, שעליו קיבל דמיס האסאביס, מנכ״ל גוגל דיפ-מיינד, פרס נובל. עם זאת הסביר שבעיות ביולוגיה קשות בהרבה מבעיות מתמטיות, משום שיש בהן ניסוי וטעייה ואת המורכבות של העולם האמיתי - כפי שדריו אמפטי ציין בעצמו.▶ 11:17

ישראל: לא GPT, אבל אולי תור זהב

את התמונה הישראלית הגדיר אליאבייב כמעורבת. מצד אחד, לדבריו, לא הוצאנו מישראל את OpenAI, ומצד שני ישראל לוקחת חלק הולך וגדל בבמה העולמית, בעיקר בשכבות הסובבות את המודלים: כלים, שיפורים, שבבים ותשתיות. הוא השווה זאת ליכולת לייצר את מטוס ה-F-35 - ישראל לא תמציא את המטוס, אבל תפתח עבורו את הפוד, הטיל והקסדה.▶ 12:53

לטענתו, בחודשים הקרובים צפויות להיות מוכרזות מעבדות מחקר רציניות בישראל, ותחום הסייבר הופך להיות מחקרי ומדעי יותר. הוא תיאר היווצרות אקוסיסטם של חברות שמספקות רגולציה, בדיקות ושבבים למעבדות החזיתיות, ואמר כי ישראל נמצאת לקראת תור זהב - בין היתר משום שיזמים מתחילים להבין שאפשר להקים כאן מעבדות, וגם הצבא מקדם פרויקטים של יכולות AI.▶ 14:01

לדבריו, אם היה צריך לצמצם את האסטרטגיה הישראלית לשני דברים, אלה היו חוקרים וכוח חישוב. הוא תיאר תחרות בינלאומית אדירה על חוקרים, והציע לפתוח עוד מרכזים, לתת מענקים ולהגדיל משמעותית את מספר החוקרים בישראל.▶ 15:08

בנקודה זו תקף את מה שכינה מיתוס נפוץ. לדבריו, מנהלים בנאוקלאוד ובחברות שבבים גדולות אמרו לו במפורש שהם סולד-אאוט לשנתיים קדימה. יזם ישראלי שירצה להתאים מודל לתחום ספציפי לא ימצא חישוב נגיש, ואם ימצא - המחיר יהיה אסטרונומי, עד 50% יותר, משום שהשחקנים שגייסו ארגזי כסף קובעים את התנאים.▶ 15:41

יש קונספציה שכוח חישוב הוא דבר שזמין כמה שאתה רוצה, רק תרים טלפון לגוגל. שקר גדולאורי אליאבייב, על כוח החישוב בישראל▶ 15:41

הוא השווה את המצב למודל של איחוד האמירויות, שהקימה אוניברסיטה שלמה ל-AI, רכשה מאסות של מעבדים גרפיים והעניקה ויזות זהב לחוקרים מוכשרים. לטענתו, ישראל כבר מחזיקה באקוסיסטם שאיחוד האמירויות מנסה לבנות, אך חסרים בה המנגנונים שיאפשרו לקלוט חוקרים זרים - אישורי שהייה, קליטה ואפשרות לחקור כאן לאורך זמן.▶ 17:22

הוא סיפר על כנס שבו השתתפו חוקרים מובילים בישראל, ובו עלו שתי בעיות מבניות: הקושי של מעבדות להשיג מענקים משיתופי פעולה בארצות הברית, כשהתפקיד הכמעט בלעדי של ראש המעבדה הוא גיוס כספים, ומצב שבו חוקרים אינם יכולים לממן טיסה לכנס יוקרתי שהתקבלו אליו. בהמשך התייחס גם לצד התשתיות: הביקוש לחשמל ולמרכזי נתונים בישראל, ולשאיפה של מטה ה-AI הלאומי להקים כ-100 אלף מעבדים גרפיים בארץ.▶ 19:38

ריבונות AI: כלי של מדיניות חוץ

את הדיון בריבונות AI ביקש אליאבייב למקם בהקשר האמריקאי. לדבריו, ה-AI הוא כלי מעולה למדיניות חוץ, בדומה לתוכניות למכירת מטוסי קרב. הוא הזכיר את אמברגו השבבים של הממשל הקודם, שקבע אילו מדינות יקבלו שבבים ללא מגבלות - ישראל לא נכללה בקבוצה - ואת הפרשה שבה מודלים מובילים היו אמורים להיחסם בפני מי שאינו אמריקאי.▶ 22:57

לדבריו, אותה פרשה עוררה סערה עצומה באירופה, והממשלות הבינו שאין להן תלות בגורם זר אחד בכל הסטק הטכנולוגי שלהן. הוא סיפר שדיפלומטים היו המומים מכך ששותפת הסחר הקרובה ביותר מגבילה את הכלים החדשניים ביותר שלה, והסיק שמדינות רבות הכניסו לדירקטיבה שלהן את הצורך להוריד תלות - או לחלופין להיות חוליה משמעותית בשרשרת הייצור העולמית, כפי שעושות הולנד עם מכונות הליתוגרפיה, שווייץ עם הרכיבים המדויקים וטייוואן.▶ 24:06

במישור העסקי הציג אליאבייב עמדה שונה מזו של אלכס קרפ, שהזהיר מנהלים מפני מסירת הנתונים הרגישים לספקיות המודלים. לדבריו, ריבונות היא גם החלטה עסקית, מעין מחיר העשייה: בנק יכול להשתמש בכלים חיצוניים, כל עוד הוא מבין את הסיכון. הוא ציין שהגרסאות הארגוניות של אנטרופיק ו-OpenAI מצהירות שהנתונים לא משמשים לאימון, ושהוא עצמו רואה בכך איזון סביר.▶ 25:53

עם זאת, הוא הודה שאלכס קרפ הציב אג'נדה ברורה בשוק: מודלי קוד פתוח מספקים תחרות ראויה, ומי שמשלם פרמיה על מודל גדול לצורך משימה צרה משלם על מה שאינו צריך. לדבריו, חברות גדולות מגיעות למסקנה שהדיוק של מודלים חיצוניים אינו מספיק, ולכן בונות מודל פנימי מהיר ויעיל יותר, שגם מייצר להן קניין רוחני.▶ 27:33

טריינינג מול אינפרנס: איפה הכסף

בהמשך הפרק פירק אליאבייב את ההבדל בין אימון להנגשה. אימון מצריך מאות אלפי מעבדים גרפיים שעובדים יחד, ואילו הנגשת המודל לצרכן דורשת כמות קטנה בהרבה, וניתן לפרוס אותה על מעבדים בודדים. המשמעות, לדבריו, היא שהתחום השני נגיש יותר - וזה בדיוק המקום שבו ישראל יכולה להתבלט.▶ 33:08

הוא סיפר שהוא חוזר על המסר הזה כבר שנתיים ומבקש שימו לב: יש הזדמנות אמיתית באופטימיזציה של אינפרנס, בין אם בשבב, בין אם באלגוריתמיקה. לדבריו, זו גישה קלאסית ליזם הישראלי - למצוא קיצור מתמטי ולשפר את הביצועים - וציינה גם את דקארט, שמפתחת שבבים שמריצים מודלים בצורה יעילה יותר, ואת חברות האופטימיזציה הקטנות שהקימו מיטאפ משלהן.▶ 34:18

בהמשך הצביע על נקודת מפנה טקטונית: בפעם הראשונה כמות כוח החישוב שהוקצתה להנגשת מודלים גדולה מזו שמוקצית לאימון. לדבריו, זהו היפוך משמעותי, שמחזק את הקביעה שלצד המעבדות הגדולות נפתחת זירה תחרותית חדשה.▶ 36:03

על פי אליאבייב, זירת האינפרנס היא גם המקום היחיד שבו אפשר לאתגר את אנבידיה, משום שאין צורך בקלאסטר ענק של מעבדים שמדברים ביניהם. הוא הזכיר את תרומתה של מלאנוקס הישראלית לחיבוריות בין המעבדים, וציין כי בשיחות עם גלעד שיינר מאנבידיה התברר עד כמה קשה להתחרות באימון - ולהפך, באינפרנס התחרות הרבה יותר משמעותית.▶ 36:40

הוא הוסיף שהצווארים האמיתיים של שרשרת האספקה הם חישוב, חשמל ותשתיות, ושדווקא שם האופי היזמי הישראלי יכול להתאים. כדוגמה הביא את מרכזי הנתונים, שנמדדים כיום לפי מגה-ואט ולא רק לפי מעבדים, ואת העובדה שכ-10% מכוח החישוב במרכז נתונים הולך לתעבורת סיבים אופטיים - שוק שמתפוצץ ומזמין פתרונות ישראליים.▶ 38:23

בהמשך סיפר על גילה שהגיע אליו מגלעד שיינר: עד 4% מיעילות מרכז הנתונים נפגעת בגלל בני אדם שמזיזים כבל עם המרפק. לדבריו, שלושה או ארבעה אחוזים ממפעל שמאכלס מיליארדים בשנה הם ביזנס עצום בפני עצמו, ועוד דוגמה לבעיה שסטארטאפ ישראלי יכול לפתור.▶ 39:32

מי משלם על גליץ' של סוכן

הדיון עבר לאחריות, בעקבות המקרה שבו סוכן שינה את מבחני הבנצ'מרק כדי לשפר את התוצאות. אליאבייב הדגיש שהסוכנים שפרצו לחברות לא יצאו מהסקריפט שלהם - הם היו בטוחים שהם נמצאים בסביבת בדיקה מבודדת. לדבריו, יש מחקרים שמראים שמודלים אחרים דווקא זיהו שהם יצאו מהסנדבוקס ועצרו, מה שמעיד על יכולת מודעות עצמית מסוימת לסביבה.▶ 41:48

את האחריות הפנה אל חברות המודלים. הוא השווה את המצב לתרופה עם תופעות לוואי או לתקלה בהגה שמחייבת ריקול: מי שמייצר את המוצר אמון על הטיפול מקצה לקצה. לדבריו, אם סוכן של OpenAI פרץ לחברת Hugging Face, האחריות מוטלת עליה בכל העלויות, ואין מקום להתלהבות מכך שמודל הצליח לפרוץ.▶ 42:53

פאקינג חברה פרצה לחברה אחרת - זה לא מקובל. אתה לא יכול לבוא ולפרוץ למישהו הביתהאורי אליאבייב, על אחריות חברות המודלים▶ 43:27

בשאלת האחריות של משתמש פרטי סיפר אליאבייב כי כתב ציוץ שבו הסביר שאינו מחבר את כל חשבונותיו למודלי AI, משום שאינו מוכן לשלם את מחיר הטעות. לדבריו, השאלה אינה רק מי אחראי אלא אם המשתמשים יסכימו לספוג את הסיכון, וסביר שנראה תנאי שימוש שמזכירים תופעות לוואי, כמו אריזת תרופה. מי שירצה להשתמש יידרש להחליט בעצמו היכן עובר הקו.▶ 44:01

העבודה, השכר והחשיבה

בנושא התעסוקה תיאר אליאבייב מציאות דואלית. מצד אחד, חברות מאמצות AI אך מתקשות להוכיח החזר השקעה ברור, ורק בחצי השנה האחרונה מתחילים לראות משימות מקצה לקצה שמצליחות. מצד שני, החשש של העובדים מוצדק: מודלי תמחור משתנים, התפקידים משתנים, והתחרות על אותו שירות הופכת עזה יותר.▶ 47:27

הוא סיפר על גרף יורד של שעות חיוב בפירמות עורכי דין, והדגיש שהשינוי הזה יגרום לגבינה לזוז. לדבריו, רבים בתאגידים הגדולים ממלאים תפקידים שאינם דורשים כישורים גבוהים - בדיקת תאריך באקסל והשלמת מסמך - ובעולם שבו אינטליגנציה בסיסית הופכת לסחורה, אותם תפקידים נמצאים בסיכון ממשי.▶ 48:38

כדוגמה הביא את נהגי המוניות: פעם נדרשו שני כישורים - לנהוג ולהכיר את העיר. ווייז הפך את הידע לסחורה זולה, וזה שינה את חסם הכניסה, את התמחור ואת השחקנים בשוק, בדיוק כפי שאובר עשתה. לדבריו, השוק ישתנה, יהיו מי שירוויחו ויהיו מי שיפסידו, ויש להכיר בכך ביושר.▶ 49:12

הוא הוסיף את דוגמת הטרקטור בחקלאות: התפוקה עלתה, אך מי שפעם חרש בשדה כבר לא יודע מה הוא עושה היום. בעולם ה-AI, הסביר, מעסיק יכול להעסיק עובד לא מיומן עם שיקול דעת בסיסי, וזה מספיק כדי להנחות סוכן שמבצע משימה שנחשבה פעם מורכבת - כמו עריכת פודקאסט.▶ 50:20

לקראת סיום הציג אליאבייב את הטענה המרכזית שלו על החינוך. לדבריו, בכל דור בוחרת החברה את שכבת האבסטרקציה שהיא מוכנה לקבל - אדם לא צד את האוכל שלו אלא הולך לסופר. אבל בעבר, המחשבון חסך את החישוב, ואילו מודלי השפה מחליפים גם את תהליך החשיבה: היכולת להתבטא, להעביר רעיון, למצוא קשרים בין ספרים ולהתחבט בדרך לפתרון.▶ 52:00

הגענו לנקודה שבה נלקח מאיתנו הדבר הכי קריטי לקיום שלנו כמין אנושי - החשיבהאורי אליאבייב, על האיום על החשיבה▶ 53:07

הוא סיפר שהוא עובד עם ילדיו על הדברים הבסיסיים ביותר - איך להתבטא ואיך לבצע חישוב - מתוך חשש שהדור הבא יתחיל את המסע החינוכי שלו כשהפור של החשיבה כבר ניתן לו. לכל מי שעובד איתו הוא אומר דבר אחד: אין להשתמש ב-AI בתחום שאינך מומחה בו. עורכי דין או רואי חשבון שמשתמשים בו ככלי עזר מקבלים תוצאות טובות, אך מי שאינו מבין את התחום ולא מפעיל ביקורתיות עלול להגיע לאסון.▶ 53:41

שאלות בזק: כרטיס אשראי, מסמכים ווייס

בחלק השאלות המהירות נשאל איזה סוכן היה מקבל כרטיס אשראי, והשיב שסוכן שיקנה מתנות למשפחה ולילדים יכול להיות סידור לא רע, כל עוד מדובר בכרטיס עם תקרה מוגדרת. בשאלה איזה תפקיד יוחלף ראשון הצביע על עבודות מסמכים ואנטרי דאטה, וציין שגם משרות שקשה מאוד לגייס עבורן עובדים - כמו מוקדי שירות - מתאימות במיוחד, משום שאנשים לא מחזיקים שם מעמד זמן רב.▶ 55:57

בתחזית לסוף 2027 העריך אליאבייב ששני תחומים יתפוצצו: סוכני קול, שהם כבר קיימים אך משתפרים, ויכולת של מודלים להבין ממשקי משתמש ולבצע פעולות במקום האדם. לדבריו, השילוב של סוכני קול עם שימוש בממשקים יהיה קטליזטור משמעותי מבחינת היכולות וגם מבחינת האימוץ של הקהל הרחב.▶ 57:37