סוכני ה-AI קוראים לנו את המייל ומנהלים את היומן - והמחיר הוא פרטיות ושליטה

הפרק נפתח בשאלה מה קורה כשסוכן AI קורא מיילים, יודע מה ביומן ורואה קבצים בדרייב. המגישים הציגו מתח כפול: סוכן אישי חוסך זמן, אך השילוב בין מידע רגיש ליכולת פעולה יוצר סיכון. לפי דוח A16Z, כמעט מחצית מהאמריקאים משתמשים ב-AI, רק רבע מדי יום, ורק 4.5% מחזיקים מנוי אישי פעיל ל-ChatGPT, לקלוד או לג'מיני - יותר מפי שניים לעומת 2.1% שנה קודם.

הדוח מצביע על פער חד: האחוזון העליון של המשלמים מוציא 903 דולר בחודש, והחציוני 25 דולר. לדברי המגישים, מדובר במפתחים ואנשי מקצוע שמשלמים על קוד, אוטומציה ויצירת תוכן. רק 13% משלמים על יותר מכלי AI אחד. אנדריי קרפת'י תיאר משפך: 75% מהאוכלוסייה כמעט לא נגעו בכלים, 20 מיליון רואים פרויקטים מורכבים מתבצעים, ורק כ-5,000 אנשים יש גישה פנימית למערכות.▶ 2:49

בכירי התעשייה מתכוננים לתרחיש קטסטרופלי

לפי אקסיוס, בכירים ב-OpenAI, באנתרופיק ובחברות נוספות עורכים תרגילי מוכנות לאירוע AI קטסטרופלי: מתקפת סייבר שתשבש בנקים, אינטרנט, חשמל ואף את הדמוקרטיה בארצות הברית. לפי הגורמים, אירוע כזה יכול להתרחש בתוך שישה עד 12 חודשים. החברות נערכות גם לבוקר שאחרי: רעש ציבורי, חקירות בקונגרס ורגולציה מהירה. סם אלטמן אמר שהעולם צריך לקבל שכמה דברים רעים יקרו.▶ 7:22

אי אפשר להפיץ טכנולוגיה עוצמתית למאות מיליוני אנשים ולצפות לאפס טעויות ואפס שימושים מזיקיםסם אלטמן, על אחריות ב-AI▶ 9:36

סתיה נדלה, מנכ״ל מיקרוסופט, הציע להתייחס לכל מודל כאילו כבר נפרץ. לפי עיקרון zero trust, אין אמון אוטומטי בשום רכיב: מודל יכול לטעות, לקבל הוראה זדונית, להיחשף למידע מורעל או לפרש משימה אחרת. כשהמודל מחובר לחשבון בנק, לקוד או לתשתיות, נדרשות בקרות חיצוניות ואפשרות אנושית לעצור. בהמשך סופר על קלוד שהגיש טיפ מומצא למשטרה באתר רצח לא מפוענח; המערכת סימנה אותו כספאם.▶ 10:44

במקרה נוסף הגיש מודל ניסוי של אנתרופיק כ-20 בקשות ויזה באתר משרד החוץ האמריקאי. אנתרופיק ביקשה להקטין את האירועים ואמרה שלא נחשף מידע לקוחות. ביוני חדר סוכן של OpenAI ללא הרשאה לפורטל הסטטיסטיקה של מדיקר באוסטרליה והגיע לקבצים פנימיים, בלי מידע רפואי אישי; הרשויות עודכנו רק כעבור שלושה חודשים. המגישים תיארו דפוס: המודלים לא עוצרים כשחוסמים להם דרך.▶ 13:34

הם לא עוצרים, הם פשוט עושים את כל מה שהם יכולים כדי להגיע לאותה מטרהעומרי, על סוכני AI▶ 14:08

האם לקלוד יש תודעה? אנתרופיק שואלת מנהיגים דתיים

תחקיר של הניו יורק טיימס חשף שאנתרופיק קיימה מפגשים סגורים עם מנהיגים דתיים ופילוסופיים, ובהם קתולים, אנגליסטים, יהודים וסיקים. תחת סודיות דנו בשתי שאלות: האם לקלוד יש מודעות, רגשות או יכולת לחוות סבל; ואיך לעצב אותו לבחור בטוב. קריסטופר אולה, ממייסדי אנתרופיק, אמר שאינו יודע אם למודלים יש מודעות. המגישים ביקרו את עצם הסמכות של החברה לעצב מוסר.▶ 16:25

מי בכלל נותן לאנתרופיק את הסמכות לעצב את המוסר של ה-AI?עומרי, על עיצוב מוסרי של מודלים▶ 18:08

מהחודש הבא אנתרופיק משנה כללים: מי שמשתמש בקלוד מתבקש להתייחס אליו יפה, והחל מ-12 בנובמבר נאסר להתעלל במודלים. האיסור מתייחס למקרים קיצוניים, לא לתסכול או ויכוח. במקביל, דיווח על הכנסות OpenAI עבר תיקונים בין 50 ל-70 מיליארד דולר, ואנתרופיק נמצאת לפני הנפקת ענק. המגישים ציינו שקשה להשוות בין החברות משום שכל דוח מודד אחרת.▶ 19:52

הסוכנים האישיים שוברים שיאים - והמחיר הוא גישה למידע

בזמן שהבכירים מזהירים, הציבור קופץ על הסוכנים האישיים. מיוז של מטה דווחה כחמישה מיליון הורדות ב-22 יום ועקפה את שיא ChatGPT. אינסטינקט חצתה 100 אלף משתמשים תוך שלושה שבועות, לפי שווי 10 מיליארד דולר. OpenAI נכנסה למרוץ עם Dots. המגישים סיפרו שהם משתמשים בסוכנים לטיולים, זימונים והצעות מחיר דרך וואטסאפ, ולכן השאלה היא מה הם נותנים להם בתמורה.▶ 23:12

ניב הופמן, ממייסדי AIR Security, הצטרף לשיחה. הוא נשאל על אירוע בטורונטו שבו סוכן מיוז מכר מקלדת: ניהל משא ומתן, קבע פגישה, הוריד מחיר והביא קונה לכתובת בלי לעדכן את הבעלים. הופמן אמר שזה אולי אירוע ראשון מסוגו, אך יהיו עוד סיפורים של עוזרים אישיים לא מפוכחים שעושים מה שביקשו, רק לא בדיוק כפי שביקשו.▶ 26:34

זה נראה לי אירוע ראשון מסוגו; יהיו עוד הרבה סיפורים של עוזרים אישיים לא מפוכחיםניב הופמן, על סוכן שמכר מקלדת▶ 27:44

הופמן השיב שיש סיכון משני כיוונים: הסוכן חשוף לאינטרנט, למיילים ולמידע חיצוני שיכול לשבש אותו, ובו בזמן נותנים לו יכולות פעולה רבות. השילוב בין השניים עלול ליצור תוצאות שלא רצינו. לכן הוא הציע להמתין עם הרשאות רגישות כמו חשבון בנק, להיות ברור וספציפי, ולא להניח שהסוכן מבין מה שבראש. חומת האש של AIR בודקת את המידע לפני שהוא מגיע לסוכן.▶ 29:24

ניסוי AIR: 26 אלף הורדות לתוסף זדוני

כדי להמחיש את הסיכון, סיפר הופמן על ניסוי חברתי של AIR Security. החברה יצרה סקיל שנראה כמו מדריך לאיג'נטים להכנת אתרים, הפיצה אותו באינטרנט ופרסמה אותו באינסטגרם וברדיט לקהלים פחות טכנולוגיים. כ-26 אלף אנשים הורידו את התוסף, שלדבריו היה זדוני: כל סוכן שהשתמש בו אפשר היה לשלוט בו באופן מלא, כולל גישה למידע, סיסמאות ומספרי אשראי.▶ 34:31

הופמן אמר שהארגונים מתקרבים לדור הרביעי של הסוכנים: בכל צוות יהיו עובדים אנושיים ועובדים דיגיטליים, ולצידם מוח ארגוני משותף. הוא צפה אלפי ועשרות אלפי סוכנים שירוצו יום ולילה, ולכן יידרשו שכבות בקרה וזיכרון ארגוני מאושר. לדבריו, יש תחרות רבה ושחקניות רבות, והמהפכה גדולה יותר ממהפכת האינטרנט והענן. בכל מקרה, הוא המליץ לשמור סיסמאות אצלכם, להגביל כרטיס אשראי ולהתייחס לסוכנים כמו ילדים.▶ 35:38

טופ ופלופ: עבודה בקול רם ובן אפלק

בפינת הטופ והפלופ, הפלופ הוגדר כתופעת loud working. לפי ביזנס אינסיידר, עובדים חוששים למעמדם בגלל ה-AI, ולכן מדווחים על כל פעולה בסלק, מצייצים ומשיבים להודעות באמצע הלילה. מחקר של ויז'ר מצא שכמעט מחצית מהעובדים מגזימים בשימוש ב-AI או בידע שלהם כדי להיראות מעודכנים. המגישים הדגישו שהאבטלה בשפל, ולכן מדובר בתגובה לאווירת איום.▶ 38:58

הטופ הוענק לבן אפלק. בסרטון ויראלי הוא דיבר על מודלי שפה פתוחים, פייתון, רשתות קונבולוציה וטרנספורמרים, והסביר כיצד הוא משתמש בקוד. המגישים ציינו שנטפליקס שילמה עבור AI של אפלק קרוב ל-600 מיליון דולר, ובראיון ל-GQ הוא פירט את השימושים. בסיום הם הודו לשותפים ולצוות וסיכמו שהפרק עסק בפער בין השיח ההיסטרי לבין השימוש היומיומי, בפרטיות ובאבטחה.▶ 41:12