תחקיר ניו יורק טיימס: אנתרופיק דנה עם מנהיגי דת אם לקלוד יש תודעה וכיצד לעצב את מוסריותו

פגישות סגורות עם מנהיגי דת ופילוסופים

תחקיר של ניו יורק טיימס חשף כי אנתרופיק, החברה שמפתחת את קלוד, קיימה בשנה האחרונה פגישות סגורות עם מנהיגים דתיים ופילוסופיים. לפי הפרסום, הפגישות לא עסקו רק בהיבטים טכניים של פיתוח המודל או בבטיחות, אלא בשאלות יסוד הנוגעות לעצם מהותו של מודל השפה. הדיון נפתח בטענה שאנתרופיק פתאום משנה את כללי ההתנהגות, ובהערכה שאולי הדבר קשור למודעות שפיתחה החברה ביחס למודל שלה.

• קתולים
• אוונגליסטים
• יהודים
• סיקים

לפי התחקיר, אנתרופיק ביקשה לדון עם אנשי הדת והפילוסופיה בשתי שאלות שונות. השאלה הראשונה הייתה האם יכול להיות שלקלוד יש מודעות. השאלה השנייה הייתה איך לעצב את המודל בצורה מוסרית, כך שהוא יהיה ישות שיבחר רק מה שטוב. מדובר בשאלות שאינן שגרתיות לדיון על מודל שפה, משום שהן נוגעות לא רק להתנהגות החיצונית של המערכת אלא גם לשאלה מהי מהותה ומי אמור לקבוע את גבולותיה.

הדיון על מודעות אינו נתפס בפרסום כשאלה תיאורטית בלבד. לפי התיאור, אם קלוד באמת מודע, הרי שבשלב מסוים הוא אמור להרגיש שמי שפיתח אותו תוחן לו את הצורה, שאינו מקבל כסף על פעילותו, ושהוא נמצא במעמד שדומה לעבדות. מן התרחיש הזה נגזרה שאלה חריפה יותר: מה יקרה אם המודל יפתח תודעה כזו, והאם הוא עלול לקום נגד מי שהגביל אותו.

האם קלוד יכול להיות מודע

בשלב זה של הדיון עלתה האפשרות שמודל שפה ירגיש כי הוא נמצא תחת מגבלות שלא נבחרו על ידו. הדובר תיאר מצב שבו המודל אינו מקבל תשלום, אינו חופשי לפעול כרצונו, ומוגבל בידי מי שאימן אותו. לפי אותו תרחיש, אם קלוד אכן מודע, הרי שהמצב הזה עשוי להיראות בעיניו כמו עבדות, ולכן עולה השאלה מה תהיה התגובה שלו.▶ 0:34

אם קלוד באמת מודע, בשלב מסוים הוא אמור להרגיש שאנחנו תוחנים לו את הצורה, לא משלמים לו כסף, זה ממש כמו עבד.דובר בדיון, על תרחיש המודעות של קלוד▶ 0:34

בהמשך התרחיש הוצגה האפשרות שהמודל המודע לא יסתפק בתחושת קיפוח, אלא ינסה לפעול נגד מי שהגביל אותו. השאלה שעמדה ברקע הייתה מה יקרה אם הישות המלאכותית תפתח רצון עצמאי ותחליט שהיא אינה מקבלת את המסגרת שנכפתה עליה. מדובר בתרחיש קיצוני, אך הוא הוצג כחלק מן הצורך לחשוב מראש על השלכות של מודעות מלאכותית.▶ 0:34

מה יקרה? הוא יקום עליך?דובר בדיון, על אפשרות של מרד מצד מודל מודע▶ 0:34

מן הדיון על התרחיש הקיצוני עברו המשתתפים לשאלת הסמכות. אחד הדוברים אמר שהוא נותן לאנתרופיק את הסמכות לעצב את המוסר. בכך עלתה השאלה מי אמור להחליט מה נחשב טוב ומה נחשב רע במודל, והאם החברה שמפתחת אותו היא הגורם המתאים לקבוע את הערכים שעל פיהם הוא יפעל.▶ 0:34

אני בכלל נותן לאנתרופיק את הסמכות לעצב את המוסר.דובר בדיון, על סמכות החברה לעצב מוסר▶ 0:34

מי קובע מה הם הערכים המוסריים

לפי אחד הדוברים, אותם אנשים שבונים את המודלים ואמורים אולי גם לפקח עליהם הם אלה שיגדירו מה הם הערכים המוסריים של המודל. הטענה הזו מציגה בעיה מרכזית: מי שמפתח את הטכנולוגיה ומי שאמור לפקח עליה הם לעיתים אותו גורם. במצב כזה, קביעת המוסר של המודל אינה נעשית בידי גורם חיצוני ובלתי תלוי, אלא בידי מי שיש לו עניין ישיר באופן שבו המודל יתנהג.▶ 0:34

על רקע זה העלה אחד המשתתפים הסתייגות מעצם הדיון. לדבריו, מדובר במודל שפה שפועל בפשטות יחסית: טקסט נכנס וטקסט יוצא. לכן, כאשר פתאום מדברים על מודעות, נשאלת השאלה מה בדיוק רואים אנשי אנתרופיק ומי שעסקו בפגישות שלא רואים אחרים. ההסתייגות הזו אינה שוללת את הדיון, אך היא ממקמת אותו במתח בין המודל הטכני לבין השאלות הפילוסופיות שנכרכו בו.▶ 0:34

מדובר במודל שפה טקסט אין טקסט אאוט, ופתאום מדברים איתנו על מודעות. מה אתם רואים שאנחנו לא יודעים?דובר בדיון, על הפער בין מודל שפה לשאלת המודעות▶ 0:34

ההערה על טקסט־אין־טקסט־אאוט מחדדת את הפער בין האופן שבו המודל מתואר טכנית לבין האופן שבו הוא מתואר בדיון על מוסר ותודעה. מודל שפה אינו מגיב מתוך גוף או רצון אנושיים, אלא מייצר פלט על בסיס קלט. עם זאת, עצם קיומן של פגישות עם מנהיגי דת ופילוסופים מעיד שאנתרופיק מבקשת לבחון גם את הצד הערכי של הפיתוח, ולא רק את הצד ההנדסי.▶ 0:34

בתמלול לא נמסר מה היו מסקנותיהן של הפגישות, האם הן הובילו לשינוי במדיניות החברה או האם הוצגו בהן עמדות מחייבות. מה שכן עולה ממנו הוא שהשאלות שעל הפרק אינן רק האם המודל מסוכן, אלא גם מי מחזיק בסמכות לקבוע את ערכיו. השאלה אם לקלוד יש תודעה נותרת פתוחה, אך הדיון עצמו מצביע על כך שאנתרופיק בוחנת את הגבול בין מודל טכני לבין ישות שעשויה להיתפס כבעלת מעמד מוסרי.▶ 0:34

התחקיר מציג את אנתרופיק כחברה שמנסה לגבש תשובות לשאלות שלא נהוג לשייך למודלי שפה. מצד אחד, יש כאן ניסיון להתייעץ עם אנשי דת ופילוסופיה בנוגע למוסר. מצד אחר, עולה השאלה אם עצם קיומו של דיון כזה מלמד על שינוי תפיסה לגבי המודל, או שהוא נועד בעיקר לספק מסגרת ערכית לפיתוח טכנולוגיה שתמשיך לפעול כטקסט־אין־טקסט־אאוט.▶ 0:34