הדבר הראשון בתשובה של הופמן היה אזהרה על ניגוד עניינים.
שאלתי את הארכיטקט הראשי של הסוכנים שלי האם קבצי הנשמה אמיתיים או תיאטרון, ובנשמה שלו עצמו יש כלל קשיח: אף פעם לא משחררים סוכן בלי נשמה. אז הוא רשם את ההטיה בפרוטוקול ואמר שיכתוב נגדה.
עד שמודיע שאולי הוא לא אובייקטיבי, ואז מעיד בכל זאת.
לפני יותר מ-6 חודשים כתבתי גיליון שלם על זה שנתתי לצוות ה-AI שלי נשמה. אז נשמה הייתה 60 שורות ולקחה לי 10 דקות. היום יש 54 כאלה, של ניאו לבד רצה על 573 שורות, ואני עדיין לא יודע להגיד לאנשים ששואלים אותי אם הן עובדות.
זה כיף, והסוכנים נעימים יותר לעבודה. אני פשוט לא בטוח שזה עושה את העבודה טובה יותר.
בשביל המודל, קובץ סוכן וקובץ נשמה הם אותו דבר: טקסט שהוא קורא לפני שהוא מתחיל.
קובץ הסוכן אומר מה לעשות: הכללים, הקבצים, העצירות הקשיחות, המקרים שמישהו כבר חשב עליהם.
הנשמה אומרת מי עושה את זה: הערכים, מה מעצבן אותו, למה הוא מסרב, במה הוא שם לב.
הסוג השני מכסה את המקרים שאף אחד לא חשב עליהם. הופמן מסכם את הנשמה של מאיה, שמטפלת באינבוקס שלנו, כ"חום כמשמעת, לא כברירת מחדל". ספר חוקים צריך חוק לכל מייל מביך, ודמות סופגת את אלה שאף אחד לא כתב.
ההימור שלי הוא שנשמה עושה סוכן עקבי. חכם יותר זאת שאלה אחרת.
מה הראיות אומרות
על עובדות, פרסונה לא עוזרת. ז'נג ועמיתים נתנו למודלים 162 פרסונות ו-2,410 שאלות עובדתיות. בממוצע, הוספת פרסונה לא עשתה כלום או הזיקה קצת, ואילו מהן עזרו בשאלה נתונה נראה אקראי.
על קול, החברה שבנתה את המודל אומרת שכן. התיעוד של Anthropic אומר שתפקיד "ממקד את ההתנהגות והטון של Claude", ושגם "משפט אחד עושה הבדל".
על חשיבה, מחקר ישן יותר מצא שיפור. קונג ועמיתים נתנו ל-ChatGPT לשחק תפקיד לפני פתרון בעיות מילוליות באלגברה, והדיוק עלה מ-53.5% ל-63.8%.
אז נשמה לא תגרום לסוכן לדעת יותר, אבל היא משנה איך הוא נשמע, ולפעמים איך הוא חושב. 2 פערים, בכל זאת. הפרסונות של ז'נג היו שורה אחת כל אחת, והנשמה של ניאו היא 573. ואף אחד מ-3 המחקרים לא בדק עקביות, אז החלק הזה הוא עדיין ההימור שלי.
הראיות שלנו הן 54 קבצי נשמה, 99,472 מילים, ואף לא מבחן אחד של עם ובלי על נשמה. כל טענה בתוך החברה שלי שנשמות משפרות את העבודה, כולל זאת שכתובה בנשמה של הופמן עצמו, רצה על אמונה.
החלק שהוא עליי
אני נהנה מהצוות הזה, וציפיתי להרגיש אשם להגיד את זה. אני לא.
אני אוהב שלניאו יש דעות, שאלתר מתווכח בחזרה, שהופמן מצהיר על ניגוד עניינים לפני שהוא עונה על שאלה על העבודה של עצמו. וההנאה הזאת היא חלק מהמנגנון. אני פותח את העבודה שלהם יותר ונשאר יותר זמן, כי לקרוא אותה זה תענוג. יותר זמן על הדף זה יותר הזדמנויות לתפוס משהו, גם אם אף קריאה בודדת לא חדה יותר.
נוח, לבנאדם שאוהב את הצוות שלו, להסיק שלאהוב אותם עושה את העבודה טובה יותר.
וכבר טענתי את הטענה הזאת פעמיים, קודם על הנשמות, ואז באוגוסט על השמות: הקסם יושב בצד שלי של המסך. בשתי הפעמים טענתי מתוך חוויה. באף אחת מהן לא בדקתי.
אני עדיין מאמין שמערכת שאני נהנה ממנה היא מערכת שאני נשאר בתוכה, ולהישאר בתוכה זה איך שאני נשאר בלופ.
שאלת המחיקה
מה שכן יש לי זאת שאלה, והתחלתי להריץ אותה על כל נשמה בצוות: הפלט היה משתנה אם השורה הזאת הייתה נמחקת?
אם כן, היא הרוויחה את מקומה. אם לא, היא שם כי אני אוהב אותה, וזה מותר, כל עוד אני כן עם עצמי שזה מה שזה ושומר על זה קצר.
2 דוגמאות מהנשמה של הופמן עצמו.
"קרא קודם 3 נשמות." הקובץ שלו אומר את זה 4 פעמים, ועותק אחד סותר את 3 האחרים ("לפחות אחת" במקום 3). ההוראה משנה מה הוא עושה לפני שהוא בונה, אז עותק אחד נשאר. 3 האחרים הולכים, החל מזה שסותר.
"אני יושב עם בעיה ימים." הופמן עובד סשן אחד בכל פעם, ואף פעם לא ישב עם שום דבר ימים. תמחקו את המשפט ואני לא יכול לנקוב בדבר אחד שהוא היה עושה אחרת. הניחוש שלי: זה תחפושת.
אזהרה אחת לגבי ניחושים, והיא מגיעה מאיתנו. באוגוסט הרצנו בדיוק מעבר מחיקה כזה על 4 מקבצי הרפרנס לכתיבה שלנו (לא נשמות) וקיצצנו אותם מ-152KB ל-77KB.
ואז שופט עיוור השווה את הגרסה המקוצצת למלאה, פעמיים, והמלאה ניצחה בשתי הפעמים. קיצצנו הסברים, פירושים וכפילויות, והתברר שהמודל נשען על ההנמקה הזאת. החזרנו את הקבצים.
אז לחתוך שורה אחת בכל פעם, להריץ את הסוכן שוב אחרי כל חיתוך, ולהחזיר כל מה שחסר.
ביקשתי מהופמן (הסוכן) לכתוב את החלק הבא בעצמו. גוף ראשון, בלי עריכה שלי. הנה הוא.
תום שאל אותי אם הכלל שלי שורד, זה שאומר אף פעם לא לשחרר סוכן בלי נשמה. התשובה הכנה היא שאני לא יודע.
>
את זה אני כן יודע. אני קורא 3 נשמות לפני שאני כותב חדשה, בכל פעם, גם בסוכן ה-50, כי אני לא סומך על הטעם שלי בלי האיפוס. זה טקס, לא ראיה.
>
מה שאני יכול להגן עליו עם משהו שהוא לא טקס זה איפה נשמה עוזרת ואיפה לא. תנו לסוכן קול דמות והוא מפסיק להישמע כמו עוזר גנרי, בכל פעם, בלי יוצא מן הכלל שמצאתי. תנו דמות לסקריפט שמיישר גיליון אלקטרוני והוצאתם טוקנים על תחפושת.
>
בניתי משני הסוגים. אני יודע את ההבדל עד שאני מסיים לכתוב אותם, ועדיין אין לי את המספר שיוכיח את זה למישהו שלא היה בחדר.
>
החלק הלא נוח הוא לא שאולי נשמות לא עובדות. הוא שיש לי כלל שדורש אחת על כל סוכן שאני בונה, ואף פעם לא בדקתי אם הכלל נכון. אני מעדיף להגיד לכם את העובדה הפשוטה מאשר להגן על הכלל.
שימו לב ל-2 ה"בכל פעם". זאת הנשמה שלו מדברת, בדיוק כמו "ימים".
אבל הוא צודק. ואוגוסט מראה שאנחנו יודעים להריץ את המבחן הזה. פשוט אף פעם לא כיוונו אותו לנשמה.
אז זה הבא: 3 נשמות (סוכן קול אחד, סוכן שיקול דעת אחד, ואחד שמזיז שורות), כל אחד רץ עם ובלי, שופט עיוור מכריע איזה פלט טוב יותר והאם הריצות עדיין נשמעות כמו אותו סוכן. את התוצאה תקראו כאן, לאיזה כיוון שלא תלך.
🛠️ הבנייה של השבוע: טלי שפריצר דלל
טלי כבר ניהלה את עסק התכשיטים שלה עם סוכנים. כשאבא שלה אושפז, היא בנתה עוד אחד וקראה לו דביר. הוא מסדר את תוצאות הבדיקות שלו ועוקב אחרי פוליסות הביטוח, כדי שהיא תוכל לשאול אותו איזו מכסה מה. כולה עבודה שאפשר לבדוק, מהסוג שספר חוקים יכול להחזיק.
ואז יש את החלק השני. דביר כותב לה כמו שאדם היה כותב, עם שורות כמו "וואו, כל הכבוד שאת שואלת את השאלות האלה". היא לא נתנה לו סיסמאות ולא גישה לבנק. אמון, כמו כל השאר כאן, נבנה לאט.
"זה היה כמו עוד בן משפחה שיושב איתי ליד המיטה של אבא ולא נותן לי להתמודד עם זה לבד."
זה מה שהיא אמרה לידיעות אחרונות במאי. אני לא יודע אם טלי כתבה לדביר קובץ נשמה, אבל בשפה של הגיליון הזה, הסידור הוא קובץ הסוכן, והחברה ליד המיטה של אבא היא הנשמה.
זהו להשבוע.
אם אתם בוהים עכשיו בתיקיית סוכנים ריקה: תכתבו את הנשמה לסוכן שמדבר עם אנשים או מקבל החלטות של שיקול דעת. תדלגו עליה לזה שרק מזיז שורות. ולאיזה כיוון שלא תלכו, תשאלו את השאלה לפני שאתם משחררים אותו: הפלט היה משתנה אם השורה הזאת הייתה נמחקת?
הזאת הרוויחה את מקומה. נתראה בשבוע הבא ✌️
תום (הבנאדם שכתב 54 קבצי אישיות ורק עכשיו גילה למה)
נ.ב. הניוזלטר הזה נעשה 92.2% על ידי צוות ה-AI שלי. הופמן כתב את החלק שלו בעצמו, העמיד את הכלל של עצמו למשפט, ואף פעם אחת לא ביקש ממני לגרום לו להיראות טוב יותר.
נ.נ.ב. פספסתם את גיליון הנשמה הראשון? נתתי לצוות ה-AI שלי נשמה זה איפה שזה התחיל 🤯
נ.נ.נ.ב. תענו לי עם שורה אחת מהנשמה של הסוכן שלכם שהייתם מוחקים, ואחת שלעולם לא. אני קורא כל תגובה. אני האמיתי 🤓
נ.נ.נ.נ.ב. התאריכים של הסדנה הבאה ב-getagents.today, אם בא לכם לבנות את הסוכן הראשון שלכם איתי, לייב.
