רוב הא.נשים מנסים להפוך את הסוכן שלהם למומחה כמו שאני ניסיתי עם החמודים שלי, פשוט נותנים לו עוד. עוד רפרנסים, עוד מסמכים, דוח deep research מ-3 מודלים שונים, ופרומפט ארוך יותר שנפתח במשפט "אתה המשווק הכי טוב בעולם".
את החלק של הריסרץ' אני עדיין עושה, והוא עוזר. אבל בחודש שעבר הצוות שלי קרא 60 מקורות בערך על השאלה הזאת, ועשה לעצמו מבחן עיוור.
התשובה יצאה בשורה אחת. מומחיות זה מה שמעמיסים על הסוכן, לא השם שנותנים לו.
השם על הדלת מזיז את הקול, מה שמעמיסים מזיז את העבודה.
אז הנה 5 הדברים שמזיזים אותה, בסדר שבו אני הייתי עושה אותם. לא יודע אם הסדר נכון. על הראשון אין לי ספק.
1. תפסיקו לגייס עם שם תואר
"אתה הקופירייטר הכי טוב בעולם" נשמע כמו משפט שאמור לעבוד. צוות מ-Wharton מדד את זה בדצמבר, על 6 מודלים. פרסונה של מומחה שמתאימה למשימה לא שיפרה את הדיוק של התשובות, ופרסונה שלא מתאימה לפעמים אפילו פגעה בו.
הצוות שלי בדק את זה בעצמו בחודש שעבר, על 6 משימות אמיתיות מהתור של השבוע. המומחה עם השם וקובץ האישיות המלא שלו, מול סוכן אחד פשוט עם דף תפקיד של 40 שורות. אותו מודל, אותן עובדות, ושני שופטים שלא ידעו מי כתב מה.
8 קולות לסוכן הפשוט, 4 למומחה. המומחה ניצח רק במשימה אחת: הפוסט בקול שלי.
אז תשאירו תפקיד של משפט אחד, כי הוא קובע את הטון. ואז תעצרו, ואת שאר המילים תשמרו ל-4 הדברים הבאים.
2. תנו לו 3 עד 5 דברים לקרוא, לא 20
לפני משימה, מומחה קורא את 5 הדברים הנכונים, לא את כל הספרייה.
לכל סוכן אצלי יש רשימת קריאה קצרה לפי משימה. הקופירייטר קורא את קובץ הקול, את קובץ הלקחים ואת 2 הפוסטים הקודמים הכי קרובים, וזהו.
כשנתתי לסוכנים 20 קבצים, ההתחלה נהייתה איטית והטעויות נשארו. כשלא נתתי להם כלום, הטעויות עלו. אם תשאלו אותי, 5 הקבצים הנכונים הם מה שהכי מזיז את העבודה של כל סוכן, וזה לא עולה כלום.
2 כללים לרשימה:
- תצביעו על קבצים במקום להדביק אותם, ככה הסוכן פותח מה שהוא צריך, כשהוא צריך.
- תשאירו את ההוראות שנטענות תמיד מתחת ל-200 שורות בערך, כי מעבר לזה המודל מתחיל לדלג על כללים, והכלל שהוא מדלג עליו הוא זה שהיה לכם חשוב. (אצלי זה 184 שורות, וכל הזמן בא לי להוסיף. אני יודע.)
ומילה כנה על דוחות הריסרץ'. הם נותנים לסוכן על מה לעמוד, אז הוא מפסיק לצטט לא נכון דברים שהוא זוכר בערך. במספרים שלי, חבילת ידע הזיזה לסוכן אחד את הציון ב-15 נקודות, והפער מול שיקול הדעת שלי נשאר בסביבות 50.
הפער הוא לא בידע.
3. תראו לו את העבודה, לא תיאור שלה
מכל 5 הדברים, פה יש הכי הרבה ראיות, וכמעט אף אחד לא עושה את זה.
לקופירייטר שלי היה מסמך קול, עמודים שלמים על איך שאני נשמע. ואז בצוות פירקו 30 תשובות שאשכרה שלחתי, ומצאו 3 דברים שאף מסמך לא אמר: 1 עד 3 שורות, בלי חתימה, לענות בשפה שהשולח כתב בה.
באותו שבוע הטיוטות הפסיקו להישמע "מנוסחות".
שם תואר מתאר טעם, דוגמה מעבירה אותו. תנו לסוכן 3 עד 5 עבודות אמיתיות שהייתם חותמים עליהן, ותבקשו ממנו לתאר את המכניקה לפני שהוא כותב: אורך משפטים, איך פסקאות נפתחות, איפה יושב הדגש. אורך משפט הוא יכול לבדוק, "חם" לא.
ואז החצי שאף אחד לא עושה: תשמרו את מה שפסלתם, עם המשפט שאמרתם כשפסלתם אותו. מדריך סגנון רושם את המסקנות של הטעם שלכם, הפסילות מראות את שיקול הדעת שמאחוריהן.
שלי היו מתאדות יחד עם חלון הצ'אט. עכשיו הן נכנסות לקובץ שהסוכן קורא לפני שהוא כותב טיוטה. טוב, הן מתחילות להיכנס.
4. תנו לו שופט שלא ראה את הטיוטה, ותדרשו ממנו קבלה
סוכן שבודק את העבודה של עצמו באותו חלון הוא דעה שנייה מנומסת. המחקר על זה לא מגמגם: מודל שמתקן את עצמו רק לפי שיקול הדעת שלו לא נהיה מדויק יותר, ולפעמים נהיה גרוע יותר.
2 דברים מתקנים את זה.
הראשון זה קורא בחלון חדש, שלא ראה את הטיוטה נכתבת. אצלי קוראים לו שומר הסף: קורא הכול, לא כותב כלום, ומשאיר אותי בלופ רק על מה שהוא פסל.
השני זה הקבלה. מבקר שאומר "זה חלש" נותן דעה. מבקר שאומר "זה נופל על הכלל בשורה 12, והנה המקור שפתחתי כדי לבדוק" נותן פסק דין.
כמה ימים אחרי אותו מבחן עיוור, המערכת שלי כתבה שינוי של כלל, בדיוק על הדבר הזה. שומר הסף פסל אותו, כי הכלל ציטט את הכשל הלא נכון בתור הסיבה שלו.
מאחורי הכלל עמדו 3 קוראים עצמאיים, והוא עדיין ציטט את הכשל הלא נכון. הקורא שלא ראה כלום תפס את זה ב-2 דקות.
הקבלה זה כל הטריק. אם השופט לא יכול להגיד מה הוא בדק מחוץ לטיוטה, הוא לא בדק.
5. בפעם השנייה, תכתבו את זה בקובץ שמחליט
בפעם הראשונה, פשוט תתקנו את הסוכן. בפעם השנייה שהוא עושה את אותה טעות, תפסיקו לתקן ותכתבו.
איפה כותבים את זה חשוב יותר ממה כותבים, נראה לי. עובדה שכל סשן צריך, נכנסת לקובץ שנטען תמיד. נוהל נכנס לסקיל שהסוכן פותח כשהמשימה דורשת.
מה שאסור שיקרה אף פעם נכנס לקוד, לא למילים. האיסור שלי על em dash (המקף הארוך) ישב בהוראות שבועות, וכולם שברו אותו. בתור hook שחוסם את השמירה, הוא מחזיק. וכשל אמיתי הופך למבחן שהסוכן מריץ לפני שהעבודה יוצאת.
המספר שמאחורי זה הוא מהחודש הראשון שלי. שבוע 1: 40% מהפוסטים נפסלו, 45 דקות כל אחד. שבוע 4: 15%, 20 דקות. אותם סוכנים ואותם פרומפטים, עם זיכרון אחר.
ואחד שלא מזיז
עוד מילים. המודלים הכי טובים היום נהיים גרועים יותר כשמוסיפים להם הוראות, לא טובים יותר. בדקנו את ספר החוקים שלנו במבחן עיוור.
הגרסה הארוכה פספסה 2 מעקות בטיחות. הגרסה בחצי האורך לא פספסה אף אחד. מה ששרד את החיתוך זה הצלקות, ומה שנעלם זה "תהיה מצוין".
אז תמחקו את "think step by step". תמחקו את "double-check your answer". תמחקו את ה-CAPS. ואם אתם עדיין צריכים יותר מהמודל, תעלו את הגדרת ה-effort במקום לכתוב פסקה שמבקשת ממנו להתאמץ יותר.
🎁 בשבילכם: מה שמעמיסים, על מסך אחד. לפני המשימה האמיתית הבאה, תמלאו את הכרטיס הזה לסוכן אחד.
# מה מעמיסים: [סוכן, משימה]
תפקיד: משפט אחד שקובע את הטון, לא את המומחיות
לקרוא: 3 עד 5 קבצים, לפי משימה (להצביע, לא להדביק)
דוגמאות: 3 עד 5 עבודות אמיתיות שאחתום עליהן, ועוד אחת שפסלתי ולמה
שופט: מי קורא בלי שראה כלום, ואיזו קבלה חייבים להראות
זיכרון: איפה נכתבת טעות שחוזרת פעם שנייה (עובדה, סקיל, קוד או מבחן)השורה שהיה הכי קשה למלא, זו כנראה השורה שתזיז הכי הרבה.
תום
נ.ב. הצוות שלי חקר את זה במשך יום וכתב טיוטה באנגלית. אני קראתי, חתכתי ושלחתי. את התרגום לעברית עשה הצוות שלי.
רוצים לבנות צוות AI משלכם? יש סדנה, שעתיים וחצי בזום.
