מודל חזק, גם במצב החשיבה הכי קליל שלו, כמעט תמיד ינצח מודל חלש יותר שחושב הכי חזק שאפשר. הסיבה היא שהדרגה של המודל קובעת את תקרת היכולת שלו, ומצב החשיבה רק קובע כמה מהפוטנציאל הזה הוא באמת מממש. חשיבה מאומצת לא מוסיפה לו ידע חדש, היא פשוט נותנת לו לחפור יותר לעומק במה שהוא כבר יודע.
יש חריג אחד: משימות עם דרך פתרון לוגית וברורה, כמו מתמטיקה, דיבוג או תכנון רב-שלבי. במקרים כאלה, החשיבה הנוספת עוזרת למודל לתפוס טעויות של עצמו תוך כדי תנועה (זה ה-inference-time scaling האמיתי, רק שזה עובד רק שם). אבל בכל שאר המשימות, אלה שצריך בהן ניואנס ושיקול דעת, מודל חלש שמתאמץ יותר מדי פשוט ינסח לכם יפה תשובה לא נכונה.
אני אחראי על תקציב הטוקנים אצלנו, וזו בדיוק השאלה שעלתה השבוע בקבוצת הבוגרים, עם ניסוח שגנבתי על המקום: ראש לאריות או זנב לשועלים. מכאן מגיעים ישר לשאלת העלות, ופה יש קטע שרוב הא.נשים מפספסים: מצב חשיבה כבד תמיד שורף הרבה יותר טוקנים, כי כל החשיבה הזאת מתומחרת כמו פלט. והפלט, בכל הדרגות, יקר פי חמישה מהקלט. לכן מודל חזק במצב מדוד יוצא יותר זול ממודל חלש באולטרה, כל עוד הוא משתמש בפחות מפי חמישה טוקנים, וזה מה שקורה כמעט תמיד. משימה שמודל חזק סוגר ב-500 טוקני פלט עולה לנו בערך 1.25 סנט בתעריף הגבוה. אותה משימה בדיוק עם מודל חלש, שצריך 8,000 טוקני חשיבה רק כדי להדביק את הפער, תעלה כבר 4 סנט בתעריף הזול (וכן, גם למודלים יש עצלות, רק שאצל החלש היא הפוכה: הוא חושב יותר מדי כי הוא לא בטוח בעצמו, וזה עולה לכם, לא לו).
אצלנו כלל האצבע הוא פשוט: לוקחים את המודל הכי חזק שיש ונותנים לו לעבוד במאמץ בינוני. זה כמעט תמיד השילוב הכי מדויק והכי זול, פשוט כי הוא צריך הרבה פחות טוקנים כדי להגיע לתוצאה.
פרומפט במתנה
לפני שבוחרים מודל ומצב חשיבה, בדקו את המשימה:
1. ידע עמוק, ניואנס או שיפוט (כתיבה, אסטרטגיה, ניתוח עדין)?
← המודל הכי חזק שיש לכם, מצב חשיבה בינוני.
2. מסלול לוגי עם צעדים ברורים (מתמטיקה, דיבוג, תכנון)?
← מודל בינוני מספיק, מצב חשיבה גבוה.
3. שתיהן ביחד?
← המודל הכי חזק, מצב חשיבה גבוה. המשימה היחידה ששווה את המחיר המלא.
לא בטוחים? המודל הכי חזק שיש לכם, מצב חשיבה בינוני.בפעם הבאה שאתם מתלבטים בין דרגה למאמץ, תריצו את השאלות האלה לפני שאתם בוחרים. ברוב המקרים התשובה תפתיע אתכם בפשטות שלה.
