Context Rot: למה סוכני AI נהיים טיפשים עם הזמן (ואיך מתקנים את זה בשתי דקות)

הנה תרחיש שאולי תזהו. לפני כמה ימים הרצתם סדרת פרומפטים וקיבלתם תוצאות מצוינות. היום אתם מריצים בדיוק את אותם פרומפטים, ונאבקים בסוכן רק כדי להתקרב.

אותם פרומפטים. אותו חשבון. אותו מודל. תוצאות גרועות יותר. אם אתם משתמשים ב-Toffu (או בכל סוכן AI אחר) יותר מחודש, כנראה הרגשתם גרסה כלשהי של זה. הסוכן שסגר לכם את הדוח השבועי מושלם בינואר צריך שלושה תיקונים כדי להגיע לאותה תוצאה ביוני. הוא "שוכח" את הטון של המותג באמצע משימה. הוא מחזיר לחיים תקציב ששיניתם לפני שבועות.

האינסטינקט אומר שהסוכן נהיה טיפש. הוא לא. ההקשר שלו התמלא רעש. ובניגוד לבעיה במודל, את זה אפשר באמת לתקן - בערך בשתי דקות, עם Toffu עצמו.

מה זאת שחיקת הקשר (Context Rot)

כל סוכן AI עובד מתוך חלון הקשר: זיכרון העבודה שהוא קורא לפני כל תשובה. אצל Toffu זה כולל את ההנחיות הקבועות שלכם (Custom Instructions), זיכרונות רלוונטיים, והשיחה עד כה. המודל קורא את כל זה, בכל פעם מחדש, ונותן משקל לכל מה שכתוב שם.

דמיינו לוח מחיק במשרד. בתחילת פרויקט יש עליו את התוכנית. אחרי שלושה חודשים יש עליו את התוכנית, ארבעה רעיונות שמתו, תקציב שהשתנה פעמיים, ו"לשאול את דנה??" בפינה. אף אחד לא מחק כלום. עכשיו דמיינו מתמחה חרוץ במיוחד שקורא את כל הלוח מחדש לפני כל משימה, ומתייחס לכל מה שכתוב שם כאילו הוא עדכני באותה מידה. זה הסוכן שלכם.

המכניקה תומכת בזה: ככל שההקשר גדל, תשומת הלב של המודל נהיית פחות אמינה, והנחיות סותרות לא מבטלות זו את זו - הן מתחרות. המודל בוחר אחת, והבחירה יכולה להשתנות מהרצה להרצה. בגלל זה השחיקה מרגישה כמו אקראיות: "לפעמים הוא רשמי, לפעמים הוא קליל, אין לי מושג מה אקבל."

השחיקה מצטברת בשני מקומות.

מקור שחיקה 1: ההנחיות הקבועות

הנחיות קבועות הן הוראות מתמשכות - "תמיד לדווח בדולרים", "הטון שלנו ישיר, בלי סימני קריאה". הן הכלי החזק ביותר ב-Toffu והאתר הנפוץ ביותר לשחיקה, בגלל אסימטריה אחת: הנחיות מתווספות כל הזמן וכמעט אף פעם לא נמחקות.

שלושה דפוסי כשל חוזרים שוב ושוב:

1. סתירות. "תמיד טון רשמי" מינואר יושב ליד "טון קליל, אנחנו במיתוג מחדש" מאפריל. שתיהן חיות. הסוכן מציית לאחת מהן, פחות או יותר באקראי, ואתם חווים את זה כחוסר עקביות.
2. חריגים שפג תוקפם. "להתעלם מתקרת התקציב בשביל השקת מרץ" היה נכון לשלושה שבועות במרץ. כשזה נשמר כהנחיה קבועה, זו עכשיו הוראה מתמשכת להתעלם מתקרות תקציב.
3. עובדות במקום הלא נכון. מדד, מזהה קמפיין, יעד CPA מהרבעון שעבר - נתונים שהיו נכונים פעם, קפואים בתוך הוראות התנהגות. הנחיות אמורות להגיד איך להתנהג; עובדות שמתיישנות שייכות למקום אחר.

הסימפטום של שחיקת הנחיות הוא סוכן שמציית לכלל ששכחתם שקיים. אם Toffu עושה משהו מוזר והתגובה שלכם היא "למה שהוא יעשה דבר כזה?", יש סיכוי לא רע שאתם (או מישהו מהצוות) אמרתם לו, לפני חודשים.

זה חצי מההסבר לתרחיש מתחילת הפוסט. הפרומפטים היו זהים, אבל הפרומפט הוא לא כל הקלט - הוא רץ מעל כל הנחיה קבועה בכל רמה, שלכם והמשותפות. אם משהו התווסף בימים שבין ההרצה המצוינת להרצה המתסכלת - על ידכם, על ידי מישהו מהצוות, או על ידי חריג חד-פעמי שנשמר - אותם פרומפטים רצים עכשיו מול הוראות קבועות אחרות. זהות בפרומפטים היא לא זהות בהקשר.

מקור שחיקה 2: השיחה עם 200 ההודעות

אתר השחיקה השני הוא שיחת המרתון. אתם מכירים אותה: היא התחילה כהשקת קמפיין, ואז שיניתם אסטרטגיה, שיניתם שמות להכל, הדבקתם CSV, כתבתם ארבע גרסאות לקופי, והמשכתם באותה שיחה כי "כל ההקשר נמצא שם."

ההקשר באמת נמצא שם. זאת בדיוק הבעיה. האסטרטגיה שנזנחה עדיין שם. שלוש הטיוטות שנפסלו עדיין שם. שם הקמפיין הישן מופיע ארבעים פעם והחדש שש. כשהמודל מנסח את התשובה הבאה, כל זה מושך אותו. בגלל זה שיחות ארוכות נסוגות אחורה: אתם מתקנים את התקציב, ועשרים הודעות אחר כך המספר הישן מתגנב חזרה. השיחה מצביעה נגדכם. והיא גם נהיית איטית ועמומה יותר עם כל סטייה מהנושא.

וזה החצי השני. התוצאות המצוינות מלפני כמה ימים קרו בתוך שיחה מסוימת, עם כל מה שהשיחה ההיא צברה - התיקונים, הדוגמאות, ההלוך-חזור שכיוונן את הפלט. הקסם מעולם לא היה בפרומפטים עצמם; הוא היה בשיחה. תריצו את אותם פרומפטים בהקשר אחר, והקסם לא יגיע איתם.

כלל האצבע: שיחה היא למשימה, לא למערכת יחסים. כשהמשימה מתחלפת, גם השיחה צריכה להתחלף.

התיקון: פקודה אחת

אפשר לעבור על כל זה ידנית. לא צריך. ל-Toffu יש Skill מערכתי בשם context-rot-cleanup שעושה את זה בשבילכם.

מפעילים אותו ככה:

תריץ את הסקיל context-rot-cleanup.

או פשוט מתארים את הסימפטום במילים שלכם - "נהיית גרוע לאחרונה, תבדוק למה", "תנקה לי את ההקשר", "למה בדיוק אותם פרומפטים עבדו ביום ראשון ולא היום" - ו-Toffu יטען את הסקיל בעצמו.

מה הוא עושה:

1. עובר על ההנחיות הקבועות בכל הרמות שיש לכם (משתמש, צוות, חברה) וממיין כל שורה: להשאיר, לנסח מחדש, למחוק או לחלץ ל-Skill - עם דגש על סתירות, חריגים שפג תוקפם, כפילויות, עובדות שמתחזות להנחיות, ותהליכים רב-שלביים שצריכים להיות Skill במקום משקל על כל הודעה.
2. עובר על הזיכרון ומאתר רשומות מיושנות: מדדים מהרבעון שעבר שנשמרו כאמת נצחית, הערות על קמפיינים שנגמרו, עובדות שסותרות הנחיות עדכניות.
3. מציג טבלת ניקוי עם פסק דין ונימוק לכל שורה, יחד עם הנוסח המלא המוצע. הוא לא מחיל שום דבר בלי אישור שלכם.
4. אחרי שאישרתם, הוא מחיל את הניקוי ומציג בדיוק מה מאוחסן עכשיו, כדי שלא יישאר מצב מסתורי.

כל התהליך לוקח בערך שתי דקות, שרובן קריאת הטבלה.

אם השחיקה היא בשיחה עצמה ולא בהקשר המאוחסן, אותו Skill מטפל גם בזה. בסוף שיחה ארוכה, בקשו:

השיחה הזאת נהייתה ארוכה. תריץ context-rot-cleanup ותכין לי
סיכום העברה כדי שאוכל להתחיל שיחה חדשה.

Toffu מייצר בלוק העברה - החלטות שהתקבלו, הגדרות נוכחיות, עבודה פתוחה, הצעד הבא - שאתם מדביקים כהודעה הראשונה בשיחה חדשה. חלון נקי, אפס שחיקה, שום דבר לא הלך לאיבוד.

סיכום העברה נושא מצב עבודה רגעי. למתכון שסוף סוף עובד מגיע כלי טוב יותר - ההרגל הראשון בהמשך.

הרגלים שמונעים מזה לחזור

ניקוי עדיף על כלום, אבל היגיינה עדיפה על שניהם. הרגל אחד חשוב יותר מכל השאר.

כששיחה סוף סוף מייצרת את התוצאה שרציתם - פורמט הדוח שעבד, פילוח הקהלים שקלע, מבנה הפוסט שהצוות אהב - שמרו אותה לפני שאתם הולכים:

התוצאה האחרונה הייתה בדיוק מה שרציתי. תשמור את מה שעבד כאן
כסקיל, כדי שכל שיחה חדשה תוכל להשתמש בו.

זאת הדרך החוצה ממלכודת שיחת הענק. שיחות מגיעות ל-200 הודעות כי אף אחד לא רוצה לאבד את ההקשר שסוף סוף עובד. Skill שומר את הניצחון ומשאיר את השחיקה מאחור: התהליך שעובד הופך לבלוק נקי ורב-פעמי שכל שיחה חדשה יכולה לטעון. זה גם מה שפותר את התרחיש מתחילת הפוסט - התוצאה הטובה חיה ב-Skill, לא בשיחה אחת ברת-מזל שאי אפשר לשחזר. ואם המתכון רץ בקביעות, שדרגו אותו למשימה מתוזמנת.

שאר ההיגיינה:

• שיחה אחת למשימה. קמפיין חדש, שיחה חדשה. כשמתלבטים - מבקשים סיכום העברה ומתחילים נקי.
• כל דבר במגירה הנכונה. תהליך מוכח הוא Skill. כלל מתמשך הוא הנחיה. עובדה על העולם היא זיכרון. מה שנכון רק השבוע - הוא הודעה.
• תיקון חוזר הוא נורת אזהרה. תיקנתם את Toffu פעמיים על אותו דבר? אל תתקנו פעם שלישית - תריצו את הניקוי. משהו מאוחסן נלחם בכם.
• תזמנו את הביקורת. בקשו מ-Toffu להזכיר לכם להריץ context-rot-cleanup פעם בחודש. (הסקיל בכוונה לא משכתב הנחיות מתוך הרצה מתוזמנת - אתם נשארים בלופ על מה שנמחק.)

"טיפש" זה בדרך כלל "טובע"

כשהאיכות של סוכן יורדת אחרי חודשים של שימוש, המודל הוא כמעט אף פעם לא מה שהשתנה. מה שהשתנה זה כל מה שאתם והצוות ערמתם לתוך זיכרון העבודה שלו לאורך הדרך. ההבדל בין הסוכן ללוח המחיק הוא שהלוח הזה מנקה את עצמו כשמבקשים.

תריץ את הסקיל context-rot-cleanup.

שתי דקות. ואז לכו לראות מה הפרומפטים שלכם היו מסוגלים לעשות כל הזמן הזה.