איך הורדנו את זמן התגובה של סוכן AI מ-23 שניות ל-4 שניות

זמן תגובה של סוכן AI הוא לא מספר תיאורטי בסלייד. הוא ההבדל בין לקוח שממשיך לדבר איתכם לבין לקוח שסוגר את הוואטסאפ ועובר הלאה. זה מקרה בוחן אמיתי מהעבודה שלנו: סוכן AI ללקוח בתחום הנדל"ן שענה בממוצע תוך כ-23 שניות (והגיע אפילו ליותר מ-30 שניות), ואיך הורדנו את זה לפחות מ-5 שניות.

בלי גרפים מפוברקים ובלי "תוצאות מדהימות" סתמיות. המספרים כאן הם ריצות אמיתיות מתוך המערכת שמריצה את הסוכן הספציפי הזה.

מאיפה הגיעו 23 השניות

הסוכן שבנינו ללקוח הזה עובד מול לידים שנכנסים בוואטסאפ בתחום הנדל"ן: הוא לוכד את הפנייה, שואל את השאלות הנכונות, מדרג את הליד לפי רצינות, בשלות, ומוציא ממנו את המידע שהצוות צריך כדי להמשיך את הטיפול, וכל זה נשמר בצורה מאובטחת, שרק ללקוח שלנו יש גישה אליו. רצינו שאיכות החילוץ הזה תהיה הכי גבוהה שאפשר, אז השתמשנו במודל שפה מסוג "חושב" (reasoning), שמבצע כמה שלבי היגיון פנימיים לפני שהוא עונה.

זה בא עם מחיר: תשובה אחת יכלה לקחת 10 שניות, אחרת 38. הנה ריצות אמיתיות מהמערכת שלנו מאותה תקופה:

בממוצע זה יצא סביב ה-23 שניות לתשובה. בשיחת וואטסאפ, זה נצח. לקוח שמחכה חצי דקה לתשובה ראשונה כבר מרגיש שהוא מדבר עם בוט איטי, לא עם מישהו שבאמת עונה לו.

מה שינינו בפועל

השינוי המרכזי היה החלפת המודל שמריץ את הסוכן. עברנו למודל שפה חדש וחזק יותר, שמסוגל לעקוב אחרי הוראות מורכבות של סוכן בצורה מדויקת, אבל בלי מצב "חשיבה מורחבת" שמוסיף לכל תשובה שניות ארוכות של עיבוד פנימי. לצד זה עשינו כמה התאמות טכניות נוספות בתהליך עצמו, כמו שיפצור קטן לפרומפט הסיסטם של הסוכן, שדרוג לוגיקת הסוכן ומבנה הוורקפלואו הכללי, אבל השינוי הזה היה המשמעותי מכולם.

זו לא המצאה שלנו, זה עיקרון ידוע בתעשייה: סוכנים שפונים ישירות ללקוח מרוויחים הרבה יותר ממענה מהיר וטוב מצד הלקוח, בעוד סוכנים דיגיטליים פנימיים ללא תקשורת ישירה מול לקוחות, יכולים להרשות לעצמם לחשוב יותר זמן בשביל דיוק גבוה יותר. סוכן שעונה ללקוח בוואטסאפ שייך בבירור לקטגוריה הראשונה.

התוצאה במספרים

מהממוצע הקודם של כ-23 שניות ירדנו לממוצע של כ-4.8 שניות, כמעט פי חמישה מהיר יותר. הטווח גם הצטמצם משמעותית: לפני זה נע בין 10 ל-38 שניות בהתאם למורכבות ההודעה, אחרי זה יציב בין 4.3 ל-5.5 שניות כמעט בכל ריצה.

האם מהירות באה על חשבון האיכות

זו השאלה ההוגנת שכל אחד צריך לשאול כשמישהו מספר סיפור הצלחה כזה. התשובה הכנה: תלוי במשימה. עבור המשימה הספציפית הזו, איסוף ודירוג מידע מובנה מתוך שיחה, המודל החדש ביצע את העבודה נכון בלי הצורך ב"חשיבה מורחבת". זה לא אומר שמודלים מסוג reasoning מיותרים. יש משימות עם היגיון מורכב באמת, למשל ניתוח קוד, מספרים מורכבים, מסמכים או חישוב פיננסי מסובך, שבהן דווקא כדאי לשלם במהירות בשביל דיוק.

המסקנה שלנו היא לא "תמיד תבחרו מודל מהיר". היא "תבדקו את המודל הכי מתאים למשימה הספציפית, לא את זה שכולם מדברים עליו החודש".

המודל הכי חכם בעולם לא שווה הרבה אם הלקוח כבר עזב את הוואטסאפ עד שהוא סיים לחשוב.

למה זה משנה ללקוחות שלכם

כתבנו כבר על כלל חמש הדקות בפוסט על ניהול לידים: ליד שמקבל מענה מהר סוגר בהרבה יותר סיכוי מליד שמחכה. אבל בתוך הוואטסאפ עצמו, גם הפרש של עשרות שניות משנה. הודעה שנענית תוך 4 שניות מרגישה כמו שיחה. הודעה שנענית אחרי 23 שניות מרגישה כמו המתנה למוקד שירות של חברת חשמל ביום של סופת רעמים.

אם אתם לא בטוחים שזה בכלל רלוונטי לעסק שלכם, יש לנו פוסט שעוזר לזהות את הסימנים שהעסק שלכם מוכן לסוכן AI.

שאלות נפוצות

איך יודעים אם סוכן AI שלכם איטי מדי?

אם לקוחות כותבים "אתה שם?" לפני שהם מקבלים תשובה, זה כבר איטי מדי. מדדו את הזמן בפועל מרגע קבלת ההודעה ועד התשובה, לא את התחושה הכללית.

האם כל סוכן AI צריך להיות מהיר כמו במקרה הזה?

לא בהכרח. סוכן שעונה ללקוח בזמן אמת בוואטסאפ צריך מהירות. סוכן שמבצע ניתוח מורכב ברקע ומחזיר תוצאה כעבור חצי דקה, עד מספר דקות, למשל דוח שבועי, יכול להרשות לעצמו הרבה יותר זמן. כל מקרה לגופו.

האם המספרים בפוסט הזה אמיתיים?

כן. אלה ריצות אמיתיות מהמערכת שלנו. טישטשנו רק את שם הלקוח, לא את זמני התגובה.

כמה זמן תגובה נחשב טוב לסוכן AI בוואטסאפ?

ככל שקצר יותר כך טוב יותר, אבל כל דבר מתחת ל-8 שניות כבר מרגיש ללקוח כמו שיחה חיה. מעבר ל-10 שניות מתחיל להרגיש כמו המתנה.

המספרים האלה לא באים להרשים. הם באים כדי להראות שזמן תגובה הוא דבר שאפשר למדוד, לתקן ולשפר, לא רק להבטיח. אם סוכן ה-AI שלכם איטי, כנראה שיש לזה סיבה טכנית קונקרטית, ואפשר למצוא אותה.