ארגונים משקיעים בהרצאות, סדנאות וקורסי AI, אבל במקרים רבים המדידה מסתיימת במספר המשתתפים ובשאלון שביעות רצון. אלה נתונים שקל לאסוף, אך הם אינם מוכיחים שההכשרה שינתה את דרך העבודה או יצרה ערך כלכלי.
עובד שנהנה מהסדנה לא בהכרח משתמש בכלים לאחר מכן. גם עובד שמשתמש ב־AI מדי יום לא בהכרח חוסך זמן או משפר את איכות התוצר. כדי למדוד החזר השקעה צריך לחבר בין הלמידה לבין התנהגות בפועל, ומשם לתוצאות שניתן לכמת.
מתחילים לפני ההכשרה
אי אפשר למדוד שינוי אם לא יודעים מה היה המצב ההתחלתי. לפני שבונים את ההכשרה, צריך להגדיר אילו משימות רוצים לשפר וכיצד הן מבוצעות כיום.
לדוגמה:
- כמה זמן נדרש להכנת דוח?
- כמה פניות שירות מטופלות ביום?
- כמה זמן עובר מדרישה עסקית ועד לעליית פיצ׳ר?
- כמה סבבי תיקונים נדרשים למסמך?
- מה שיעור הטעויות בתהליך?
- כמה מהעבודה מתבצעת ידנית?
לא צריך למדוד את כל פעילות המחלקה. עדיף לבחור שניים או שלושה תרחישים מרכזיים, לקבוע עבורם נתוני בסיס ולהגדיר מראש מה ייחשב לשיפור משמעותי.
ארבע שכבות למדידת אפקטיביות
1. למידה
ברמה הראשונה בודקים אם המשתתפים רכשו ידע ויכולת. אפשר להשתמש במשימה מעשית לפני ההכשרה ואחריה, ולא להסתפק בשאלון שבו המשתתפים מעריכים את עצמם.
לדוגמה, ניתן לבדוק האם המשתתף יודע לנסח פרומפט מדויק, לבחור כלי מתאים, לזהות מידע שאסור להזין או לבנות תהליך עבודה שמשלב AI.
2. שימוש ואימוץ
בשלב הבא בודקים אם הידע עבר אל יום העבודה. המדדים יכולים לכלול את שיעור המשתמשים הפעילים, תדירות השימוש, מספר התהליכים שבהם שולב AI ומספר מקרי השימוש החדשים שנוצרו לאחר ההכשרה.
חשוב להבדיל בין כניסה לכלי לבין שימוש שמייצר ערך. פתיחת ChatGPT או Copilot אינה יעד עסקי. השלמת משימה אמיתית בצורה טובה ומהירה יותר היא היעד.
3. ביצועי העבודה
כאן נמדד השינוי בתהליך עצמו. המדדים משתנים בין תפקידים ומחלקות:
בצוותי פיתוח אפשר למדוד זמן השלמת משימה, זמן מעבר מפתיחת Pull Request עד לאישור, כיסוי בדיקות או מספר תקלות שחזרו מהייצור.
בשיווק אפשר למדוד זמן מחקר, זמן הכנת גרסה ראשונה, מספר סבבי תיקונים או קצב הפקת תוצרים, בלי להתעלם מאיכותם.
בשירות אפשר לבחון את זמן הטיפול, שיעור הפתרון בפנייה הראשונה, איכות התיעוד ושביעות רצון הלקוחות.
בכספים ובתפעול אפשר למדוד זמן הכנת דוחות, היקף העבודה הידנית, מספר השגיאות ומשך הטיפול בבקשה.
4. תוצאה עסקית
השכבה האחרונה מחברת את השיפור לערך לארגון. הערך יכול להגיע מחיסכון בשעות עבודה, הגדלת תפוקה, קיצור זמני תגובה, שיפור באיכות, צמצום טעויות או הימנעות מעלויות.
לא כל תוצאה חייבת להפוך מיד לסכום כספי. לעיתים הערך הראשוני הוא קיצור תהליך או פינוי זמן למשימות מורכבות יותר. עם זאת, אם רוצים לחשב ROI, צריך לתרגם לפחות חלק מהתוצאות לערך כספי סביר ומתועד.
כיצד מחשבים ROI?
הנוסחה הבסיסית היא:
ROI = (הערך הכספי שנוצר פחות עלות ההשקעה) חלקי עלות ההשקעה, כפול 100
נניח ש־20 עובדים חוסכים בממוצע שעה אחת בשבוע בעקבות ההכשרה. אם עלות שעת עבודה ממוצעת היא 120 ש״ח והחיסכון נשמר במשך 45 שבועות, הערך השנתי המחושב הוא:
20 עובדים × שעה אחת × 120 ש״ח × 45 שבועות = 108,000 ש״ח
אם העלות הכוללת של ההכשרה, הרישיונות, ההטמעה וזמן העובדים הייתה 60,000 ש״ח:
(108,000 פחות 60,000) חלקי 60,000 × 100 = 80% ROI
זהו חישוב שימושי, אבל רק אם החיסכון אכן מתרחש. הערכה של העובדים מיד לאחר הסדנה אינה מספיקה. כדאי למדוד מדגם של משימות אמיתיות לפני ההכשרה ואחריה, ולבדוק אם הזמן שהתפנה נוצל לעבודה בעלת ערך.
מה חייב להיכלל בעלות ההשקעה?
אחת הטעויות הנפוצות היא לחשב רק את מחיר הסדנה. העלות האמיתית עשויה לכלול:
- זמן העבודה של המשתתפים.
- רישיונות לכלי AI.
- התאמות, אינטגרציות ופיתוח.
- זמן ניהול, תמיכה ואבטחת מידע.
- בניית מדיניות ונהלי עבודה.
- ליווי לאחר ההכשרה.
- תחזוקה ועדכון של התהליכים שנבנו.
אם מסתירים חלק מהעלויות, מתקבל ROI מרשים על הנייר שאינו משקף את המציאות.
איך יודעים שהשיפור הגיע מההכשרה?
לא כל שיפור שהתרחש לאחר הסדנה נגרם בזכותה. ייתכן שבאותה תקופה הוחלף כלי, שונה תהליך או נוספו עובדים.
כדי לשפר את איכות המדידה, אפשר להתחיל בפיילוט עם צוות אחד ולהשוות אותו לצוות דומה שטרם עבר את ההכשרה. אפשר גם למדוד את אותן משימות בנקודות זמן קבועות: לפני הסדנה, חודש לאחריה ושלושה חודשים לאחריה.
המדידה לאורך זמן חשובה משום שהתלהבות ראשונית אינה שווה לאימוץ. אם השימוש נעלם אחרי שבועיים, ההכשרה לא יצרה יכולת ארגונית.
הסדנה היא לא כל הפתרון
גם הכשרה מצוינת לא תייצר החזר השקעה אם לעובדים אין גישה לכלים, אם אסור להם להשתמש במידע הנדרש או אם המנהלים ממשיכים לדרוש את אותה עבודה בדיוק באותה דרך.
כדי שהלמידה תהפוך לתוצאה, נדרשים תרחישים ברורים, כלים מאושרים, זמן לתרגול, תמיכה ניהולית ומנגנון לשיתוף שימושים מוצלחים בין עובדים וצוותים.
הכשרות AI שמחוברות למדדים
ב־AI BOOST אנחנו מתאימים את ההכשרה לרמת הידע, לתפקידים, לכלים ולמשימות האמיתיות של המשתתפים. במקום להתחיל מרשימת נושאים כללית, אפשר להתחיל ממיפוי הצרכים ומבחירת תרחישים שבהם ל־AI יש פוטנציאל לייצר ערך מדיד.
כחלק מהתהליך ניתן להגדיר מראש מה המשתתפים צריכים לדעת לבצע בסיום, אילו מדדים כדאי לבחון וכיצד לבדוק אם הידע אכן עבר לעבודה היומיומית.
למידע נוסף על הכשרות AI BOOST לארגונים
החזר השקעה על הכשרות AI אינו נמדד בכמה עובדים השתתפו או כמה מהם אמרו שהסדנה הייתה מעניינת. הוא נמדד בשאלה מה הם עושים אחרת לאחר ההכשרה, כיצד השינוי משפיע על העבודה ומהו הערך שהארגון מקבל ממנו.
