תהליכי עבודה אג׳נטיים בארגון: איפה אדם מאשר?

סוכן שמנסח מייל משאיר לאדם ללחוץ על שליחה. סוכן בתוך תהליך רכש יכול להפיק את ההזמנה בעצמו. מהרגע ששלב של AI יכול לשנות רשומה, ההחלטה החשובה ביותר בתכנון התהליך היא איפה הוא עוצר ומחכה לאדם.

הארגונים שמפיקים את המירב מ-AI הם אלה שמתכננים מחדש את העבודה סביבה.

מהו תהליך עבודה אג׳נטי?

תהליך עבודה אג׳נטי הוא תהליך עסקי מתוכנן שבו חלק מהשלבים מבוצעים על ידי סוכני AI שיודעים לתכנן, להפעיל כלים ולפעול על מערכות. הארגון קובע את המסלול, את הנתונים שכל שלב רשאי להשתמש בהם ואת הנקודות שבהן אדם מחליט. הסוכן עושה את העבודה שבין הנקודות האלה.

המונחים עדיין מתגבשים. Anthropic, במדריך ההנדסי Building effective agentsהמקור של “Building effective agents” (באנגלית), מבחינה בין תהליכי עבודה, שבהם מודלי שפה וכלים מתוזמרים לאורך מסלולי קוד מוגדרים מראש, לבין סוכנים, שמכוונים בעצמם את התהליך ואת השימוש בכלים. מסגרת הממשל לבינה מלאכותית אג׳נטיתהמקור של “מסגרת הממשל לבינה מלאכותית אג׳נטית” (באנגלית) של IMDA, רשות התקשורת והמדיה של סינגפור, מציינת שברוב הפריסות הארגוניות מדובר במערכות היברידיות, שמשלבות כללים דטרמיניסטיים עם מידה מסוימת של אוטונומיה.

בארגון, שאלת התכנון שבאמת חשובה היא איפה נגמרת האוטונומיה של הסוכן.

למה שלב האישור הוא החלק הקשה?

כי בשלב האישור העבודה של הסוכן הופכת להחלטה של הארגון. רוב הארגונים כבר מפעילים סוכנים בצורה כלשהי, ומעטים מוכנים לתת להם לפעול לבד. שלב האישור מאפשר לתהליך ליהנות מהמהירות של הסוכן, בזמן שההחלטות שהארגון חייב להחזיק נשארות אצלו.

אילו פעולות של סוכן צריכות אישור של אדם?

המסגרת של IMDA מבקשת מארגונים להגדיר נקודות בקרה שבהן נדרש אישור של אדם, בעיקר לפני פעולות רגישות, ומפרטת אילו סוגי פעולות מתאימים לכך. כך הם נראים כשממפים אותם על המערכות שארגון מפעיל.

כל השאר יכול לרוץ לבד, עם תיעוד. תהליך שמבקש אישור על כל שלב מלמד אנשים לאשר בלי לקרוא, ו-IMDA אומרת את זה במפורש: פיקוח רציף של אנשים על סוכנים עלול להוביל להטיית אוטומציה ולעייפות התראות.

במערכות AI שמסווגות כבסיכון גבוה, פיקוח אנושי הוא גם חובה בחוק. סעיף 14 לחוק ה-AI של האיחוד האירופיהמקור של “סעיף 14 לחוק ה-AI של האיחוד האירופי” (באנגלית) דורש שהאנשים שאחראים על הפיקוח יוכלו להחליט שלא להשתמש במערכת, להתעלם מהתוצר שלה, לעקוף אותו או לבטל אותו, ולעצור את המערכת בלחצן עצירה או בהליך דומה. לפי Digital Omnibus on AIהמקור של “Digital Omnibus on AI”, תקנה (EU) 2026/1744, החובות האלה חלות מ-2 בדצמבר 2027 על השימושים בסיכון גבוה שמפורטים בנספח III, ומ-2 באוגוסט 2028 על AI במוצרים שבנספח I.

סוכנים רבים ברכש, בכספים ובתפעול אינם נכנסים לקטגוריות הסיכון הגבוה של החוק. דפוס התכנון נשאר זהה בכל מקרה: מי שמחזיק בסמכות יכול לעצור את הסוכן, ולעקוף או לבטל את מה שעשה.

כמה מעורבות אנושית צריך?

קובעים את זה פעולה אחר פעולה. IMDA מתארת טווח של רמות מעורבות אנושית, ותהליך אחד יכול להשתמש בכמה מהן בשלבים שונים:

1. הסוכן מציע, האדם מבצע (Agent proposes, human operates). האדם בודק ומאשר כל פעולה של הסוכן.
2. הסוכן והאדם עובדים יחד (Agent and human collaborate). הסוכן צריך אישור בשלבים משמעותיים, למשל לפני כתיבה למסד נתונים או ביצוע תשלום, והאדם יכול להיכנס ולקחת פיקוד בכל רגע.
3. הסוכן מבצע, האדם מאשר (Agent operates, human approves). אישור רק בשלבים קריטיים או בכשלים, למשל מחיקת מסד נתונים או תשלום מעל סכום שנקבע מראש.
4. הסוכן מבצע, האדם צופה (Agent operates, human observes). אין אישור בזמן הביצוע, ואפשר לבדוק את הפעולות בדיעבד.

תהליך רכש יכול לתת לסוכן להתאים חשבוניות להזמנות בעצמו, לחכות לאישור לפני שחרור תשלום, ולעצור לגמרי כשפרטי הבנק של ספק משתנים. מתי סוכן צריך לעצור ולהעביר החלטה לאדם, ומי מחזיק בסמכות לקבל אותה, הוא הנושא של AI Agents בארגון: מה הסוכן צריך להבין לפני שנותנים לו לפעול?

איך מבקשים אישור שאנשים באמת קוראים?

כל בקשה צריכה להיות קצרה, ממוקדת וקשורה לסיכון שלה. ההנחיה של IMDA היא לשמור על בקשות אישור תלויות הקשר וקלות לעיכול, ולהתאים את סוג התגובה לפעולה. בפועל:

1. כתבו מה ישתנה, ואיפה. "לשחרר תשלום של 48,200 אירו לספק הזה ב-ERP" היא החלטה שאדם יכול לקבל. עמוד של לוגים של הסוכן משאיר לו לשחזר אותה בעצמו.
2. שימו את הראיות ליד הבקשה. ההזמנה, החשבונית, תעודת המשלוח וכל דבר חריג, כל אחד עם קישור למקור.
3. התאימו את התגובה לגובה הסיכון. אישור או דחייה לפעולה שגרתית, עריכת התוכנית של הסוכן לפעולה מורכבת, ונימוק בכתב לפעולות בסיכון הגבוה ביותר.
4. שלחו את הבקשה למי שמחזיק בסמכות. המאשר הוא מי שמחזיק בסמכות בארגון, ולפעמים זה מישהו אחר מבעל המשימה.
5. ברירת המחדל היא לעצור. כשאין מאשר זמין, או כשהסוכן מנסה פעולה שאין לה מדיניות, הפעולה מחכה. IMDA ממליצה לחסום פעולות כברירת מחדל כשתשתית האישורים לא עובדת.
6. עקבו גם אחרי האישורים. כמה פעמים אנשים עוקפים את הסוכן, וכמה מהר הם מאשרים. גרסה 1.5 של מסגרת IMDA הוסיפה בדיוק את זה, מעקב אחרי שיעורי העקיפה וזמני התגובה, כהגנה מפני הטיית אוטומציה.

מה צריך להיות בתיעוד של אישור?

מספיק כדי שמישהו יבין את ההחלטה גם בעוד שנה, בלי לשאול אף אחד: מה הסוכן הציע, מה הוא ראה, מי אישר או דחה ומתי, ומה השתנה ובאיזו מערכת. אישור הוא חלק מהרשומות של הארגון, ומקומו באותו תיעוד של הפעולה שהוא התיר.

התיעוד הזה הוא גם מה שמאפשר להקל על כלל בבטחה. כשנה של אישורים מראה שסוג מסוים של פעולה אושר בכל פעם, בלי שינוי, אפשר להזיז את הסף עם ראיות מאחוריו.

שלב האישור הוא המקום שבו תהליך עבודה מרוויח אמון, החלטה מתועדת אחת בכל פעם.

איפה HIVO OS נכנסת לתמונה

ב-HIVO OS, הפלטפורמה ש-HIVO בונה, סוכנים מציעים ואנשים מאשרים. ב-Studio הארגון בונה תהליכי עבודה, אוטומציות, רוטינות וסוכנים משלו, נותן לכל סוכן תפקיד, בעלים ונקודה שבה הוא עוצר, ובודק כלל מול מקרים קודמים לפני שהוא עולה לאוויר. בקשות האישור מגיעות לאדם שאחראי עליהן, לפי מחלקה וסכום.

ב-Chat שואלים את העסק שאלות, מקבלים תשובות שמראות את המקורות שלהן ומפעילים סוכנים. ב-Enterprise Control אותם כללים חלים על כל סוכן, ונשמר תיעוד של כל פעולה, כשכל רשומה משורשרת לקודמת. ה-ERP, ה-CRM והמערכות שסביבם נשארים במקומם.

על הקטגוריה שאליה החלקים האלה שייכים: מהי פלטפורמת AI ארגונית?