Определите единицу учёта
Этот материал для руководителя поддержки, который сравнивает работу до и после автоматизации. Одна проблема может породить несколько диалогов в разных каналах. Если каждый считать новым успешно закрытым обращением, получится завышенная оценка. Согласуйте, как связываете повторы, какое окно наблюдения используете и что считаете решением.
Выделите справочные вопросы, действия в системе, претензии и другие темы. Смешивание лёгких FAQ с изменением заказа скрывает слабые сценарии. Отмечайте, кто решил проблему: агент самостоятельно, сотрудник после передачи или клиент по инструкции.
Соберите сбалансированный набор
Таблицу можно прокрутить по горизонтали.
| Показатель | Определение | Ограничение |
|---|---|---|
| Правильность ответа | Верные ответы / проверенные ответы одной темы | Нужны утверждённый источник и экспертная оценка. |
| Подтверждённое решение | Решённые проблемы / проверенные проблемы | Тишина клиента не считается подтверждением. |
| Повтор по той же проблеме | Проблемы с повтором / проблемы с полным окном наблюдения | Нужно отличать новый вопрос от продолжения старого. |
| Качество передачи | Передачи с нужным контекстом / проверенные передачи | Успех уведомления ещё не означает принятие сотрудником. |
| Суммарные усилия команды | Время обработки, контроля, исправлений и знаний | Сравнивать одинаковые периоды и состав тем. |
Для скорости смотрите время содержательного ответа и ожидание человека после передачи. Среднее может скрывать очень долгие обращения, поэтому полезно отдельно наблюдать хвост задержек. Запишите, как считаете время вне смены.
Не исключайте ошибки из удобной выборки
Выборка должна включать передачи, неизвестные вопросы, неудачные действия и разные каналы, а не только успешные ответы бота. Сохраните правила отбора. При малом потоке показывайте абсолютные числа рядом с процентом и не переносите результат на все обращения.
В условных 80 проверенных проблемах 50 диалогов помечены закрытыми без оператора. Проверяющий подтвердил решение только у 36. Тогда 50 / 80 = 62,5% — доля закрытий, а 36 / 80 = 45% — доля подтверждённых самостоятельных решений. Остальные случаи требуют разбора, а не включения в успех. Это учебный расчёт.
Считайте затраты вместе с качеством
Из времени сотрудников до автоматизации вычитайте не только сокращённые ответы, но и добавившийся контроль, исправления, поддержку подключений и обновление знаний. Затем учитывайте платежи за систему. Высвобождённые часы не равны сокращению расходов на зарплату: они могут пойти на более сложную работу.
Зафиксируйте минимально допустимое качество и основания для остановки сценария до запуска. Если быстрый ответ сопровождается неверными условиями или повторными обращениями, снижение времени первой реплики не оправдывает расширение автоматизации. Результат до/после описывайте вместе со сменой тем, нагрузки и состава команды — причинность без сопоставимых условий не доказана.
Правило повторного обращения и разбор выборки
Учебный период — одна неделя. Из 80 обращений закрыто 50, но только 36 имеют подтверждённое решение; 14 закрытых требуют проверки причины. Доля подтверждённого решения от всех входящих — 36/80 = 45%, а не 50/80 = 62,5%.
Повтор по той же проблеме в течение условных 7 дней связываем с исходным обращением, не считаем новым успехом. Это выбранное допущение, а не стандарт отрасли. Разделяем темы: справочная инструкция и спор о возврате имеют разную сложность; изменение состава очереди может изменить общую долю без улучшения агента.
Основания и источники
Примеры и расчёты — иллюстрации, а не результаты клиентов. Ссылки ниже подтверждают названные технические возможности; матрицы и критерии проверки — редакционные рекомендации ЛидПотока. Проверено 27 октября 2026.
- Microsoft Copilot Studio: источники знаний агента
Источники знаний Copilot Studio. Карточка с владельцем и сроком проверки — редакционный инструмент, а не обязательная функция платформы.
- Локальный воспроизводимый стенд: правила повторов, знания и слоты. Не интеграция платформы.
Самодостаточная локальная модель правил: повтор операции, просроченное знание, конкурентная запись. Без LLM и внешних интеграций.