Из чего состоит голосовой ИИ-агент

Путь одной реплики

• Телефон или браузер передаёт звук.
• Распознавание превращает его в текст; система определяет конец реплики.
• Модель получает контекст, правила, сведения о собеседнике и доступные инструменты.
• При необходимости инструмент возвращает данные или результат действия.
• Синтез превращает ответ в звук, который слышит собеседник.
• Запись и структурированный результат сохраняются для проверки.

Где живут знания

Промпт описывает поведение и ограничения. База знаний содержит документы, прайс и ответы. Данные о текущем заказе обычно нужно получать из внешней системы. Эти источники отличаются по актуальности и назначению.

Не складывайте весь бизнес в один длинный промпт. Разделение облегчает обновление прайса, тестирование и объяснение ошибки.

Где принимаются решения

Модель предлагает действие, но платформа должна проверять права, допустимые аргументы и ответ системы. Фраза «запись создана» допустима только после успешного выполнения операции.

Система управления должна позволять задать пределы самостоятельности, проверить сценарий и просмотреть фактический итог. Именно эти свойства важны при выборе готовой платформы.

Каскад и speech-to-speech

В каскаде можно выбирать и измерять отдельные компоненты STT, LLM и TTS. Прямой голосовой режим имеет другой путь обработки. Сравнивайте архитектуры по итоговой задаче, звуку и задержке на стороне пользователя.