Документация

Инструкция пользователя на робота

Редакции:

Последняя актуальная

Описание продукта

Устройство

Робот Promobot V.4 — это сервисный робот для бизнеса. Робот общается с людьми, распознаёт лица и речь, самостоятельно передвигается, избегая препятствия. Робот автономный — он не нуждается в контроле со стороны человека. Promobot V.4 подключается к любым внешним системам: базам данных, системам безопасности, сайтам и сервисам.

Программное обеспечение

Promobot Core Software — это программное обеспечение, установленное на сервисном роботе Promobot V.4. Это ПО выполняет функции управления механическими частями робота, реализует распознавание лиц, участвует в работе модулей распознавания и синтеза речи, осуществляет передачу данных между ядром программного обеспечения и подключенными устройствами, предоставляет графический пользовательский интерфейс для взаимодействия посетителя с роботом.

Программное обеспечение Promobot Core Software реализует:

• Движение основных частей робота (голова, руки, торс, передвижная платформа).
• Распознавание лиц.
• Произношение роботом промо-речевок.
• Передачу данных между ядром программного обеспечения и устройствами (камеры поиска и распознавания лиц, датчики расстояния и оборудование для навигации и передвижения робота, фотопринтер, чековый принтер, банковский терминал, устройство выдачи карт).
• Передачу данных между ядром программного обеспечения и Диалоговой системой для реализации распознавания и синтеза речи. Благодаря этому у пользователя есть возможность поговорить с роботом или задать ему вопросы.

Программное обеспечение Promobot Core Software предоставляет:

• Графический пользовательский интерфейс сервисного робота Promobot V.4.
• Набор пользовательских приложений (Знакомство, Фото от робота, Браузер, Запись видеообращения, Программа лояльности, Удиви меня, Эмоции, Смена языка робота, Адреса и контакты, Отправка на зарядку, Кто я, Пять минут тишины).

Добавлено:

1. Добавлена настройка калибровки микрофонного массива в системное меню.

2. Добавлено видео, воспроизводимое при печати фото.

3. Добавлено изменение порядка уровней лингвобазы через веб-интерфейс.

4. Добавлен параметр, запрещающий отключение микрофона.

5. Добавлена возможность записывать в файл аудиопоток, отправляемый на распознавание.

6. Добавлена возможность смены языка через виджет на главном экране робота.

7. Добавлена возможность привязки приветствия к определённому человеку.

Улучшено:

1. Изменена логика работы категорий реплик. Робот теперь умеет работать с категориями реплик помимо категории по умолчанию.

2. В JS приложениях реализованы непрерываемые реплики.

Исправлено:

1. Исправлена ошибка, из-за которой робот не возвращал голову в исходное положение после исчезновения лица, если поворот был выполнен при обнаружении лица широкоугольной камерой, но лицо при этом исчезло до обнаружения основной камерой;

2. Исправлена ошибка, из-за которой робот отвечал дважды при включённых VAD и AEC.

3. Актуализирована заставка при включении робота.

4. Исправлена ошибка, возникающая при попытке обучения лица с отрицательным ID.

5. Исправлена ошибка, из-за которой сигнал с микрофонного массива не отключался при запуске видео.

6. Исправлена ошибка, из-за которой робот следил за лицом, когда не запущено взаимодействие.

Добавлено:

1. Анимации подмигивания во время разговора.

2. Добавлена проверка подключения к зарядке после автовозврата. Если спустя несколько секунд после установки на зарядку робот не подключен к источнику питания, будет выполнена повторная установка на зарядку.

Улучшено:

1. Переработан виджет сервисного меню для подключения к WiFi.

2. Обработка сброса одометрии при перезагрузке VESC.

3. Расширены возможности выдачи карт в JS.

4. Параметр включения/выключения уведомления о статусе подключения оператора добавлен в сервисное меню робота;

5. Улучшена точность локализации источника звука и распознавания речи при использовании микрофонного массива за счёт настройки параметров.

Исправлено:

1. Исправлена ошибка, из-за которой робот не возвращал голову в исходное положение после исчезновения лица, если поворот был выполнен при обнаружении лица широкоугольной камерой, но лицо при этом исчезло до обнаружения основной камерой.

2. Исправлена ошибка, из-за которой таймаут показа промо применялся только при добавлении промо.

3. Исправлены ошибки в работе SIP.

Добавлено:

1. Добавлена возможность настраивать несколько обращений к неизвестным лицам. Используемое обращение определяется случайным образом из списка.
2. Добавлен новый алгоритм хаотичного передвижения. Алгоритм включает следующие особенности:
   
   • Теперь робот выбирает точку на карте в заданном радиусе и едет к ней.
   • Точка не может быть дальше определённого радиуса или ближе определенного значения.
   • Новая точка не может быть в том же секторе, что и предыдущая точка (угловое расстояние в радиальной системе координат с центром в центре хаотичного движения, не может быть меньше, чем 30 градусов).
   • В случае неудачной попытки движения к точке, робот выбирает новую.
   • После трех попыток, робот едет в центр хаотичного движения.
   • Если нет ограничения по радиусу, то робот выбирает точку в случайном направлении и пытается туда ехать.
3. Добавлена возможность назначения центральной точки для радиуса передвижения.
4. Теперь комбинация LB+RB будет переводить робота в режим сохранения точки хаотичного движения.
5. В режиме сохранения робот ищет маркер стыковки и, в случае его обнаружения, запоминает точку.
6. После удачной попытки сохранения, робот возвращается в исходное состояние, то в котором он находился до перехода в режим.
7. В случае неудачной попытки, робот переходит в паузу, ожидая человеческого вмешательства.
8. Добавлен новый алгоритм определения главного. При определении учитывается положение лица относительно робота и остальных лиц в кадре;
9. Добавлена поддержка нового термопринтера.
10. Добавлены виземы злости и удивления.
11. Добавлена общая база лиц. Поиск по общей базе использует дескрипторы всех известных лиц для сравнения. Сравнение с лицами из общей базы использует более высокий порог совпадения лиц.
12. Добавлены новые оповещения в систему мониторинга, которые возникают, когда в роботе заканчивается бумага для принтера или карты в раздатчике. Настроена передача уведомлений через Telegram бота.
13. Добавлена защита от автоматического передвижения с подключенным кабелем питания.
14. Добавлена возможность отключения поворота головы робота при слежении за лицом.
15. Добавлена возможность приёма карт диспенсером.
16. Добавлена возможность учёта датчиков при управлении роботом через Teleop.
17. Добавлен сброс параметров к значению по умолчанию кнопкой в сервисном меню.

Улучшено:

1. Расширены возможности приложения для обучения лиц.

2. Улучшена стабильность в работе Teleop.

3. Произведён рефакторинг SDK.

4. Улучшена работа оффлайн распознавания aibox на роботах с микрофонным массивом.

5. Улучшена работа функции автоматического возврата на зарядную станцию.

6. Улучшена работа безопасных рук.

7. Улучшена функция исправления произношения.

Исправлено:

1. Исправлена проблема загрузки памяти из-за web_video_service.

2. Исправлена проблема переключения распознавания, из-за которой робот продолжал распознавать фразы на русском, после переключения на другой язык.

3. Исправлена проблема, из-за которой запуск интерфейса по расписанию мог быть произведён некорректно.

4. Исправлены проблемы в работе безопасных рук.

5. Исправлена проблема, из-за которой иногда возникала ошибка при поиске в лингвобазе.

6. Исправлена проблема в работе Lidar.

7. Исправлена ошибка, из-за которой иногда при восстановлении интернет-соединения робот не переключался с оффлайн распознавания.

8. Исправлена ошибка, из-за которой робот мог поехать в авто режиме даже во время взаимодействия.

9. Исправлена ошибка, из-за которой происходили резкие движения головы после восстановления рук.

10. Исправлена ошибка, из-за которой иногда не работало восстановление рук, после их остановки по датчикам.

11. Исправлена ошибка, из-за которой проверка китайского синтеза работала некорректно.

12. Исправлена проблема, из-за которой робот не выезжал из узких мест при возникновении пограничного состояния датчиков.

13. Исправлена ошибка, из-за которой не работало ограничение на количество попыток стыковки с зарядной станцией.

14. Исправлена ошибка, из-за которой робот при отключении поиска человека продолжал ехать в последнюю обнаруженную позицию.

15. Исправлена ошибка, из-за которой робот не продолжал движение по навигации, если был установлен на зарядную станцию вручную (не выключая авто режим).

16. Исправлена ошибка, из-за которой робот оставался на паузе после окончания взаимодействия, если пауза была вызвана взаимодействием во время передвижения, а во время взаимодействия любой скрипт был прерван по датчикам.

Добавлено:

1. Добавлена проверка на принадлежность к базе знаменитостей во время процедуры знакомства лица.
   Подробнее:

   1. Во время знакомства теперь происходит проверка источника информации о лице.
   2. Лица из базы знаменитостей нельзя изменять через процедуру знакомства.
   3. При попытке выполнить знакомство лица из базы знаменитостей, робот выдаст ошибку.
      
      
2. Добавлена поддержка сканера отпечатка пальца.

Улучшено:

1. Снижено время ответа от робота.
   Подробнее:

   1. Снижена нагрузка на систему за счёт сокращения fps FishEye камеры с 25 до 10, сокращения битрейта основной камеры на устройстве АйТек.
   2. Снижена нагрузка на систему за счёт снижения затрат ресурсов на анализ эмоций.  Теперь анализ эмоций производится только у главного и с частотой 1 раз в секунду.
   3. Распознавание лиц теперь задействует в 2 раза меньше ресурсов.
   4. Снижение частоты кадров при повышенной загрузке.
   5. Снижена задержка между получением ответа и началом синтеза за счёт запуска Wine при старте TTS.
   6. Сервис TTS перенесён в топик, сокращены задержки на передачу сигнала синтеза речи.
   7. Добавлено кеширование правил для снижения количества запросов к лингвобазе.
   8. Добавлен многопоточный поиск ответа в лингвобазе.

Исправлено:

1. Исправлена ошибка, из-за которой окно фотоприложения в «промо при печати» не закрывалось, если в нём не было промо изображений.
2. Исправлена проблема, из-за которой функция разделения экрана в VNC не работала с новым Wi-Fi адаптером.
3. Исправлена часть проблем, из-за которых происходила утечка памяти.
4. Исправлена ошибка, из-за которой по умолчанию было включено прерывание фраз.
5. Исправлена ошибка, из-за которой некорректно обрабатывались якоря.
6. Исправлена проблема с повторным произношением фраз.

Добавлено:

1. Добавлена регулировка времени ожидания загрузки всех систем робота.
2. Добавлены новые возможности по контролю доступа в сервисное меню.
   Подробнее:
   1. Добавлен обязательный ввод пароля при входе в сервисное меню со стартового экрана робота.
   2. Добавлена возможность ограничить количество попыток ввода пароля и соответствующий параметр: robot_settings/access_control/maxInputAttempts.
   3. Добавлена блокировка входа в систему при достижении заданного количества неудачных попыток ввода.
   4. Время блокировки устанавливается параметром: robot_settings/access_control/restrictTime.
   5. Таймаут сброса неудачных попыток задаётся параметром: robot_settings/access_control/timeoutAttempts.
3. Добавлена поддержка RFID считывателей.
4. Возобновление выполнения скриптов Motion Studio после остановки по датчикам.
5. Добавлена возможность настройки прерывания фразы микрофонным массивом.
6. Добавлена возможность запуска взаимодействия при срабатывании микрофонного массива.

Улучшено:

1. Повышена детализация рамок для фото.
2. Часть старых эмоций заменена на виземы.
3. Убран показ лого Promobot в непустых слайдшоу.
4. Изменена логика работы приложения знакомства.
   Подробнее:
   1. Для знакомства, робот по умолчанию выбирает последнего главного пользователя.
   2. Процесс сохранения лица в базу происходит иначе.
   3. Новый параметр для списка слов, которые можно использовать вместо нажатия кнопки далее: /basic/nextWords.
5. Обновлена система распознавания лиц.
   Подробнее:
   1. Существенный прирост точности идентификации (всех 3 алгоритмов).
   2. Существенное ускорение слежения за лицом.
   3. Небольшое повышение точности классификации демографии и внешних атрибутов.
6. Доработан алгоритм обработки ложных срабатываний системы распознавания лиц во время навигации.

Исправлено:

1. Исправлена ошибка, из-за которой значение чувствительности УЗ датчиков не применялось при перезапуске робота.
2. Исправлена ошибка, из-за которой, после выполнения команд с джойстика, робот не мог двигать руками и головой.
3. Исправлена ошибка, из-за которой робот сообщал о низком заряде батареи, даже после установки на зарядку.
4. Исправлена ошибка, из-за которой робот не всегда выдавал карту.
5. Исправлена ошибка, из-за которой термопринтер выдавал некорректный результат при печати нескольких файлов подряд.
6. Исправлена ошибка, из-за которой робот не поворачивал при езде задом, даже при сработавших датчиках.
7. Исправлена ошибка, из-за которой робот мог поехать на зарядку с поднятой рукой.
8. Исправлена ошибка, из-за которой иногда не отображалось окно «Информация о соединении» в меню подключений робота.
9. Исправлена ошибка, из-за которой имена файлов, состоящие только из цифр, некорректно отображались в системе.

Добавлено:

1. Использование возможностей микрофонного массива в диалоге. Локализация людей по звуку. Разделение диалога при общении с несколькими людьми. Прерывание речи робота с помощью систем VAD и AEC. Подавление шумов.
2. Настройка масштаба при кадрировании распознанного лица.
3. Включение и выключение робота по расписанию.
4. Запрос правильного произношения имени и отчества в базе.

Исправлено:

1. Неработающая функция перезнакомства.
2. Ошибка, из-за которой робот мог не сбросить положения серв и актуатора при возврате на зарядку.
3. Медленное переключение распознавания речи при отсутствии интернета.
4. Проблема при добавлении лиц через виджет.
5. Повышенное использование памяти при переключении языка.
6. Ошибка в статусе периферии.

Добавлено:

1. Обновлённая система спикера. Появилась возможность продолжить произношение прерванной реплики с момента прерывания. Появилась функция визем для синхронизации анимации лица робота с синтезом речи.
2. Обновлённая навигация.
3. Возможность прерывания скриптов по нажатию на кнопку «микрофон».
4. Возможность регулировать громкость в промо при печати.
5. Функция хранения дескрипторов и фотографий посетителей в БД.
6. Функция создания макросов и система справочников в БД.
7. Функция включения робота по расписанию.
8. Светлая тема клавиатуры.

Улучшено:

1. Система офлайн распознавания речи. Распознавание проходит быстрее и точнее. Новый декодер.
2. Алгоритм переключения с основной системы распознавания речи на резервную.

Исправлено:

1. Нестабильная работа системы распознавания лиц при распознавании эмоций.
2. Поиск по синонимам в БД останавливался на первом успешном.
3. Нестабильная работа в меню промо-материалов при добавлении картинки в слайдшоу.

• Добавлена возможность печатать HTML файлы на чековом принтере.

• Добавлена возможность задать громкость для каждого конкретного синтеза речи.

• Добавлена функция блокировки изменения главного для слежения только за одним лицом;

• Добавлено включение робота по расписанию;

• Добавлена поддержка MSS «из коробки»;

• Добавлена новая система поиска QR-меток (используется при поиске зарядной станции).

• Улучшена система распознавания лиц. Распознавание проходит быстрее и точнее. Повышена точность определения демографических и внешних атрибутов. Существенный прирост в скорости отслеживания лица;

• Улучшена работа браузера на сенсорном экране. Добавлены «свайп» жесты.

• Добавлены новые алгоритмы работы подсветки головы;

• Добавлены женские анимации эмоций лицевой матрицы.

• Добавлена поддержка нового джойстика.
• Добавлены новые алгоритмы работы подсветки головы

• .

• Добавлены женские анимации эмоций лицевой матрицы.

• Улучшена оптимизация офлайн распознавания речи. Офлайн распознавание работает стабильнее.

• Добавлена поддержка сканера паспортов. Теперь, при установленном оборудовании, робот может сканировать и распознавать данные паспорта.

• Добавлена поддержка сканера документов. Теперь, при установленном оборудовании, робот может сканировать документы в .pdf файл.

• Добавлен виджет для добавления людей в базу пользователей. С помощью виджета удобнее заполнять базу;

• Добавлен индикатор прогресса при печати фото. Теперь процесс печати фотографии отображается графически;

• Улучшено приложение для SIP-телефонии. Добавлены скрытые звонки (отправка текстового или аудио сообщения по указанному номеру);

• Улучшено приложение знакомства. Переработана логика работы приложения, добавлена функция быстрого знакомства по ключевым словам. Добавлена возможность пройти знакомство заново;

• Улучшена вопросно-ответная система. Сокращены задержки при распознавании речи и получении ответа;

• Улучшена система распознавания лиц. В 2 раза снижена нагрузка на вычислительные ресурсы при распознавании.

• Добавлена новая система определения поддельных лиц. Робот может отличить лицо живого человека от рисунка, а значит снизится число ложных срабатываний;

• Добавлено отображение статуса синхронизации данных. Теперь синхронизация данных оперативно отражается в статусной строке интерфейса;

• Добавлены новые эмоции для лицевой матрицы;

• Выпущена новая версия программного обеспечения для роботов Promobot V2;

• Улучшена система распознавания лиц. Распознавание проходит быстрее и точнее (максимальная точность распознавания теперь достигает 99,92%);

• Улучшена система навигации. Точность передвижения повышена.

• Добавлена новая система офлайн распознавания речи. Улучшилась скорость поиска и точность ответов при отсутствии интернета;

• Добавлена экспериментальная система распознавания на основе нейронной сети. Улучшение ответов на вопросы по заданному тексту, обработанному нейронной сетью;

• Добавлена адаптация направления текста в интерфейсе в зависимости от выбранного языка (актуально для арабских языков);

• Добавлены новые скрипты робота. Увеличено разнообразие доступных движений во время диалога;

• Улучшена логика поиска ответа. Ответы не из интернета теперь приходят гораздо быстрее;

• Улучшена работа датчиков определения препятствий. Доступна более детальная настройка датчиков.

• Улучшена система синтеза речи. Все языки доступны на роботе по умолчанию. Переработан интерфейс выбора языков и синтезов речи;

• Улучшена система навигации.

• Добавлен новый экран тестирования робота. Проверять основные функции робота теперь можно прямо из интерфейса;

• Улучшена работа скриптов. При выполнении скриптов теперь учитываются показания датчиков;

• Улучшены возможности кейсов лингвобазы;

• Улучшена работа с раздатчиком карт.

• Добавлена возможность отключения поиска лица.

• Улучшено отображение gif-анимаций в показе слайдов и превью.

• Улучшен интерфейс приложения телеприсутствия. Добавлена возможность премодерации ответов.

Pagetitle
Robot Promobot V.4 Robot Promobot V.4

Documentation

User Manual (full)

Last up-to-date

ENG: userguide_publication_eng(us)_11.12.2019.pdf USA (2019, December)

RUS: Promobot_V.4_Руководство_пользователя_RUS_04_04_2023.pdf

User Manual (short)

Last up-to-date

RUS: Promobot_V.4_Краткое_руководство_пользователя_RUS_04_04_2023.pdf

Previous versions

User manual for the web interface

Last up-to-date

ENG: Promobot-v4_-_Admin_Web_Interface_02.12.2022.pdf (2022, December)

RUS: Promobot-v4_-Admin_Web_Interface_02.12.2022.pdf (2022, December)

Previous versions