2019:

Инструкция пользователя на русском языке (май 2019)

Инструкция пользователя на английском языке (май 2019)

2018:

Инструкция пользователя на русском языке

Инструкция пользователя на английском языке (май 2018)

2019:

Инструкция для владельца по использованию веб-интерфейса Promobot

Admin Web Interface Guide (December 2019)

2018:

Инструкция для владельца по использованию веб-интерфейса Promobot

Instructions for using the web interface of Promobot (Owner)

Добавлено:

• Добавлена новая логика отъезда от зарядки (проверка, подключен ли робот в данный момент к кабелю) для повышения безопасности.
• Добавлена возможность работы с двумя rfid-считывателями одновременно.
• Добавлены и актуализированы переводы GUI.

Улучшено:

• Ускорена обработка команд модулем синтеза речи.
• Заменено изображение стартового экрана.

Исправлено:

• Устранена часть утечек памяти в GUI при воспроизведении промо.
• Исправлена ошибка сохранения кадра с главным.

Добавлено:

• Создан новый набор talk-скриптов (21 шт), которые используются для жестикуляции во время речи.
• Добавлена поддержка камер подъезда к зарядной станции, отличных от Logitech C270.

Улучшено:

• Обновлены анимации лица робота: заменены эмоциональные и нейтральные эмоции, сердечки, сканирование и стандартное изображение лица.
• Ускорен поиск ответа в лингвобазе.

Важно! В релизе 2.7.0 использование микрофонного массива недопустимо из-за большой задержки в распознавании речи.

Новое:

1. Осуществлен переход на Ubuntu 18.04 для поддержки новых CPU со встроенным графическим ядром

Улучшено:

1. Пеработано приветствие после знакомства.
2. Доработан виджет визуализации калибровки Hark:
   
   • Изменен порядок подразделов в меню настроек.
   • Добавлена блокировка пункта "Микрофонный массив", если выбран другой источник для аудиозахвата.
   • Добавлена возможность регулирования чувствительности микрофона с джойстика.
3. Улучшено качество распознавания с микрофонного массива.

Исправлено:

1. Исправлен сбой gui при многократном клике по крестику в JS example.
2. Исправлена ошибка логирования gui, когда при выбранном обычном микрофоне отображалась информация, будто выбран микрофонный массив.
3. Исправлена ошибка, при которой не сохранялся способ установки громкости синтеза.
4. Добавлены недостающие переводы в GUI и в приложение знакомства.

Добавлено:

1. Добавлено считывание мультиформатных карт.
2. Добавлены новые режимы работы считывателя RFID.
3. Добавлено управление фильтром детектирования лиц через параметр.
4. Добавлена обработка нажатия на кнопку закрытия приложения отправки на зарядку.
5. Добавлено два параметра для управления виджетом показа видеопотока:
   • Вкл/Выкл отображение виджета на главном экране.
   • Вкл/Выкл автоматический показ видеопотока при наличии лиц.

6. Добавлен виджет показа даты/времени в статусной строке GUI. Для виджета создано два параметра:

   • Видимость виджета.
   • Формат отображения даты/времени.

7. Для ускорения работы распознавания лиц добавлены параметры для отключения некоторых опций:

   • Параметр для использования детектора пола и возраста.
   • Параметр количества кадров для начала детекции «живого» лица.
   • Параметр для включения оптимизации периода детекции.
   • Параметр для детектирования быстрых перемещений лиц.

Улучшено:

1. Доработан модуль оплаты для работы со скидками:
   • Печать нефискальных документов (текст, QR-код).
   • Добавлено указание размера скидки для позиций (информационной поле).
   • Работа с пинпадом 2can (ВТБ).

2. Изменен запуск телеопа в GUI 2.5. Стабильное открытие телеопа при запуске робота, притом остальная работа робота не блокируется.

3. Ускорено добавление лиц во временную базу.
4. Уменьшена нагрузка на face_manager в простое без смены анимаций.

Исправлено:

1. Исправлена ошибка GUI при перезагрузке с отправкой на зарядку.
2. Исправлены ошибки при открытии ссылок в 2ГИС.
3. Исправлена ошибка, при которой не отключалась возможность распознавания лиц.

Добавлено:

1. Добавлены push уведомления. Реализованы три типа push уведомлений:

• • Робот использовал нераспознанную фразу;
  • Робот не может двигать руками из-за сработавших датчиков;
  • Робот застрял при передвижении.

1. Добавлена возможность массовой загрузки новых пользователей через инструмент обучения лиц.
2. Добавлен Азербайджанский синтез речи.
3. Добавлена возможность переключения языка голосовой командой.

Улучшено:

1. Улучшена работа слежения за лицом по источнику звука.
2. Улучшена работа системы распознавания лиц.
3. Улучшена оптимизация aibox.

Исправлено:

1. Исправлена ошибка, из-за которой при использовании расписания включения, выбор опции «повторять каждый день/по будням» приводил к некорректной загрузке расписания.
2. Исправлена ошибка, из-за которой после перезнакомства данные о пользователе не попадали на других роботов владельца.
3. Исправлена ошибка, из-за которой робот мог принимать некоторые сетевые устройства за лидар.
4. Исправлена ошибка, из-за которой иногда робот отвечал на предпоследний вариант распознавания.
5. Исправлена ошибка, из-за которой при включенном взаимодействии по лицу и отключенных других условиях начала взаимодействия, возникала некорректная работа взаимодействия.
6. Исправлена ошибка, из-за которой при потере лица голова робота не возвращалась в начальное положение.

Добавлено:

1. Добавлена настройка калибровки микрофонного массива в системное меню.

2. Добавлено видео, воспроизводимое при печати фото.

3. Добавлено изменение порядка уровней лингвобазы через веб-интерфейс.

4. Добавлен параметр, запрещающий отключение микрофона.

5. Добавлена возможность записывать в файл аудиопоток, отправляемый на распознавание.

6. Добавлена возможность смены языка через виджет на главном экране робота.

7. Добавлена возможность привязки приветствия к определённому человеку.

Улучшено:

1. Изменена логика работы категорий реплик. Робот теперь умеет работать с категориями реплик помимо категории по умолчанию.

2. В JS приложениях реализованы непрерываемые реплики.

Исправлено:

1. Исправлена ошибка, из-за которой робот не возвращал голову в исходное положение после исчезновения лица, если поворот был выполнен при обнаружении лица широкоугольной камерой, но лицо при этом исчезло до обнаружения основной камерой;

2. Исправлена ошибка, из-за которой робот отвечал дважды при включённых VAD и AEC.

3. Актуализирована заставка при включении робота.

4. Исправлена ошибка, возникающая при попытке обучения лица с отрицательным ID.

5. Исправлена ошибка, из-за которой сигнал с микрофонного массива не отключался при запуске видео.

6. Исправлена ошибка, из-за которой робот следил за лицом, когда не запущено взаимодействие.

Добавлено:

1. Анимации подмигивания во время разговора.

2. Добавлена проверка подключения к зарядке после автовозврата. Если спустя несколько секунд после установки на зарядку робот не подключен к источнику питания, будет выполнена повторная установка на зарядку.

Улучшено:

1. Переработан виджет сервисного меню для подключения к WiFi.

2. Обработка сброса одометрии при перезагрузке VESC.

3. Расширены возможности выдачи карт в JS.

4. Параметр включения/выключения уведомления о статусе подключения оператора добавлен в сервисное меню робота;

5. Улучшена точность локализации источника звука и распознавания речи при использовании микрофонного массива за счёт настройки параметров.

Исправлено:

1. Исправлена ошибка, из-за которой робот не возвращал голову в исходное положение после исчезновения лица, если поворот был выполнен при обнаружении лица широкоугольной камерой, но лицо при этом исчезло до обнаружения основной камерой.

2. Исправлена ошибка, из-за которой таймаут показа промо применялся только при добавлении промо.

3. Исправлены ошибки в работе SIP.

Добавлено:

1. Добавлена возможность настраивать несколько обращений к неизвестным лицам. Используемое обращение определяется случайным образом из списка.
2. Добавлен новый алгоритм хаотичного передвижения. Алгоритм включает следующие особенности:
   
   • Теперь робот выбирает точку на карте в заданном радиусе и едет к ней.
   • Точка не может быть дальше определённого радиуса или ближе определенного значения.
   • Новая точка не может быть в том же секторе, что и предыдущая точка (угловое расстояние в радиальной системе координат с центром в центре хаотичного движения, не может быть меньше, чем 30 градусов).
   • В случае неудачной попытки движения к точке, робот выбирает новую.
   • После трех попыток, робот едет в центр хаотичного движения.
   • Если нет ограничения по радиусу, то робот выбирает точку в случайном направлении и пытается туда ехать.
3. Добавлена возможность назначения центральной точки для радиуса передвижения.
4. Теперь комбинация LB+RB будет переводить робота в режим сохранения точки хаотичного движения.
5. В режиме сохранения робот ищет маркер стыковки и, в случае его обнаружения, запоминает точку.
6. После удачной попытки сохранения, робот возвращается в исходное состояние, то в котором он находился до перехода в режим.
7. В случае неудачной попытки, робот переходит в паузу, ожидая человеческого вмешательства.
8. Добавлен новый алгоритм определения главного. При определении учитывается положение лица относительно робота и остальных лиц в кадре;
9. Добавлена поддержка нового термопринтера.
10. Добавлены виземы злости и удивления.
11. Добавлена общая база лиц. Поиск по общей базе использует дескрипторы всех известных лиц для сравнения. Сравнение с лицами из общей базы использует более высокий порог совпадения лиц.
12. Добавлены новые оповещения в систему мониторинга, которые возникают, когда в роботе заканчивается бумага для принтера или карты в раздатчике. Настроена передача уведомлений через Telegram бота.
13. Добавлена защита от автоматического передвижения с подключенным кабелем питания.
14. Добавлена возможность отключения поворота головы робота при слежении за лицом.
15. Добавлена возможность приёма карт диспенсером.
16. Добавлена возможность учёта датчиков при управлении роботом через Teleop.
17. Добавлен сброс параметров к значению по умолчанию кнопкой в сервисном меню.

Улучшено:

1. Расширены возможности приложения для обучения лиц.

2. Улучшена стабильность в работе Teleop.

3. Произведён рефакторинг SDK.

4. Улучшена работа оффлайн распознавания aibox на роботах с микрофонным массивом.

5. Улучшена работа функции автоматического возврата на зарядную станцию.

6. Улучшена работа безопасных рук.

7. Улучшена функция исправления произношения.

Исправлено:

1. Исправлена проблема загрузки памяти из-за web_video_service.

2. Исправлена проблема переключения распознавания, из-за которой робот продолжал распознавать фразы на русском, после переключения на другой язык.

3. Исправлена проблема, из-за которой запуск интерфейса по расписанию мог быть произведён некорректно.

4. Исправлены проблемы в работе безопасных рук.

5. Исправлена проблема, из-за которой иногда возникала ошибка при поиске в лингвобазе.

6. Исправлена проблема в работе Lidar.

7. Исправлена ошибка, из-за которой иногда при восстановлении интернет-соединения робот не переключался с оффлайн распознавания.

8. Исправлена ошибка, из-за которой робот мог поехать в авто режиме даже во время взаимодействия.

9. Исправлена ошибка, из-за которой происходили резкие движения головы после восстановления рук.

10. Исправлена ошибка, из-за которой иногда не работало восстановление рук, после их остановки по датчикам.

11. Исправлена ошибка, из-за которой проверка китайского синтеза работала некорректно.

12. Исправлена проблема, из-за которой робот не выезжал из узких мест при возникновении пограничного состояния датчиков.

13. Исправлена ошибка, из-за которой не работало ограничение на количество попыток стыковки с зарядной станцией.

14. Исправлена ошибка, из-за которой робот при отключении поиска человека продолжал ехать в последнюю обнаруженную позицию.

15. Исправлена ошибка, из-за которой робот не продолжал движение по навигации, если был установлен на зарядную станцию вручную (не выключая авто режим).

16. Исправлена ошибка, из-за которой робот оставался на паузе после окончания взаимодействия, если пауза была вызвана взаимодействием во время передвижения, а во время взаимодействия любой скрипт был прерван по датчикам.

Добавлено:

1. Добавлена проверка на принадлежность к базе знаменитостей во время процедуры знакомства лица.
   Подробнее:

   1. Во время знакомства теперь происходит проверка источника информации о лице.
   2. Лица из базы знаменитостей нельзя изменять через процедуру знакомства.
   3. При попытке выполнить знакомство лица из базы знаменитостей, робот выдаст ошибку.
      
      
2. Добавлена поддержка сканера отпечатка пальца.

Улучшено:

1. Снижено время ответа от робота.
   Подробнее:

   1. Снижена нагрузка на систему за счёт сокращения fps FishEye камеры с 25 до 10, сокращения битрейта основной камеры на устройстве АйТек.
   2. Снижена нагрузка на систему за счёт снижения затрат ресурсов на анализ эмоций.  Теперь анализ эмоций производится только у главного и с частотой 1 раз в секунду.
   3. Распознавание лиц теперь задействует в 2 раза меньше ресурсов.
   4. Снижение частоты кадров при повышенной загрузке.
   5. Снижена задержка между получением ответа и началом синтеза за счёт запуска Wine при старте TTS.
   6. Сервис TTS перенесён в топик, сокращены задержки на передачу сигнала синтеза речи.
   7. Добавлено кеширование правил для снижения количества запросов к лингвобазе.
   8. Добавлен многопоточный поиск ответа в лингвобазе.

Исправлено:

1. Исправлена ошибка, из-за которой окно фотоприложения в «промо при печати» не закрывалось, если в нём не было промо изображений.
2. Исправлена проблема, из-за которой функция разделения экрана в VNC не работала с новым Wi-Fi адаптером.
3. Исправлена часть проблем, из-за которых происходила утечка памяти.
4. Исправлена ошибка, из-за которой по умолчанию было включено прерывание фраз.
5. Исправлена ошибка, из-за которой некорректно обрабатывались якоря.
6. Исправлена проблема с повторным произношением фраз.

Добавлено:

1. Добавлена регулировка времени ожидания загрузки всех систем робота.
2. Добавлены новые возможности по контролю доступа в сервисное меню.
   Подробнее:
   1. Добавлен обязательный ввод пароля при входе в сервисное меню со стартового экрана робота.
   2. Добавлена возможность ограничить количество попыток ввода пароля и соответствующий параметр: robot_settings/access_control/maxInputAttempts.
   3. Добавлена блокировка входа в систему при достижении заданного количества неудачных попыток ввода.
   4. Время блокировки устанавливается параметром: robot_settings/access_control/restrictTime.
   5. Таймаут сброса неудачных попыток задаётся параметром: robot_settings/access_control/timeoutAttempts.
3. Добавлена поддержка RFID считывателей.
4. Возобновление выполнения скриптов Motion Studio после остановки по датчикам.
5. Добавлена возможность настройки прерывания фразы микрофонным массивом.
6. Добавлена возможность запуска взаимодействия при срабатывании микрофонного массива.

Улучшено:

1. Повышена детализация рамок для фото.
2. Часть старых эмоций заменена на виземы.
3. Убран показ лого Promobot в непустых слайдшоу.
4. Изменена логика работы приложения знакомства.
   Подробнее:
   1. Для знакомства, робот по умолчанию выбирает последнего главного пользователя.
   2. Процесс сохранения лица в базу происходит иначе.
   3. Новый параметр для списка слов, которые можно использовать вместо нажатия кнопки далее: /basic/nextWords.
5. Обновлена система распознавания лиц.
   Подробнее:
   1. Существенный прирост точности идентификации (всех 3 алгоритмов).
   2. Существенное ускорение слежения за лицом.
   3. Небольшое повышение точности классификации демографии и внешних атрибутов.
6. Доработан алгоритм обработки ложных срабатываний системы распознавания лиц во время навигации.

Исправлено:

1. Исправлена ошибка, из-за которой значение чувствительности УЗ датчиков не применялось при перезапуске робота.
2. Исправлена ошибка, из-за которой, после выполнения команд с джойстика, робот не мог двигать руками и головой.
3. Исправлена ошибка, из-за которой робот сообщал о низком заряде батареи, даже после установки на зарядку.
4. Исправлена ошибка, из-за которой робот не всегда выдавал карту.
5. Исправлена ошибка, из-за которой термопринтер выдавал некорректный результат при печати нескольких файлов подряд.
6. Исправлена ошибка, из-за которой робот не поворачивал при езде задом, даже при сработавших датчиках.
7. Исправлена ошибка, из-за которой робот мог поехать на зарядку с поднятой рукой.
8. Исправлена ошибка, из-за которой иногда не отображалось окно «Информация о соединении» в меню подключений робота.
9. Исправлена ошибка, из-за которой имена файлов, состоящие только из цифр, некорректно отображались в системе.

Добавлено:

1. Использование возможностей микрофонного массива в диалоге. Локализация людей по звуку. Разделение диалога при общении с несколькими людьми. Прерывание речи робота с помощью систем VAD и AEC. Подавление шумов.
2. Настройка масштаба при кадрировании распознанного лица.
3. Включение и выключение робота по расписанию.
4. Запрос правильного произношения имени и отчества в базе.

Исправлено:

1. Неработающая функция перезнакомства.
2. Ошибка, из-за которой робот мог не сбросить положения серв и актуатора при возврате на зарядку.
3. Медленное переключение распознавания речи при отсутствии интернета.
4. Проблема при добавлении лиц через виджет.
5. Повышенное использование памяти при переключении языка.
6. Ошибка в статусе периферии.

Добавлено:

1. Обновлённая система спикера. Появилась возможность продолжить произношение прерванной реплики с момента прерывания. Появилась функция визем для синхронизации анимации лица робота с синтезом речи.
2. Обновлённая навигация.
3. Возможность прерывания скриптов по нажатию на кнопку «микрофон».
4. Возможность регулировать громкость в промо при печати.
5. Функция хранения дескрипторов и фотографий посетителей в БД.
6. Функция создания макросов и система справочников в БД.
7. Функция включения робота по расписанию.
8. Светлая тема клавиатуры.

Улучшено:

1. Система офлайн распознавания речи. Распознавание проходит быстрее и точнее. Новый декодер.
2. Алгоритм переключения с основной системы распознавания речи на резервную.

Исправлено:

1. Нестабильная работа системы распознавания лиц при распознавании эмоций.
2. Поиск по синонимам в БД останавливался на первом успешном.
3. Нестабильная работа в меню промо-материалов при добавлении картинки в слайдшоу.

- Добавлена возможность печатать HTML файлы на чековом принтере.

- Добавлена возможность задать громкость для каждого конкретного синтеза речи.

- Добавлена функция блокировки изменения главного для слежения только за одним лицом;

- Добавлено включение робота по расписанию;

- Добавлена поддержка MSS «из коробки»;

- Добавлена новая система поиска QR-меток (используется при поиске зарядной станции).

- Улучшена система распознавания лиц. Распознавание проходит быстрее и точнее. Повышена точность определения демографических и внешних атрибутов. Существенный прирост в скорости отслеживания лица;

- Улучшена работа браузера на сенсорном экране. Добавлены «свайп» жесты.

- Добавлены новые алгоритмы работы подсветки головы;

- Добавлены женские анимации эмоций лицевой матрицы.

- Добавлена поддержка нового джойстика.

Добавлены новые алгоритмы работы подсветки головы;

- Добавлены женские анимации эмоций лицевой матрицы.

- Улучшена оптимизация офлайн распознавания речи. Офлайн распознавание работает стабильнее.

- Добавлена поддержка сканера паспортов. Теперь, при установленном оборудовании, робот может сканировать и распознавать данные паспорта.

- Добавлена поддержка сканера документов. Теперь, при установленном оборудовании, робот может сканировать документы в .pdf файл.

- Добавлен виджет для добавления людей в базу пользователей. С помощью виджета удобнее заполнять базу;

- Добавлен индикатор прогресса при печати фото. Теперь процесс печати фотографии отображается графически;

- Улучшено приложение для SIP-телефонии. Добавлены скрытые звонки (отправка текстового или аудио сообщения по указанному номеру);

- Улучшено приложение знакомства. Переработана логика работы приложения, добавлена функция быстрого знакомства по ключевым словам. Добавлена возможность пройти знакомство заново;

- Улучшена вопросно-ответная система. Сокращены задержки при распознавании речи и получении ответа;

- Улучшена система распознавания лиц. В 2 раза снижена нагрузка на вычислительные ресурсы при распознавании.

- Добавлена новая система определения поддельных лиц. Робот может отличить лицо живого человека от рисунка, а значит снизится число ложных срабатываний;

- Добавлено отображение статуса синхронизации данных. Теперь синхронизация данных оперативно отражается в статусной строке интерфейса;

- Добавлены новые эмоции для лицевой матрицы;

- Выпущена новая версия программного обеспечения для роботов Promobot V2;

- Улучшена система распознавания лиц. Распознавание проходит быстрее и точнее (максимальная точность распознавания теперь достигает 99,92%);

- Улучшена система навигации. Точность передвижения повышена.

- Добавлена новая система офлайн распознавания речи. Улучшилась скорость поиска и точность ответов при отсутствии интернета;

- Добавлена экспериментальная система распознавания на основе нейронной сети. Улучшение ответов на вопросы по заданному тексту, обработанному нейронной сетью;

- Добавлена адаптация направления текста в интерфейсе в зависимости от выбранного языка (актуально для арабских языков);

- Добавлены новые скрипты робота. Увеличено разнообразие доступных движений во время диалога;

- Улучшена логика поиска ответа. Ответы не из интернета теперь приходят гораздо быстрее;

- Улучшена работа датчиков определения препятствий. Доступна более детальная настройка датчиков.

- Улучшена система синтеза речи. Все языки доступны на роботе по умолчанию. Переработан интерфейс выбора языков и синтезов речи;

- Улучшена система навигации.

- Добавлен новый экран тестирования робота. Проверять основные функции робота теперь можно прямо из интерфейса;

- Улучшена работа скриптов. При выполнении скриптов теперь учитываются показания датчиков;

- Улучшены возможности кейсов лингвобазы;

- Улучшена работа с раздатчиком карт.

- Добавлена возможность отключения поиска лица.

- Улучшено отображение gif-анимаций в показе слайдов и превью.

- Улучшен интерфейс приложения телеприсутствия. Добавлена возможность премодерации ответов.