Общая информация

Термины и определения

Телеприсутствие – сеанс удалённого управления роботом.

Сервис – сервис телеприсутствия Promobot.

Робот – робот Promobot, используемый в рамках телеприсутствия.

Оператор – человек, использующий сервис телеприсутствия.

Пользователь – человек, взаимодействующий с роботом.

Аккаунт – учётная запись для авторизации в сервисе, предоставляемая оператору в индивидуальном порядке компанией Promobot.

Синтез речи – преобразование текста в аудиозапись, которая содержит представление исходного текста в форме человеческой речи, с последующим её воспроизведением.

Взаимодействие – состояние робота, в которое он переходит в момент начала общения с пользователем. Взаимодействие начинается при получении звукового сигнала на микрофоне робота, при обнаружении человека камерой или датчиками или при нажатии на экран робота.

Список событий, вызывающих начало взаимодействия, может различаться в зависимости от настроек робота.

Эмоция – анимированное изображение на лицевом экране робота (светодиодный экран на голове робота), отражающее определённую эмоцию.

Режим движения – состояние работы алгоритмов автономного передвижения робота. В любой момент времени робот находится в одном из двух режимов:

• • Автоматический (Auto) – режим автономного передвижения. В этом режиме робот способен перемещаться самостоятельно.
  • Ручной (Manual) – режим ручного передвижения. В этом режиме робот перемещается только по команде от оператора.

Режим управления – состояние, определяющее уровень контроля оператора над роботом. В рамках телеприсутствия робот находится в одном из двух режимов:

• • Частичный контроль – режим, при котором контроль оператора над роботом осуществляется одновременно с работой алгоритмов взаимодействия робота.
  • Полный контроль – режим, при котором алгоритмы взаимодействия робота отключаются, происходит переключение в ручной режим передвижения, а робот при этом действует только по команде оператора. 

Назначение и возможности сервиса

Данный сервис предназначен для удалённого мониторинга и управления роботами Promobot. Управление роботом можно осуществлять в двух режимах: частичного контроля и полного контроля. В режиме частичного контроля действия оператора будут дополнять действия робота, выполняемые им автоматически. В режиме полного контроля отключаются все автономные действия робота, за исключением распознавания речи.

Сервис предоставляет одному или нескольким операторам возможность управления одним или несколькими роботами одновременно. Одним роботом одновременно может управлять только один оператор, при этом один оператор может управлять одновременно несколькими роботами. Чтобы управлять роботом, необходимо захватить управление, блокируя эту возможность для других операторов. В этом случае, другим операторам будет доступен только просмотр состояния робота, равно как и состояний роботов, которые управляются в полностью автоматическом режиме.

Сервис предоставляет оператору следующие возможности:

(для всех имеющихся роботов)

• • Отслеживание состояния;
  • Просмотр диалогов между роботом и пользователями, а также команд оператора;
  • Просмотр изображений с камер и экрана робота;

(для роботов, управление которыми взято оператором)

• • Передача звука с микрофона оператора на динамики робота;
  • Передача данных с веб-камеры оператора на экран робота;
  • Произношение фраз от лица робота;
  • Отображение эмоций на лицевом экране робота;
  • Выполнение движений;
  • Выдача талонов, печать чеков, фотосьемка и печать фотографий (при наличии соответствующего оборудования);
  • Вывод веб-страниц на экран;
  • Перемещение робота в пространстве.

Требования к рабочему месту оператора

Стабильная работа сервиса возможна при соблюдении следующих условий:

• • Широкополосный доступ в интернет со скоростью не менее 4 Мбит/с;
  • Браузер Google Chrome версии не ниже 76.0 или Firefox версии не ниже 68.0;
  • Веб-камера (опционально, требуется при использовании трансляции изображения от оператора);
  • Микрофон (опционально, требуется при трансляции звука от оператора, а также для голосового ввода).

Условия использования сервиса и обязанности оператора

Сервис предоставляется исключительно с целью удалённого управления роботом, а также мониторинга состояния роботов. Сервис запрещено использовать с целью негласного сбора данных, в том числе: записи видео, аудио или текстовой информации без предварительного на то разрешения. При использовании сервиса нужно учитывать законодательные ограничения страны, где находится робот. Передача прав на использование сервиса не допускается.

До начала использования сервиса оператор должен быть уведомлен, что при использовании функций перемещения робота и движений, есть риск повреждения робота, а также причинения вреда здоровью окружающих людей и/или повреждения имущества. Ответственность за действия, совершаемые роботом во время управления, несёт оператор.

Оператор обязан:

• • Использовать сервис только по прямому назначению;
  • Учитывать законодательные ограничения страны, где находится робот;
  • При использовании сервиса телеприсутствия руководствоваться правилами эксплуатации и требованиями, прописанными в технической документации;
  • В случае возникновения ошибки в работе сервиса, прекратить его использование, а также сообщить о возникшей ошибке в техническую поддержку Promobot;
  • Оперативно сообщать в техническую поддержку Promobot об утрате доступа к личному аккаунту оператора.

Экран авторизации

Вход в систему

При переходе на страницу сервиса перед вами появится экран авторизации.

Экран авторизации оператора в сервисе

В верхнем правом углу экрана расположено меню выбора языка интерфейса. Чтобы сменить язык интерфейса, нажмите на текущий язык, а затем выберите нужный язык в выпадающем списке.

Список доступных языков интерфейса

Для входа в систему требуется ввести свой логин и пароль в соответствующие поля, а затем, для подтверждения действия, нажать кнопку «Войти».

Кнопка «Войти» станет активна только после ввода данных для входа

Если логин и пароль введены правильно, откроется основной экран сервиса (описан в 3 разделе).

При введении неправильного сочетания логина и пароля, поля ввода будут выделены красной рамкой, под полями ввода появится соответствующее уведомление.

Уведомление о неверно введённых данных авторизации

Восстановление пароля

В случае, если пароль от аккаунта оказался утрачен или скомпрометирован, рекомендуем воспользоваться функцией восстановления пароля (кнопка «Восстановить пароль»).

Форма ввода адреса электронной почты для отправки сообщения с инструкцией по восстановлению аккаунта

В открывшемся окне введите адрес электронной почты, который указан в параметрах аккаунта, после чего нажмите кнопку «Отправить».

Кнопка «Отправить» станет активна только после ввода адреса электронной почты

Основной экран

Сразу после авторизации загружается основной экран сервиса. Пока не будет выбран один из роботов, все поля, за исключением панели управления и панели оператора, будут оставаться неактивными.

Главный экран до выбора робота через панель управления роботами

Основной экран разделён на несколько функциональных элементов:

Функциональные элементы основного экрана после выбора робота

Панель оператора

Панель оператора позволяет управлять Вашим аккаунтом оператора. На панели располагается изображение профиля, кнопки включения/выключения микрофона и веб-камеры оператора.

При нажатии на изображение профиля открывается выпадающее меню.

Выпадающее меню при нажатии на профиль оператора

Нажатие на пункт меню «Настройки профиля» откроет окно редактирования настроек профиля оператора.

Окно настройки профиля оператора

В настройках оператора указаны имя, контактный Email и номер телефона оператора. Также в настройках отображаются данные для авторизации и язык локализации интерфейса. Оператор не может изменять Email, логин и пароль.

Нажатие на пункт меню «Выйти» завершает работу оператора с сервисом. Перед завершением работы появится окно подтверждения выхода из системы.

Подтверждение выхода из системы

Панель управления роботами

Панель управления роботами содержит список всех доступных оператору роботов. Для каждого робота в списке отображается следующая информация:

Обозначения на панели управления роботами

            Получить доступ к настройкам можно из меню робота, для этого требуется нажать на соответствующую кнопку (см. выше). В открывшемся меню следует выбрать пункт «Настройки».

Меню робота, в нижней части которого расположен пункт «Настройки»

Меню доступно, даже если робот в данный момент не находится под Вашим контролем.

Настройки робота позволяют сменить язык общения, выполнить калибровку подвижных узлов робота, а также их проверку

Окно закрывается нажатием на «Крестик» в правом верхнем углу.

Панель захвата управления

Чтобы начать управление роботом, выберите его на панели управления, а затем нажмите кнопку «Принять управление», расположенную на панели захвата управления. Обратите внимание, что принять управление можно только в том случае, если в данный момент роботом никто не управляет. Робот, за которым Вы в данный момент наблюдаете (для наблюдения необязательно брать робота под контроль), выделен на панели синим цветом.

Кнопка «Принять управление» активна и позволяет взять робота под контроль

Чтобы получить контроль над роботом, уже находящимся под управлением другого оператора, тот оператор должен передать Вам контроль над роботом или завершить его.

Для завершения управления роботом и его перевода в автономный режим следует выбрать соответствующий пункт в меню робота (меню робота подробнее описано в пункте 3.2). Перед завершением управления требуется подтвердить действие во всплывающем окне.

Окно подтверждения при завершении контроля над роботом

Передать контроль можно нажатием соответствующей кнопки в верхней части экрана.

Кнопка «Передать управление» становится активна после взятия робота под контроль

Переключатель «Полный контроль» позволяет отключить фразы и действия, выполняемые роботом самостоятельно.

Переключатель «Полный контроль» в выключенном положении, поэтому робот продолжает отвечать на фразы пользователей, приветствовать, говорить промофразы, выполнять движения и другие действия, доступные ему в автономном режиме работы

Панель чата

В чате отображаются команды оператора, статус выполнения команд, системные сообщения, а также распознанные фразы пользователей.

В верхней части панели расположена строка поиска. Нажатие на строку открывает фильтр сообщений и поле ввода строки поиска.

Во вкладке «Все» отображаются сообщения всех типов

Фильтр сообщений позволяет выбрать один или несколько типов сообщений в чате, по которым будет осуществляться поиск. По умолчанию, в фильтре выбраны все типы сообщений.

Поиск по всем сообщениям

Сообщения слева – фразы пользователей, распознанные роботом. В заголовке текстового облака указывается имя пользователя, если он представился роботу.

Фильтр просмотра сообщений только от пользователей

Сообщения справа – являются командами оператора или фразами, которые произнёс робот. Команды оператора и самостоятельно сгенерированные фразы робота отличаются цветом текстового облака и дополнительно подписаны в его заголовке. Информация о командах, доступных оператору, приведена в пункте 3.5. Сообщение оператора можно пометить как избранное, для этого требуется нажать на иконку звёздочки в правом верхнем углу текстового облака. Избранные сообщения отображаются в соответствующем разделе панели команд (см. пункт 3.5.4).

Фильтр просмотра сообщений только от робота

Фильтр просмотра сообщений только от оператора

Системные сообщения располагаются в центре окна и окрашены серым цветом. К системным сообщениям, например, относятся оповещения о взятии робота под контроль и завершении сеанса контроля.

Фильтр просмотра только системных сообщений

Синим окрашены статусные сообщения о выполнении скрипов или эмоций, вызванных командами оператора.

Красным выделяются ошибки, возникшие при выполнении команд оператора.

Каждое сообщение в окне чата имеет привязку ко времени. Время отображается слева от сообщения или под ним.

Панель команд

Панель команд позволяет оператору передавать роботу команды в форме текстовых сообщений.

Пример ввода команды

Область панели разделена на две части:

Командная строка представляет собой поле ввода команд.

Команда представляет собой текст вида:

<Команда>: <Действие/текст/эмоция>

Список доступных команд:

Для отправки команды требуется нажать синюю стрелку справа от строки ввода команды или нажать Enter на клавиатуре.  Очистка поля ввода выполняется нажатием на клавишу Esc.

Строка выбора типа команды содержит кнопки разделов для различных типов команд.

Раздел команд «Речь»

Нажатие на кнопку «Речь» открывает раздел выбора фразы из ранее сохраненных или набора новой одним из способов.

Раздел содержит список фраз оператора, которые он сохранил ранее. При клике по облаку с фразой она попадет в командную строку. Нажатие на «крестик» справа от фразы приведет к ее удалению из списка. Добавление фразы из поля ввода в список сохраненных происходит по нажатию на кнопку «+». Фразу в поле ввода можно ввести с клавиатуры и с помощью записи голоса. Для записи голоса необходимо, чтобы рабочее место оператора было оснащено микрофоном. Запись и распознавание фразы происходит, пока нажата кнопка с микрофоном, после прекращения нажатия фраза появится в поле ввода.

Кнопка выбора языка отображает язык, для которого будет происходить синтез речи.

Кнопка воспроизведения озвучивает фразу синтезом робота.

Кнопка подтверждения добавляет фразу в командную строку.

Раздел команд «Эмоции»

Нажатие на кнопку «Эмоции» открывает раздел выбора эмоций для отображения на лицевом экране робота.

При наведении на изображение эмоции, отображается её название. При нажатии на изображение, соответствующая команда будет добавлена в командную строку.

Раздел команд «Действия»

Нажатие на кнопку «Действия» открывает раздел выбора стандартных движений робота.

Нажатие на действие добавит соответствующую команду в строку команд.

При использовании некоторых функций данного раздела следует учитывать риск повреждения робота, а также причинения вреда здоровью окружающих людей и/или повреждения имущества. Ответственность за действия, совершаемые роботом, несёт оператор.

Раздел команд «Избранное»

Нажатие на кнопку «Избранное» открывает раздел избранных команд.

Раздел содержит ранее использованные команды, которые были помечены как избранные (звездочкой). Подробнее о добавлении команды в избранное можно узнать в пункте 3.4.

Нажатие на команду добавит её в командную строку. Удалить команду из списка избранных можно нажатием на крестик в правой части облака с командой (потребуется подтвердить удаление в диалоговом окне).

Для команд данного раздела можно назначить «горячие» клавиши (Alt + _). В правом верхнем углу облака с командой располагается кнопка назначения сочетания клавиш для команды (карандаш). При нажатии на нее появится поле для назначения буквы (A-Z) или цифры (0-9), которая в сочетании с Alt отправит команду сразу на исполнение, минуя командную строку. При вводе символа, который уже задействован, поле окрасится красным, недопустимые символы не будут пропечатаны. Если сочетание свободно, рядом с полем ввода появится галочка, при нажатии на которую сочетание будет сохранено. Для отмены сохранения достаточно кликнуть мышью в любом месте на экране.

Раздел команд «Выдача»

Нажатие на кнопку «Выдача» открывает раздел выдаваемых материалов.

Для выдачи доступны талоны, карты или фотографии. По нажатию, выбранная команда будет добавлена в командную строку. Выполнение команды приведет к выдаче талона, карты или фотосьемке (с головной камеры робота) с последующей выдачей фотографии.

При отсутствии в комплектации робота соответствующих устройств меню выдачи будет ограничено. Если по какой-то причине выдача невозможна, например, отсутствует бумага или тонер в принтере, то соответствующее системное сообщение будет выведено в чат (подробнее можно узнать в пункте 3.4).

Кнопка добавления талона позволяет добавить новый талон в виде файла в формате html. Удаление доступно по «крестику».

Раздел команд «Экран»

Нажатие на кнопку «Экран» открывает раздел вывода веб-страниц на экран робота.

Данный раздел позволяет вывести заданную веб-страницу на экран робота, а также содержит список сохраненных веб-страниц.

Чтобы вывести ресурс на экран робота, введите его URL-адрес в поле ввода или выберите нажатием на облако с адресом из списка ранее сохранённых. Отправка адреса из поля ввода в командную строку происходит по нажатию на кнопку подтверждения справа от поля ввода.

Чтобы сохранить адрес для последующего использования, нажмите на кнопку «+» слева от поля ввода.

Ручное управление

Нажатие на кнопку «Ручное управление» включает режим ручного управления передвижением робота. Описание работы в ручном режиме - в разделе 4. Переход в режим ручного управления невозможен, пока робот находится на зарядке.

Кнопка ручное управление неактивна, так как робот находится на зарядке

Панель информации о пользователе

Панель содержит информацию о пользователе, с которым робот общается в данный момент. Панель отображается, только если перед роботом есть лицо. К отображаемой информации о пользователе относятся: изображение лица из базы, имя, идентификатор в базе, пол и возраст, определяемые на основании распознавания лица.

Виджеты

Справа от кнопки «Ручное управление» расположена кнопка управления виджетами, нажатие на которую открывает выпадающий список. В выпадающем списке можно выбрать виджеты, которые будут отображаться на панели.

Камера: голова

Виджет предназначен для трансляции изображения с камеры на голове робота. Под изображением расположены кнопки управления положением головы.

Кнопки управления головой становятся активными только после получения контроля над роботом

Кнопки со стрелками поворачивают голову (изменяют ее наклон) в соответствующую сторону, кнопка в центре возвращает голову робота в центральное положение.

Нажатие на кнопку в верхнем правом углу виджета развернёт его на полный экран.

Виджет «Камера: голова» в полноразмерном режиме

Чтобы свернуть виджет обратно, требуется нажать на «крестик» в правом верхнем углу окна.

Камера: корпус

Виджет предназначен для трансляции изображения с камеры на торсе робота.

Аналогично виджету из прошлого пункта, данный виджет можно развернуть на полный экран:

Виджет «Камера: корпус» в полноразмерном режиме

Экран

Виджет предназначен для трансляции изображения с экрана робота. Кнопки в нижней части виджета позволяют включить передачу звука и видео от оператора к роботу.

Аналогично виджету из прошлого пункта, данный виджет можно развернуть на полный экран:

Виджет «Экран» в полноразмерном режиме

Карта

Виджет предназначен для просмотра навигационной карты робота и определения его местоположения в пространстве. Виджет доступен при наличии загруженной карты помещения и соответствующего оборудования на роботе.

Аналогично виджету из прошлого пункта, данный виджет можно развернуть на полный экран.

Режим ручного управления

Чтобы перейти в ручной режим управления роботом, требуется нажать кнопку «Ручное управление» на главном экране сервиса. При переходе в режим ручного управления, робот переключается из автоматического режима движения (Auto) в ручной режим (Manual) и остаётся в нём до выхода на главный экран (состояние робота отобразится для всех операторов на боковой панели управления).

Экран ручного управления роботом

Режим ручного управления позволяет оператору перемещать робота с помощью управляющих кнопок. Перемещение осуществляется кнопками в соответствующем виджете (пункт 4.4).

На данном экране, аналогично главному, есть панель оператора, панель управления роботами и панель виджетов. Возможности панели оператора полностью совпадают с таковой на главном экране.

Панель управления роботами, в дополнение к информации о статусе роботов, также отображает последнее сообщение в чате с главного экрана.

Вернуться на главный экран можно нажатием на кнопку «Вернуться в чат» в левом нижнем углу экрана.

Виджет: Камера на голове

Дублирует виджет "Камера: Голова".

Виджет: Камера на корпусе

Дублирует виджет "Камера: Корпус".

Виджет: Карта

Виджет предназначен для просмотра навигационной карты робота и определения его местоположения на карте.

Наведение на точку подсвечивает её название

При наличии карты, можно отправить робота в точку, указанную в произвольном ее месте карты. Домиком обозначена зарядная станция, при нажатии на нее робот отправится на зарядку.

Перед отправкой робота потребуется подтвердить действие.

Во время передвижения маршрут условно отображается стрелкой на карте.

Отображение маршрута на карте

Виджет: Управление

Виджет разделён на две части. Левая часть виджета позволяет управлять движением робота напрямую, с помощью кнопок управления (вперед, назад, повороты влево и вправо).

При использовании кнопок движения следует учитывать риск повреждения робота, а также причинения вреда здоровью окружающих людей и/или повреждение имущества. Ответственность за действия, совершаемые роботом, несёт оператор.

Точки вокруг кнопок управления соответствуют датчикам на корпусе робота. Серый цвет точки означает, что препятствий не обнаружено, оранжевый цвет – есть препятствие, красный – препятствие блокирует дальнейшее движение.

Произошло срабатывание задних датчиков (выделены красным), поэтому движение назад невозможно

Задние датчики определили наличие препятствия (выделены оранжевым), поэтому кнопка движения назад сигнализирует о возможной опасности, также внизу выведено предупреждение

Препятствий не обнаружено, движение не ограничено

Правая часть виджета содержит регулятор скорости движения робота.

General information

Terms and definitions

Telepresence – a remote robot control session.

Service – Promobot telepresence service.

Robot – Promobot robot used as part of telepresence.

Operator – a person who uses the telepresence service.

User – a person interacting with a robot.

Account – an account for authorization in the service, provided to the operator individually by Promobot Company.

Speech synthesis – the conversion of text into an audio recording, which contains a representation of the original text in the form of human speech, followed by its reproduction.

Interaction – the state of the robot, which starts at the beginning of communication with the user. The interaction starts when an audio signal is received on the robot's microphone, when a person is detected by a camera or sensors, or when the robot's screen is tapped.

The list of events that trigger the interaction may vary depending on the robot settings.

Emotion – an animated image on the robot's face screen (led screen on the robot's head), reflecting a certain emotion.

Motion mode – the state of operation of the algorithms of the robot's autonomous movement. At any given time, the robot is in one of the two modes:

• • Automatic (Auto) – the mode of autonomous movement. In this mode, the robot is able to move independently.
  • Manual – manual movement mode. In this mode, the robot moves only on command from the operator.

Control mode – the state that determines the level of control of the operator over the robot. As part of telepresence the robot is in one of the two modes:

• • Partial control – a mode in which the operator controls the robot simultaneously with the robot interaction algorithms.

  • Full control– the mode in which the robot's interaction algorithms are disabled, switching to the manual mode of movement occurs, and the robot thus acts only on the operator's command. 

Purpose and capabilities of the service

This service is designed for remote monitoring and control of Promobot robots. The robot can be controlled in two modes: partial control and full control. In the partial control mode, the operator's actions will complement the robot's actions performed automatically. In the full control mode, all autonomous actions of the robot are disabled, except for speech recognition.

The service provides one or more operators with the ability to control one or more robots simultaneously. Only one operator can control one robot at a time, and one operator can control several robots at the same time. To control the robot, it is necessary to take control, blocking this opportunity for other operators. In this case, other operators will only be able to view the status of the robot, as well as the status of the robots, which are controlled in a fully automatic mode.

The service provides the operator with the following features:

(for all available robots)

• • Tracking the status;
  • Viewing the dialogues between the robot and users, as well as an operator commands;
  • Viewing images from cameras and robot screen;

(for robots, which are controlled by the operator)

• • Audio from the operator microphone to the speakers of the robot;
  • Data transfer from the operator's webcam to the robot's screen;
  • Pronunciation of phrases on behalf of the robot;
  • Display of emotions on the face screen of the robot;
  • The execution of movements;
  • Issuing coupons, printing checks, taking and printing photos (if there is the appropriate equipment);
  • Showing web pages on the screen;
  • Movement of the robot around the area.

Requirements to the workplace of the operator

Stable operation of the service is possible under the following conditions:

• • Broadband Internet connection with the minimum speed of 4 Mbps;
  • Google Chrome browser version 76.0 or higher or Firefox version 68.0 or higher;
  • Webcam (optional, required when broadcasting images from the operator);
  • Microphone (optional, required when broadcasting audio from the operator, as well as for voice input).

Terms of use of the service and obligations of the operator

The service is provided solely for the purpose of remote control of the robot, as well as monitoring the status of robots. The service may not be used for the purpose of secret data collection, including: recording video, audio or text information without prior permission. When using the service, it is necessary to take into account the legal restrictions of the country where the robot is located. Transfer of rights to use the service is not allowed.

Prior to using the service, the operator must be notified that when using the functions of moving the robot and movements, there is a risk of damaging the robot, as well as harm to the health of others and/or damage to property. The operator is responsible for the actions performed by the robot during control.

The operator must:

• • Use the service only for its intended purpose;
  • Consider the legal restrictions of the country where the robot is located;
  • When using the telepresence service, be guided by the operating rules and requirements prescribed in the technical documentation;
  • In case of an error in the service, stop using it and report the error to Promobot technical support;
  • Promptly inform Promobot technical support about the loss of access to the operator's personal account.

Authorization screen

Login into the system

When you go to the page of the service, you will see the login screen.

The login screen of the operator in the service

In the upper right corner of the screen, there is a menu for selecting the language of the interface. To change the language of the interface, click on the current language, and then select the preferable language from the drop-down list.

List of available interface languages

To log in, you need to enter your username and password in the appropriate fields, and then, to confirm the action by clicking the "Sign in" button.

The "Sign in" button will only become active after entering the login data

If the username and password are entered correctly, the main screen of the service will open (described in section 3).

If you enter the wrong combination of username and password, the input fields will be highlighted with a red border, under the input fields will appear a notification.

Notification of incorrect login data

Password recovery

If your password has been forgotten or compromised, we recommend that you use the password recovery function ("Restore Password" button).

A form for entering an email address to send a message with instructions on how to recover your account

In the window that opens, enter the email address that is specified in the account settings, and then click "Send".

The "Send" button will become active only after entering the email address

Main screen

Immediately after authorization, the main screen of the service is loaded. Until one of the robots is selected, all fields except the control panel and operator panel will remain inactive.

Main screen before selecting the robot via robot control panel

The main screen is divided into several functional elements:

Functional elements of the main screen after selecting the robot

Operator panel

Operator panel allows you to manage your operator account. On the panel there is a profile picture, microphone on/off buttons and operator's webcam.

Clicking on the profile picture opens a drop-down menu.

Drop-down menu when you click on the operator profile

Clicking on "Profile settings" will open the window for editing the operator profile settings.

The configuration window of the operator profile

The operator's name, contact Email and phone number are specified in the operator's settings. Also, the settings display the data for authorization and the language of localization of the interface. The operator cannot change Email, username and password.

Clicking on "Exit" terminates the operator's work with the service. A logout confirmation window will appear before you exit.

The logout confirmation

Robot control panel

The robot control panel contains a list of all robots available to the operator. The following information is displayed for each robot in the list:

Symbols on the robot control panel

You can access the settings in the robot menu by clicking on the corresponding button (see above). In the menu that opens, select "Settings".

Robot menu, at the bottom of which there is the "Settings" item

The menu is available even if the robot is not currently under your control.

Robot settings allow you to change the language of communication, calibrate the moving parts of the robot, as well as their testing

The window is closed by clicking on the "cross" in the upper right corner.

The capture control panel

To start controlling the robot, select it on the control panel, and then click the "Start Controlling" button located on the control panel. Please note that you can only take control if nobody is controlling the robot at the moment. The robot you are currently observing (you do not need to take control of the robot to observe) is highlighted in blue on the panel.

The "Start Controlling" button is active and allows you to take control of the robot

To take control of a robot which is already under the control of another operator, that operator must transfer control of the robot to you or terminate it.

To complete the control of the robot and its transfer to the auto mode, select the appropriate item in the robot menu (the robot menu is described in detail in paragraph 3.2). You must confirm the action in the pop-up window before you can complete the control.

A confirmation window when you finish to control the robot

You can transfer control by clicking on the corresponding button at the top of the screen.

The "Finish Controlling" button becomes active after taking control of the robot

The "Full control" switch allows you to disable phrases and actions performed by the robot itself.

The "Full control" switch is in the off position, so the robot continues to respond to user phrases, greet, say promotional phrases, make movements and other actions available to it in autonomous mode

Chat panel

The chat displays the operator's commands, system messages, system messages, as well as the recognized phrase of the user. The search bar is located at the top of the panel. Clicking on the bar opens the message filter and the search bar field.

The "All" tab displays messages of all types

A message filter allows you to select one or more types of chat messages to be searched. By default, all message types are selected in the filter.

Search on all messages

Messages on the left are user phrases recognized by the robot. The title of the text cloud indicates the name of the user if he introduced himself to the robot.

View messages only from users

Messages on the right are operator commands or phrases pronounced by the robot. Operator commands and self-generated robot phrases differ in the color of the text cloud and are additionally signed in its header. For information on the commands available to the operator, refer to paragraph 3.5. You can mark an operator's message as a favorite by clicking on the star icon in the upper right corner of the text cloud. Favorite messages are displayed in the corresponding section of the command bar (see 3.5.4).

Filter to view messages only from the robot

Filter to view messages only from the operator

System messages are located in the center of the window and are of gray color. System messages, for example, include notifications about taking control of the robot and finishing the control session.

Filter to view only system messages

The execution of scripts or emotions caused by operator commands are colored in blue.

Errors that occurred during the execution of operator commands are highlighted in red.

Each message in the chat window is time-stamped. The time is displayed to the left of the message or under it.

Command bar

The command bar allows the operator to send commands to the robot in the form of text messages.

An example of a command input

The bar is divided into two parts:

The command line is a command input field.

The command is a text of the form:

<Command>: <Action/text/emotion>

List of available commands:

To send a command, press the blue arrow to the right of the command line or press Enter on the keyboard.  The input field is cleared by pressing the Esc key.

The line for the selection of the command type contains sections for different types of commands.

Command section "Speech"

Clicking on the "Speech" button opens the section to select a phrase from previously saved or set a new one in one of the ways.

The section contains a list of operator phrases that he saved earlier. When you click on the cloud with the phrase, it will get to the command line. Clicking on the "cross" to the right of the phrase will remove it from the list. Adding a phrase from the input field to the saved list is done by clicking the "+ " button. The phrase in the input field can be entered using the keyboard and voice recording. To record the voice, the operator's workplace must be equipped with a microphone. Recording and recognition of the phrase occurs while the microphone button is pressed, when you stop pressing, the phrase will appear in the input field.

The language selection button displays the language for which speech synthesis will take place.

The play button pronounces the phrase with the robot's speech synthesis.

The "Add command" button sends the phrase to the command line.

Command section "Emotions"

Clicking on the "Emotions" button opens the section for selecting emotions to display on the robot's face screen.

When you hover over an image of an emotion, its name is displayed. When you click on the image, the corresponding command will be added to the command line.

Command section "Actions"

Clicking on the "Actions" button opens the section for selecting standard robot movements.

Clicking on the action will add the corresponding command to the command line.

When using certain features of this section, you should consider the risk of damage to the robot, as well as harm to the health of others and / or damage to property. The operator is responsible for the actions performed by the robot.

Command section "Favorites"

Clicking on the "Favorites" button opens the favorite commands section.

The section contains previously used commands that have been marked as favorites (with an asterisk). You can learn more about adding a command to your favorites in section 3.4.

Clicking on a command will add it to the command line. You can delete a command from the favorites list by clicking on the cross on the right side of the command window (you will need to confirm the deletion in the dialog box).

You can assign hotkeys (Alt + _) to commands in this section. In the upper right corner of the cloud with the command, there is a button to assign shortcut keys to the command (pencil). When you click on it, a field will appear to assign a letter (A-Z) or a number (0-9), which in combination with Alt will send the command immediately to execution, bypassing the command line. If you enter a character that is already involved, the field will be colored red, invalid characters will not be printed. If the combination is free, a check-mark will appear next to the input field, when you click on which the combination will be saved. To cancel saving, just click anywhere on the screen.

Command section "To do"

Coupons, cards or photos are available for issuing. On clicking, the selected command will be added to the command line. Execution of the command will lead to the issuance of a coupon, card or taking a photo (from the head camera of the robot), followed by the issuance of the photo.

Clicking on the "To do" button opens the section of issued materials.

If the robot is not equipped with the appropriate devices, the “To do” menu will be limited. If for some reason the issuance is not possible, for example, there is no paper or toner in the printer, the corresponding system message will be displayed in the chat (for details, see paragraph 3.4).

Command section "Screen"

Clicking on the "Screen" button opens the section displaying web pages on the robot screen.

This section allows you to display the specified web page on the robot screen, and also contains a list of saved web pages.

To display a resource on the robot screen, enter its URL in the input field or select it by clicking on the cloud with the address from the list of previously saved. Sending the address from the input field to the command line occurs by pressing the confirmation button to the right of the input field.

To save the address for later use, click on the "+" button to the left of the input field.

Manual control

Clicking on the "Manual control" button turns on the mode of manual control of the robot movement. For a description of manual control, see section 4. Manual control is not possible while the robot is charging.

The manual control button is inactive because the robot is charging

User information panel

The panel contains information about the user with whom the robot communicates at the moment. The panel is displayed only if there is a face in front of the robot.

The displayed user information includes: face image from the database, name, ID in the database, gender and age based on facial recognition

Widgets

To the right of the "Manual control" button is the widget control button, clicking on which opens a drop-down list. In the drop-down list, you can select the widgets that will be displayed in the widget panel.

Camera: head

The widget is designed to show the image from the camera on the robot's head. Below the image there are buttons to control the position of the head.

The head control buttons become active only after gaining control of the robot

The arrow buttons rotate the head (change it's declination) in the appropriate direction, the button in the center returns the robot's head to the central position.

Clicking on the button in the upper right corner of the widget will expand it to full screen.

"Camera: head" Widget in full-size mode

To minimize the widget back, you need to click on the "cross" in the upper right corner of the window.

Camera: torso

The widget is designed to show the image from the camera on the robot's torso.

Similar to the widget in 3.8.1, the widget can be expanded to full screen:

"Camera: torso" Widget in full-size mode

Screen

The widget is designed to show the image from the robot screen. Buttons at the bottom of the widget allow you to enable audio and video transmission from the operator to the robot.

Similar to the widget in 3.8.1, the widget can be expanded to full screen:

"Screen" widget in full-size mode

Map

The widget is designed to view the navigation map of the robot and determine its location in space. The widget is available if you have a downloaded map of the room and the corresponding equipment on the robot.

Hovering over a point highlights its name

Similar to the widget in 3.8.1, the widget can be expanded to full screen:

Manual control mode

To switch to the manual mode of robot control, you need to click on the "Manual control" button on the main screen of the service. When switching to manual mode, the robot switches from auto to manual mode and remains in it until the main screen is displayed (the status of the robot will be displayed for all operators on the side control panel).

Robot manual control screen

The manual mode allows the operator to move the robot using the control buttons. Movement is carried out by buttons in the corresponding widget (point 4.4).

On this screen, similar to the main one, there is an operator panel, a robot control panel and a widget panel. The capabilities of the operator panel are exactly the same as those on the main screen.

The robot control panel, in addition to robot status information, also displays the latest chat message from the home screen.

You can return to the home screen by clicking the "Return to chat" button in the lower left corner of the screen.

"Camera: Head" Widget

The widget duplicates the similar one from paragraph 3.8.1.

"Camera: Torso" Widget

Widget duplicates the same from paragraph 3.8.2.

"Map" Widget

The widget is under development and will be added in one of the next updates!

The widget is designed to view the navigation map of the robot and determine its location in space.

Hovering over a point highlights its name

If you have a map, you can send the robot to any point specified on the map. The house indicates the charging station, when you click on it, the robot will head for charging.

Before sending the robot, you will need to confirm the action.

During movement, the route is displayed as an arrow on the map.

Display of the route on the map

"Control" Widget

This widget is divided into two parts. The left part of the widget allows you to control the movement of the robot directly, using the control buttons (forward, backward, left and right turns around its axis).

The dots around the control buttons correspond to the sensors on the robot's body. The gray color of the dot means that no obstacles are detected, the orange color – there is an obstacle, the red color – the obstacle blocks further movement.

The rear sensors have been triggered (highlighted in red), so it is not possible to move backward

The rear sensors have detected the presence of an obstacle (highlighted in orange), so the button of moving back signals a possible danger, and a warning is displayed at the bottom

No obstacles are detected, the movement is not limited

The right part of the widget contains the speed controller of the robot. Moving the adapter will cause the speed to change.