Общая информация

Термины и определения

Телеприсутствие – сеанс удалённого управления роботом.

Сервис – сервис телеприсутствия Promobot.

Робот – робот Promobot, используемый в рамках телеприсутствия.

Оператор – человек, использующий сервис телеприсутствия.

Пользователь – человек, взаимодействующий с роботом.

Аккаунт – учётная запись для авторизации в сервисе, предоставляемая оператору в индивидуальном порядке компанией Promobot.

Синтез речи – преобразование текста в аудиозапись, которая содержит представление исходного текста в форме человеческой речи, с последующим её воспроизведением.

Взаимодействие – состояние робота, в которое он переходит в момент начала общения с пользователем. Взаимодействие начинается при получении звукового сигнала на микрофоне робота, при обнаружении человека камерой или датчиками или при нажатии на экран робота.

Список событий, вызывающих начало взаимодействия, может различаться в зависимости от настроек робота.

Эмоция – анимированное изображение на лицевом экране робота (светодиодный экран на голове робота), отражающее определённую эмоцию.

Режим движения – состояние работы алгоритмов автономного передвижения робота. В любой момент времени робот находится в одном из двух режимов:

• • Автоматический (Auto) – режим автономного передвижения. В этом режиме робот способен перемещаться самостоятельно.
  • Ручной (Manual) – режим ручного передвижения. В этом режиме робот перемещается только по команде от оператора.

Режим управления – состояние, определяющее уровень контроля оператора над роботом. В рамках телеприсутствия робот находится в одном из двух режимов:

• • Частичный контроль – режим, при котором контроль оператора над роботом осуществляется одновременно с работой алгоритмов взаимодействия робота.
  • Полный контроль – режим, при котором алгоритмы взаимодействия робота отключаются, происходит переключение в ручной режим передвижения, а робот при этом действует только по команде оператора. 

Назначение и возможности сервиса

Данный сервис предназначен для удалённого мониторинга и управления роботами Promobot. Управление роботом можно осуществлять в двух режимах: частичного контроля и полного контроля. В режиме частичного контроля действия оператора будут дополнять действия робота, выполняемые им автоматически. В режиме полного контроля отключаются все автономные действия робота, за исключением распознавания речи.

Сервис предоставляет одному или нескольким операторам возможность управления одним или несколькими роботами одновременно. Одним роботом одновременно может управлять только один оператор, при этом один оператор может управлять одновременно несколькими роботами. Чтобы управлять роботом, необходимо захватить управление, блокируя эту возможность для других операторов. В этом случае, другим операторам будет доступен только просмотр состояния робота, равно как и состояний роботов, которые управляются в полностью автоматическом режиме.

Сервис предоставляет оператору следующие возможности:

(для всех имеющихся роботов)

• • Отслеживание состояния;
  • Просмотр диалогов между роботом и пользователями, а также команд оператора;
  • Просмотр изображений с камер и экрана робота;

(для роботов, управление которыми взято оператором)

• • Передача звука с микрофона оператора на динамики робота;
  • Передача данных с веб-камеры оператора на экран робота;
  • Произношение фраз от лица робота;
  • Отображение эмоций на лицевом экране робота;
  • Выполнение движений;
  • Выдача талонов, печать чеков, фотосьемка и печать фотографий (при наличии соответствующего оборудования);
  • Вывод веб-страниц на экран;
  • Перемещение робота в пространстве.

Требования к рабочему месту оператора

Стабильная работа сервиса возможна при соблюдении следующих условий:

• • Широкополосный доступ в интернет со скоростью не менее 4 Мбит/с;
  • Браузер Google Chrome версии не ниже 76.0 или Firefox версии не ниже 68.0;
  • Веб-камера (опционально, требуется при использовании трансляции изображения от оператора);
  • Микрофон (опционально, требуется при трансляции звука от оператора, а также для голосового ввода).

Условия использования сервиса и обязанности оператора

Сервис предоставляется исключительно с целью удалённого управления роботом, а также мониторинга состояния роботов. Сервис запрещено использовать с целью негласного сбора данных, в том числе: записи видео, аудио или текстовой информации без предварительного на то разрешения. При использовании сервиса нужно учитывать законодательные ограничения страны, где находится робот. Передача прав на использование сервиса не допускается.

До начала использования сервиса оператор должен быть уведомлен, что при использовании функций перемещения робота и движений, есть риск повреждения робота, а также причинения вреда здоровью окружающих людей и/или повреждения имущества. Ответственность за действия, совершаемые роботом во время управления, несёт оператор.

Оператор обязан:

• • Использовать сервис только по прямому назначению;
  • Учитывать законодательные ограничения страны, где находится робот;
  • При использовании сервиса телеприсутствия руководствоваться правилами эксплуатации и требованиями, прописанными в технической документации;
  • В случае возникновения ошибки в работе сервиса, прекратить его использование, а также сообщить о возникшей ошибке в техническую поддержку Promobot;
  • Оперативно сообщать в техническую поддержку Promobot об утрате доступа к личному аккаунту оператора.

Экран авторизации

Вход в систему

При переходе на страницу сервиса перед вами появится экран авторизации.

Экран авторизации оператора в сервисе

В верхнем правом углу экрана расположено меню выбора языка интерфейса. Чтобы сменить язык интерфейса, нажмите на текущий язык, а затем выберите нужный язык в выпадающем списке.

Список доступных языков интерфейса

Для входа в систему требуется ввести свой логин и пароль в соответствующие поля, а затем, для подтверждения действия, нажать кнопку «Войти».

Кнопка «Войти» станет активна только после ввода данных для входа

Если логин и пароль введены правильно, откроется основной экран сервиса (описан в 3 разделе).

При введении неправильного сочетания логина и пароля, поля ввода будут выделены красной рамкой, под полями ввода появится соответствующее уведомление.

Уведомление о неверно введённых данных авторизации

Восстановление пароля

В случае, если пароль от аккаунта оказался утрачен или скомпрометирован, рекомендуем воспользоваться функцией восстановления пароля (кнопка «Восстановить пароль»).

Форма ввода адреса электронной почты для отправки сообщения с инструкцией по восстановлению аккаунта

В открывшемся окне введите адрес электронной почты, который указан в параметрах аккаунта, после чего нажмите кнопку «Отправить».

Кнопка «Отправить» станет активна только после ввода адреса электронной почты

Основной экран

Сразу после авторизации загружается основной экран сервиса. Пока не будет выбран один из роботов, все поля, за исключением панели управления и панели оператора, будут оставаться неактивными.

Главный экран до выбора робота через панель управления роботами

Основной экран разделён на несколько функциональных элементов:

Функциональные элементы основного экрана после выбора робота

Панель оператора

Панель оператора позволяет управлять Вашим аккаунтом оператора. На панели располагается изображение профиля, кнопки включения/выключения микрофона и веб-камеры оператора.

При нажатии на изображение профиля открывается выпадающее меню.

Выпадающее меню при нажатии на профиль оператора

Нажатие на пункт меню «Настройки профиля» откроет окно редактирования настроек профиля оператора.

Окно настройки профиля оператора

В настройках оператора указаны имя, контактный Email и номер телефона оператора. Также в настройках отображаются данные для авторизации и язык локализации интерфейса. Оператор не может изменять Email, логин и пароль.

Нажатие на пункт меню «Выйти» завершает работу оператора с сервисом. Перед завершением работы появится окно подтверждения выхода из системы.

Подтверждение выхода из системы

Панель управления роботами

Панель управления роботами содержит список всех доступных оператору роботов. Для каждого робота в списке отображается следующая информация:

Обозначения на панели управления роботами

            Получить доступ к настройкам можно из меню робота, для этого требуется нажать на соответствующую кнопку (см. выше). В открывшемся меню следует выбрать пункт «Настройки».

Меню робота, в нижней части которого расположен пункт «Настройки»

Меню доступно, даже если робот в данный момент не находится под Вашим контролем.

Настройки робота позволяют сменить язык общения, выполнить калибровку подвижных узлов робота, а также их проверку

Окно закрывается нажатием на «Крестик» в правом верхнем углу.

Панель захвата управления

Чтобы начать управление роботом, выберите его на панели управления, а затем нажмите кнопку «Принять управление», расположенную на панели захвата управления. Обратите внимание, что принять управление можно только в том случае, если в данный момент роботом никто не управляет. Робот, за которым Вы в данный момент наблюдаете (для наблюдения необязательно брать робота под контроль), выделен на панели синим цветом.

Кнопка «Принять управление» активна и позволяет взять робота под контроль

Чтобы получить контроль над роботом, уже находящимся под управлением другого оператора, тот оператор должен передать Вам контроль над роботом или завершить его.

Для завершения управления роботом и его перевода в автономный режим следует выбрать соответствующий пункт в меню робота (меню робота подробнее описано в пункте 3.2). Перед завершением управления требуется подтвердить действие во всплывающем окне.

Окно подтверждения при завершении контроля над роботом

Передать контроль можно нажатием соответствующей кнопки в верхней части экрана.

Кнопка «Передать управление» становится активна после взятия робота под контроль

Переключатель «Полный контроль» позволяет отключить фразы и действия, выполняемые роботом самостоятельно.

Переключатель «Полный контроль» в выключенном положении, поэтому робот продолжает отвечать на фразы пользователей, приветствовать, говорить промофразы, выполнять движения и другие действия, доступные ему в автономном режиме работы

Панель чата

В чате отображаются команды оператора, статус выполнения команд, системные сообщения, а также распознанные фразы пользователей.

В верхней части панели расположена строка поиска. Нажатие на строку открывает фильтр сообщений и поле ввода строки поиска.

Во вкладке «Все» отображаются сообщения всех типов

Фильтр сообщений позволяет выбрать один или несколько типов сообщений в чате, по которым будет осуществляться поиск. По умолчанию, в фильтре выбраны все типы сообщений.

Поиск по всем сообщениям

Сообщения слева – фразы пользователей, распознанные роботом. В заголовке текстового облака указывается имя пользователя, если он представился роботу.

Фильтр просмотра сообщений только от пользователей

Сообщения справа – являются командами оператора или фразами, которые произнёс робот. Команды оператора и самостоятельно сгенерированные фразы робота отличаются цветом текстового облака и дополнительно подписаны в его заголовке. Информация о командах, доступных оператору, приведена в пункте 3.5. Сообщение оператора можно пометить как избранное, для этого требуется нажать на иконку звёздочки в правом верхнем углу текстового облака. Избранные сообщения отображаются в соответствующем разделе панели команд (см. пункт 3.5.4).

Фильтр просмотра сообщений только от робота

Фильтр просмотра сообщений только от оператора

Системные сообщения располагаются в центре окна и окрашены серым цветом. К системным сообщениям, например, относятся оповещения о взятии робота под контроль и завершении сеанса контроля.

Фильтр просмотра только системных сообщений

Синим окрашены статусные сообщения о выполнении скрипов или эмоций, вызванных командами оператора.

Красным выделяются ошибки, возникшие при выполнении команд оператора.

Каждое сообщение в окне чата имеет привязку ко времени. Время отображается слева от сообщения или под ним.

Панель команд

Панель команд позволяет оператору передавать роботу команды в форме текстовых сообщений.

Пример ввода команды

Область панели разделена на две части:

Командная строка представляет собой поле ввода команд.

Команда представляет собой текст вида:

<Команда>: <Действие/текст/эмоция>

Список доступных команд:

Для отправки команды требуется нажать синюю стрелку справа от строки ввода команды или нажать Enter на клавиатуре.  Очистка поля ввода выполняется нажатием на клавишу Esc.

Строка выбора типа команды содержит кнопки разделов для различных типов команд.

Раздел команд «Речь»

Нажатие на кнопку «Речь» открывает раздел выбора фразы из ранее сохраненных или набора новой одним из способов.

Раздел содержит список фраз оператора, которые он сохранил ранее. При клике по облаку с фразой она попадет в командную строку. Нажатие на «крестик» справа от фразы приведет к ее удалению из списка. Добавление фразы из поля ввода в список сохраненных происходит по нажатию на кнопку «+». Фразу в поле ввода можно ввести с клавиатуры и с помощью записи голоса. Для записи голоса необходимо, чтобы рабочее место оператора было оснащено микрофоном. Запись и распознавание фразы происходит, пока нажата кнопка с микрофоном, после прекращения нажатия фраза появится в поле ввода.

Кнопка выбора языка отображает язык, для которого будет происходить синтез речи.

Кнопка воспроизведения озвучивает фразу синтезом робота.

Кнопка подтверждения добавляет фразу в командную строку.

Раздел команд «Эмоции»

Нажатие на кнопку «Эмоции» открывает раздел выбора эмоций для отображения на лицевом экране робота.

При наведении на изображение эмоции, отображается её название. При нажатии на изображение, соответствующая команда будет добавлена в командную строку.

Раздел команд «Действия»

Нажатие на кнопку «Действия» открывает раздел выбора стандартных движений робота.

Нажатие на действие добавит соответствующую команду в строку команд.

При использовании некоторых функций данного раздела следует учитывать риск повреждения робота, а также причинения вреда здоровью окружающих людей и/или повреждения имущества. Ответственность за действия, совершаемые роботом, несёт оператор.

Раздел команд «Избранное»

Нажатие на кнопку «Избранное» открывает раздел избранных команд.

Раздел содержит ранее использованные команды, которые были помечены как избранные (звездочкой). Подробнее о добавлении команды в избранное можно узнать в пункте 3.4.

Нажатие на команду добавит её в командную строку. Удалить команду из списка избранных можно нажатием на крестик в правой части облака с командой (потребуется подтвердить удаление в диалоговом окне).

Для команд данного раздела можно назначить «горячие» клавиши (Alt + _). В правом верхнем углу облака с командой располагается кнопка назначения сочетания клавиш для команды (карандаш). При нажатии на нее появится поле для назначения буквы (A-Z) или цифры (0-9), которая в сочетании с Alt отправит команду сразу на исполнение, минуя командную строку. При вводе символа, который уже задействован, поле окрасится красным, недопустимые символы не будут пропечатаны. Если сочетание свободно, рядом с полем ввода появится галочка, при нажатии на которую сочетание будет сохранено. Для отмены сохранения достаточно кликнуть мышью в любом месте на экране.

Раздел команд «Выдача»

Нажатие на кнопку «Выдача» открывает раздел выдаваемых материалов.

Для выдачи доступны талоны, карты или фотографии. По нажатию, выбранная команда будет добавлена в командную строку. Выполнение команды приведет к выдаче талона, карты или фотосьемке (с головной камеры робота) с последующей выдачей фотографии.

При отсутствии в комплектации робота соответствующих устройств меню выдачи будет ограничено. Если по какой-то причине выдача невозможна, например, отсутствует бумага или тонер в принтере, то соответствующее системное сообщение будет выведено в чат (подробнее можно узнать в пункте 3.4).

Кнопка добавления талона позволяет добавить новый талон в виде файла в формате html. Удаление доступно по «крестику».

Раздел команд «Экран»

Нажатие на кнопку «Экран» открывает раздел вывода веб-страниц на экран робота.

Данный раздел позволяет вывести заданную веб-страницу на экран робота, а также содержит список сохраненных веб-страниц.

Чтобы вывести ресурс на экран робота, введите его URL-адрес в поле ввода или выберите нажатием на облако с адресом из списка ранее сохранённых. Отправка адреса из поля ввода в командную строку происходит по нажатию на кнопку подтверждения справа от поля ввода.

Чтобы сохранить адрес для последующего использования, нажмите на кнопку «+» слева от поля ввода.

Ручное управление

Нажатие на кнопку «Ручное управление» включает режим ручного управления передвижением робота. Описание работы в ручном режиме - в разделе 4. Переход в режим ручного управления невозможен, пока робот находится на зарядке.

Кнопка ручное управление неактивна, так как робот находится на зарядке

Панель информации о пользователе

Панель содержит информацию о пользователе, с которым робот общается в данный момент. Панель отображается, только если перед роботом есть лицо. К отображаемой информации о пользователе относятся: изображение лица из базы, имя, идентификатор в базе, пол и возраст, определяемые на основании распознавания лица.

Виджеты

Справа от кнопки «Ручное управление» расположена кнопка управления виджетами, нажатие на которую открывает выпадающий список. В выпадающем списке можно выбрать виджеты, которые будут отображаться на панели.

Камера: голова

Виджет предназначен для трансляции изображения с камеры на голове робота. Под изображением расположены кнопки управления положением головы.

Кнопки управления головой становятся активными только после получения контроля над роботом

Кнопки со стрелками поворачивают голову (изменяют ее наклон) в соответствующую сторону, кнопка в центре возвращает голову робота в центральное положение.

Нажатие на кнопку в верхнем правом углу виджета развернёт его на полный экран.

Виджет «Камера: голова» в полноразмерном режиме

Чтобы свернуть виджет обратно, требуется нажать на «крестик» в правом верхнем углу окна.

Камера: корпус

Виджет предназначен для трансляции изображения с камеры на торсе робота.

Аналогично виджету из прошлого пункта, данный виджет можно развернуть на полный экран:

Виджет «Камера: корпус» в полноразмерном режиме

Экран

Виджет предназначен для трансляции изображения с экрана робота. Кнопки в нижней части виджета позволяют включить передачу звука и видео от оператора к роботу.

Аналогично виджету из прошлого пункта, данный виджет можно развернуть на полный экран:

Виджет «Экран» в полноразмерном режиме

Карта

Виджет предназначен для просмотра навигационной карты робота и определения его местоположения в пространстве. Виджет доступен при наличии загруженной карты помещения и соответствующего оборудования на роботе.

Аналогично виджету из прошлого пункта, данный виджет можно развернуть на полный экран.

Режим ручного управления

Чтобы перейти в ручной режим управления роботом, требуется нажать кнопку «Ручное управление» на главном экране сервиса. При переходе в режим ручного управления, робот переключается из автоматического режима движения (Auto) в ручной режим (Manual) и остаётся в нём до выхода на главный экран (состояние робота отобразится для всех операторов на боковой панели управления).

Экран ручного управления роботом

Режим ручного управления позволяет оператору перемещать робота с помощью управляющих кнопок. Перемещение осуществляется кнопками в соответствующем виджете (пункт 4.4).

На данном экране, аналогично главному, есть панель оператора, панель управления роботами и панель виджетов. Возможности панели оператора полностью совпадают с таковой на главном экране.

Панель управления роботами, в дополнение к информации о статусе роботов, также отображает последнее сообщение в чате с главного экрана.

Вернуться на главный экран можно нажатием на кнопку «Вернуться в чат» в левом нижнем углу экрана.

Виджет: Камера на голове

Дублирует виджет "Камера: Голова".

Виджет: Камера на корпусе

Дублирует виджет "Камера: Корпус".

Виджет: Карта

Виджет предназначен для просмотра навигационной карты робота и определения его местоположения на карте.

Наведение на точку подсвечивает её название

При наличии карты, можно отправить робота в точку, указанную в произвольном ее месте карты. Домиком обозначена зарядная станция, при нажатии на нее робот отправится на зарядку.

Перед отправкой робота потребуется подтвердить действие.

Во время передвижения маршрут условно отображается стрелкой на карте.

Отображение маршрута на карте

Виджет: Управление

Виджет разделён на две части. Левая часть виджета позволяет управлять движением робота напрямую, с помощью кнопок управления (вперед, назад, повороты влево и вправо).

При использовании кнопок движения следует учитывать риск повреждения робота, а также причинения вреда здоровью окружающих людей и/или повреждение имущества. Ответственность за действия, совершаемые роботом, несёт оператор.

Точки вокруг кнопок управления соответствуют датчикам на корпусе робота. Серый цвет точки означает, что препятствий не обнаружено, оранжевый цвет – есть препятствие, красный – препятствие блокирует дальнейшее движение.

Произошло срабатывание задних датчиков (выделены красным), поэтому движение назад невозможно

Задние датчики определили наличие препятствия (выделены оранжевым), поэтому кнопка движения назад сигнализирует о возможной опасности, также внизу выведено предупреждение

Препятствий не обнаружено, движение не ограничено

Правая часть виджета содержит регулятор скорости движения робота.

Robot menu, at the bottom of which there is the "Settings" item

The menu is available even if the robot is not currently under your control.

Robot settings allow you to change the language of communication, calibrate the moving parts of the robot, as well as their testing.