Содержание

Язык жестов в театре XVII века • Arzamas

Как выразить готовность предаться безделью, раскаяться и потребовать тишины

Для усиления выразительности театр Возрождения пользовался как простыми навыками средневекового театра: горе — воздетые к небу руки, злорадство — «адский» смех, — так и приемами античной ораторской манеры: жесты рук, кистей рук и пальцев. Образцы такой жестикуляции приводятся в трактатах Джона Булвера «Хирология» и «Хирономия» 1644 года.              

Жесты рук, выражающие эмоции при произнесении речей. Из трактата Джона Булвера «Хирология» © Gallaudet University Library Deaf Collections and Archives, Washington, D.C.

А — упрашиваю. B — умоляю. C — рыдаю. D — удивляюсь. E — рукоплещу.
F — негодую. G — порицаю. H — отчаиваюсь. I — предаюсь безделью.
K — выражаю грусть. L — показываю свою невиновность. M — радуюсь выгоде. N — возвращаю свободу. O — защищаю. P — торжествую. Q — требую тишины.
R — приношу клятву. S — решительно утверждаю. T — подаю голос.

V — отвергаю. W — приглашаю. X — отсылаю. Y — угрожаю.
Z — попрошайничаю.

 

Образцы жестикуляции, усиливающей доходчивость изложения и убедительность аргументации. Из трактата Джона Булвера «Хирология» © Gallaudet University Library Deaf Collections and Archives, Washington, D.C.

А — дарю. B — подаю помощь. C — гневаюсь. D — показываю, что у меня нет.
E — не одобряю. F — готов сразиться. G — полагаюсь, твердо надеюсь.
H — препятствую. I — препоручаю (вверяю). K — услужливо веду. L — выдаю свое нетерпение. M — озабоченно размышляю. N — стыжусь. O — обожаю (поклоняюсь). P — уверяю. Q — выражаю раскаяние. R — боюсь вызвать негодование. S — ручаюсь. T — мирюсь. V — выражаю недоверие и неприязнь.

W — почитаю. X — сдержанно приветствую. Y — показываю, что нечист на руку. Z — благословляю.  

Жест «Пуск» — Mixed Reality

  • Статья
  • Чтение занимает 2 мин
  • Участники: 4

Были ли сведения на этой странице полезными?

Да Нет

Хотите оставить дополнительный отзыв?

Отзывы будут отправляться в корпорацию Майкрософт. Нажав кнопку «Отправить», вы разрешаете использовать свой отзыв для улучшения продуктов и служб Майкрософт. Политика конфиденциальности.

Отправить

Спасибо!

В этой статье

Жест запуска — это жест руки, используемый для вызова меню «Пуск». это эквивалентно нажатию клавиши Windows на клавиатуре, значке xbox на контроллерах xbox или значка Windows на современных контроллерах движения головного телефона. обратите особое внимание на зарезервированные системные жесты на каждом Смешанная реальность устройстве, чтобы избежать конфликтов при проектировании взаимодействий.

Поддержка устройств

Цветение

мы разработали «раскрытия», чтобы открыть меню «пуск» в HoloLens (первое поколение), которое представляет собой символическое действие, копируя цветок цветок. Он различен для обязательного использования, упрощения и быстрого отзыва. Чтобы использовать жест, держите руку на своем ПК и проведите его под рукой, а затем откройте руку, добавив пальцы.


Шаг 1. поладонь с помощью совместного воссоздания


Шаг 2. Ручная разворота



Жест «Пуск»

в HoloLens 2 мы заменили жест раскрытия на значок виртуального себя, что более инстинктуал для пользователей. Показывая пользователям значок на ладонь, они могут быть интуитивно понятными и нажимать их с другой стороны.


Шаг 1. Palm, чтобы отобразить значок ручного перехода



Шаг 2. Нажмите значок «напечаток»



Жест «Пуск» одной рукой

Важно!

Для срабатывания жеста «Пуск», выполненного одной рукой:

  1. Необходимо установить обновление за ноябрь 2019 г. (сборка 18363.1039) или более поздней версии.
  2. Необходимо выполнить калибровку взгляда на устройстве, чтобы наладить работу функций отслеживания взгляда. Если при взгляде на значок «Пуск» вы не видите вокруг него вращающиеся точки, калибровка вашего взгляда на устройстве не выполнена.

Можно также использовать жест запуска только с одной рукой. Проанализируйте свою руку с помощью карманного компьютера и взгляните на значок запуска на своем внутреннем компьютере.

Глядя на значок, сведите указательный и большой пальцы.


Шаг 1. Palm, чтобы отобразить значок ручного перехода


Шаг 2. глаз на значке, а затем сжатие



См. также раздел

Глава 11. Использование жестов VoiceOver

При наличии трекпада с поддержкой технологии Multi-Touch и при включенной функции VoiceOver для перемещения к элементам на экране, управления ими и ввода команд VoiceOver можно использовать жесты.

Для использования жестов VoiceOver включите Trackpad Commander, нажав и удерживая клавиши Control и Option (клавиши VO) и одновременно поворачивая два пальца на трекпаде по часовой стрелке, либо выбрав соответствующий параметр в Утилите VoiceOver. После включения можно использовать набор стандартных жестов VoiceOver, а также индивидуально настроить другие жесты, назначив им команды VoiceOver.

В жестах VoiceOver включают перемещение или быстрое перемещение пальцев по поверхности трекпада, прикосновение, пролистывание или поворот одного или нескольких пальцев на поверхности трекпада. Для выполнения жеста можно использовать различные приемы. Например, можно выполнять прикосновение двумя пальцами одной руки или обеих рук. Попробуйте различные приемы и выберите наиболее удобный для Вас. Для тренировки выполнения стандартных и индивидуально настроенных жестов, а также для запоминания выполняемых ими операций можно использовать справку клавиатуры.

При перемещении курсора VoiceOver озвучиваются названия элементов, на которые указывает курсор VoiceOver, а при обнаружении на экране пустого пространства воспроизводится звуковой эффект. Таким образом, при перемещении курсора по экрану Вы узнаёте расположение объектов на экране.

Прикосновение пальцев к трекпаду по действию равносильно прикосновению к части экрана. Трекпад представляет окно или область экрана, в которой находится курсор VoiceOver. При перемещении пальца по поверхности трекпада курсор VoiceOver перемещается только в пределах этого окна или области. Например, если курсор находится в области панели инструментов Mail, трекпад представляет панель инструментов Mail. При перемещении пальца по поверхности трекпада курсор VoiceOver перемещается только в пределах панель инструментов Mail. Поскольку трекпад представляет только определенную область, а не весь экран, невозможно случайно переместиться в другие области или окна других программ.

Для упрощения совместной работы с пользователями с хорошим зрением VoiceOver выделяет область экрана, в которой Вы работаете, затеняя остальную часть экрана. Прозрачность для этого эффекта регулируется на панели «Прикосновение» Утилиты VoiceOver. Другими возможностями упрощения совместной работы, такими как субтитры и панели Брайля, можно использоваться одновременно с жестами VoiceOver.

Чтобы отключить Trackpad Commander и прекратить использование жестов VoiceOver, нажмите и удерживайте клавиши Control и Option, одновременно повернув два пальца на трекпаде против часовой стрелки, или выберите соответствующий параметр в Утилите VoiceOver.

Почему жест сильнее слова? Объясняет Аллан Пиз — Татцентр.ру

Мотивационный спикер — о правильном рукопожатии, походке и мимике.

В Казани выступил Аллан Пиз — автор книг-бестселлеров о языке тела, жестов и психологии общения. В своей лекции Пиз рассказал о важности жестов и внешнего вида. По его словам, люди с первых секунд оценивают друг друга по положению рук и мимике.

Почему жесты так важны?

Человек оценивает окружающих визуально — даже если не задумывается об этом. Мнение о человеке складывается за четыре минуты, и 60−80% впечатления зависит от внешнего вида. Как это проверить? Посмотрите на фото Дональда Трампа и Ангелы Меркель на саммите G7. Вы видите, как канцлер Германии и ее коллеги ополчились на американского президента.

Позже Трамп написал в твиттере, что встреча прошла мирно и в дружеской атмосфере. Он опубликовал несколько фотографий Но посмотрите на первое фото — разве друзья ведут себя так?

I have a great relationship with Angela Merkel of Germany, but the Fake News Media only shows the bad photos (implying anger) of negotiating an agreement — where I am asking for things that no other American President would ask for! pic.twitter.com/Ib97nN5HZt

— Donald J. Trump (@realDonaldTrump) 15 июня 2018 г.

Как пожать руку?

Мы не всегда осознаем, но интуитивно чувствуем значение жестов. Например, рукопожатие — чем сильнее вы сжимаете руку, тем больше агрессии и доминирования чувствует другой человек. Слишком слабое рукопожатие говорит о податливости и слабохарактерности партнера. Поэтому оптимальный вариант — сжимать руку также, как и ваш собеседник.

Кроме силы хватки важно положение руки. Если ваша рука находится над рукой собеседника, значит вы показываете доминирование над ним. Этим приемом злоупотреблял Трамп, пока его советники не вмешались — они порекомендовали сменить стратегию.

Когда президент США встретился с Владимиром Путиным, ладонь Трампа оказалась под рукой российского лидера. Это был хитрый ход — тем самым Трамп хотел показать СМИ и общественности свою доброжелательность и мирные намерения. С таким же подходом американский лидер подошел к первой встрече с Ким Чен Ыном.

Нейтральный вариант положения руки — ладонью сбоку. Так вы покажете, что не доминируете над собеседником, но и сами не хотите оказаться под давлением.

В чем важность походки?

Первое, что видит аудитория перед выступлением человека — его походку. Короткие шаги, сжатые плечи, голова смотрит в пол — все это признаки волнения, которые вызывают недоверие у окружающих. Более широкие шаги, прямая спина и взгляд вперед показывают уверенность спикера. Такого человека услышат собеседники и лучше запомнят его речь.

Каких жестов избегать?

Многие слышали про скрещенные руки — это жест защиты, который используют приматы. Так они закрывают грудную клетку и внутренние органы. Жест достался человеку в наследство, и мы инстинктивно используем его, когда чувствуем дискомфорт. Проблема в том, что на подсознательном уровне наш дискомфорт видят другие и теряют доверие к нам.

Другой жест, выдающий волнение — руки у рта или закусывание губы. Этот же жест означает, что человек сдерживает себя от лишних слов, эмоций или действий. В то же время, руки, сложенные будто бы для молитвы, могут помочь вам в некоторых случаях.

Однажды я прилетел в Австралию ночью. Мне нужно было снять номер в провинциальном отеле. На стойке регистрации стояла женщина лет 30, она заговорила со мной и инстинктивно сложила руки, будто бы она молится. Я повторил за ней и у нас завязался разговор, после которого она дала мне пентхаус вместо обычного номера.

Важно помнить, что некоторые жесты понимают по-разному в зависимости от культуры и менталитета.

Какие жесты помогают?

Кроме запрещенных жестов есть те, что помогут вам расслабится и завоевать доверие публики. Один из них — «руки домиком», когда пальцы сцеплены перед собой. Этот жест помогает сконцентрироваться и создает впечатление осведомленности перед аудиторией. Этот жест любит Ангела Меркель — настолько, что его использовали в агитации партии ХДС.

Жест «открытые ладони» показывает, что у человека нет злых намерений — ведь его руки пустые и их видят окружающие. Если вы хотите показать или направить кого-то — делайте это ладонью, а не пальцем. Такая команда воспринимается мягче, а значит другим легче ее выполнить.

Аллан Пиз
Автор книг о популярной психологии, мотивационный спикер
Колонка написана по выступлению на Бизнес-форуме Лидерство. Успех. Мотивация

Записал Александр Токарев
Фото автора с водяным знаком

Как написать колонку для TatCenter?

Дрессировка собак в домашних условиях: команды и жесты

Мы расскажем о четырех командах и жестах для дрессировки собак. Этим командам можно обучить практически любую собаку.

Дрессировка собаки в домашних условиях может быть очень веселым процессом для вас обоих. Собаки любят его, потому что в эти моменты они получают много внимания от своего хозяина, не говоря уже о поощрении в виде лакомства! А люди — за то, что при случае можно похвастаться перед друзьями и сказать: «Смотри, что умеет делать моя собака!», ну и, конечно же, в процессе обучения хозяин любит общаться со своим питомцем и укреплять невидимую связь.

Но иногда обучение терпит крах и оказывается абсолютно невозможным, а всё потому что собака попросту игнорирует вас! Однако если использовать проверенные методы обучения, то это в значительной степени увеличивает шансы на то, что собака научится командам.

Команда №1 — Дай лапу!

На самом деле, это очень простой трюк, да и выглядит он очень мило и впечатляюще.

С чего начать дрессировку собаки? Просто выполняйте следующие действия.

  • Зажмите лакомство в кулак.
  • Ваша собака почувствует запах лакомства и попытается достать его. Не разжимайте кулак. Собака попытается достать лапой то, что не может достать ртом.
  • В тот момент, когда собака дотронется лапой вашей руки, скажите ей: «Молодец!» или щелкните кликером, если он у вас есть, и дайте кусочек лакомства.
  • Повторяйте, пока собака не начнет дотрагиваться до вашей закрытой руки с лакомством каждый раз, когда вы предлагаете ей такую руку.
  • Затем предложите собаке раскрытую и пустую ладонь и, когда она положит лапу на вашу руку, отблагодарите ее кусочком лакомства.
  • Увеличивайте время нахождения лапы собаки в вашей руке, прежде чем угостить ее лакомством.
  • Затем добавьте словесную команду «Дай лапу!» перед тем, как дать собаке раскрытую ладонь. После нескольких обучающих уроков собака усвоит команду.

Команда №2 — Кувырок!

Секрет этой команды заключается в том, что чем чаще собака повторяет эти шаги, тем больше успех.

  • Начните с того, чтобы собака легла (если вы уже научили собаку команде «Лежать!», то озвучьте ее). В противном случае встаньте на полу на колени и держите лакомство в закрытой руке. Предложите это лакомство собаке прямо возле ее носа, но не раскрывайте ладонь, а опускайте ее на пол. Когда ваша рука (и ваша собака!) окажутся на полу, раскройте ладонь с лакомством и похвалите собаку.
  • Итак, ваша собака лежит, снова предложите ей лакомство прямо рядом с носом, но пока не раскрывайте ладонь. На этот раз переместите руку в сторону через плечо, чтобы собака подняла голову и повернулась на его сторону, чтобы заполучить его. Отдайте угощение и похвалите.
  • Тут же предложите еще кусочек лакомства, не выпуская его из руки, чтобы собака сделала оборот. Для этого держите руку с лакомством вне досягаемости, но по нужной вам траектории. Если у собаки получится сделать кувырок, похвалите ее и дайте еще кусочек лакомства.
  • Продолжайте практиковать! Прежде чем собака начнет плавно переворачиваться и будет делать это только с одним кусочком лакомства, пройдет некоторое время.
  • Как только собака начнет делать кувырки, добавьте голосовую команду «Кувырок!» и постепенно прекратите давать лакомство. И всё, дело сделано!

Команда №3 — Вертись!

На первый взгляд кажется, что этот трюк под силу только профессиональным дрессировщикам, но на самом деле обучить ему довольно просто.

  • Возьмите лакомство и держите его рядом с носом собаки, не отпускайте. Используйте лакомство для того, чтобы вынудить собаку передвигаться по кругу. Когда она завершит круг, скажите: «Молодец!» или сделайте щелчок кликером, если он у вас есть, и дайте кусочек лакомства.
  • Продолжайте практиковать! Убедитесь, что собака вращается всегда в одном направлении. Понаблюдайте: если у собаки получается сделать два оборота подряд, прежде чем вы даете ей лакомство, значит, она отлично справляется и прогресс налицо!
  • Теперь попробуйте все то же самое, используя ту же руку, но без лакомства. Награждайте собаку, но только после выполнения оборота. Учите собаку следовать сигналу вашей руки.
  • Установите рукой точку, откуда начинается выполнение команды, и медленно ведите руку дальше от носа собаки и по кругу. Каждый раз благодарите собаку лакомством.
  • До того, как начнете показывать направление рукой, добавьте словесную команду «Вертись!».
  • В конце концов, после долгой практики собака сможет вращаться только по одной голосовой команде. Но если не получится, не переживайте, не все собаки могут достичь стадии выполнения этого трюка только по одному голосу.

Команда №4 — Поклон!

Итак, выступление собаки будет иметь особый успех, если в конце она сделает поклон и тем самым заслужит аплодисменты.

  • Прежде чем приступить к обучению, собака должна встать. Очень хорошо, если она умеет выполнять команду «Стоять!».
  • Держите угощение около кончика носа собаки и медленно перемещайте его вниз, держа близко к телу вашей собаки и как бы заманивая ее вниз. Делайте так, пока ее передние ноги не окажутся на полу, а задние не останутся стоять на месте. Вначале для некоторых собак этот трюк может показаться очень непростым. Для них можно попробовать такой вариант: поместить одну руку под живот, чтобы удерживать заднюю часть тела собаки наверху в положении стоя, а во второй руке держите лакомство, которым заманивайте собаку сделать поклон. Со временем собака поймет это.
  • Держите лакомство у носа собаки, а затем используйте его, чтобы побудить собаку вновь встать. Скажите ей, что она «Молодец!», или сделайте щелчок кликером, если он у вас есть, и дайте кусочек лакомства.
  • Совет по дрессировке собаки: повторяйте обучение! В конце добавьте словесную команду «Поклон!», перед тем как покажете рукой нужную траекторию вниз.
  • В завершение обучения собака научится делать поклон только по одной словесной команде!

Новое электронное устройство определяет 21 жест

Инженеры из Калифорнийского университета в Беркли (США) разработали устройство, которое может распознавать жесты рук по электрическим сигналам, обнаруженным в предплечье. Систему, которая объединяет носимые биосенсоры с искусственным интеллектом (ИИ), однажды можно будет использовать для управления протезами или для взаимодействия практически с любым типом электронных устройств (например, печать на компьютере без клавиатуры), сообщает пресс-служба вуза. Статья с описанием устройства опубликована в журнале Nature Electronics.

Чтобы создать систему распознавания жестов рук, команда разработала гибкую повязку – манжет, – которая может считывать электрические сигналы в 64 различных точках предплечья. Затем электрические сигналы поступают в электрический чип, который запрограммирован с помощью алгоритма искусственного интеллекта, способного связывать эти шаблоны сигналов с конкретными жестами рук.

Команде удалось научить алгоритм распознавать 21 отдельный жест руки: когда поднимается большой палец вверх, ладонь сжимается в кулак, ладонь выпрямляется, когда поднимаются отдельные пальцы и пальцы по очереди (при подсчете чисел).

«Когда вы хотите, чтобы мышцы рук сокращались, ваш мозг посылает электрические сигналы через нейроны шеи и плеч к мышечным волокнам рук и кистей. По сути, электроды в манжете воспринимают это электрическое поле. Это не так точно, в том смысле, что мы не можем точно определить, какие именно волокна были задействованы, но с высокой плотностью электродов он все еще может научиться распознавать определенные шаблоны», – объясняют разработчики.

Как и другие программы искусственного интеллекта, алгоритм должен сначала «изучить», как электрические сигналы в руке соотносятся с отдельными жестами руки. Для этого каждый пользователь должен надевать манжету, делая жесты рукой один за другим.

Однако новое устройство использует разновидность продвинутого ИИ – алгоритм гиперпространственных вычислений, который способен обновлять себя новой информацией. Например, если электрические сигналы, связанные с определенным жестом руки, изменяются из-за того, что рука пользователя вспотела или он поднимает руку над головой, алгоритм может включить эту новую информацию в свою модель.

Еще одно преимущество нового устройства заключается в том, что все вычисления происходят локально на чипе: никакие личные данные не передаются на ближайший компьютер или устройство. Это не только ускоряет время вычислений, но также обеспечивает конфиденциальность личных биологических данных.

Сейчас устройство еще не готово к тому, чтобы стать коммерческим продуктом, отмечают автора работы. Требуются доработки, которые в скором времени смогут сделать инженеры. 

[Фото: IMAGE COURTESY THE RABAEY LAB]

Мягкие жесты — Психологос

​​​​​​​​​​​​​​Мягкие жесты – жесты плавные, округлые, они выглядят царственно, мягко, заботливо.

Что дают мягкие жесты? Человек, у которого мягкие и плавные жесты, выглядит царственно, он двигается с чувством собственного достоинства.

Посмотрите, как королева подаёт руку для поцелуя – ни одного резкого движения, жест плавный от плеча до кончиков пальцев.

Мягкие жесты запускают чувство уверенности, спокойствия. Мягкие жесты делают голос человека теплее, интонации мягкими и душевными. Более того, мягкие жесты делают человека мягче и добрее внутри. Если вам надо провести мягкий разговор, за пятнадцать минут до него отрабатывайте мягкие жесты – увидите результат.

В основе мягких жестов лежат плавные движения рук, активные запястья и живые пальцы. Ладонь открывается не лопатой, каждый пальчик разгибается и сгибается независимо от остальных. Кисть руки свободно вращается в запястье, движения плавные, красивые: вверх-вниз, влево-вправо, восьмёрочки…

Как отрабатывать мягкие жесты

  • Копировать мягкие жесты из фильмов. Найдите фильм, в котором есть настоящая королева. Выберите несколько её плавных жестов и скопируйте их перед зеркалом. Составьте подборку из десяти-двадцати таких жестов и отработайте до совершенства.
  • Танцы. Мягкие жесты рук прекрасно развиваются в бальных танцах. Несколько месяцев занятий гарантируют вам плавные жесты рук.
  • Упражнения для запястий. Разминайте запястья, потяните запястье одной руки другой, потом потрясите руками, расслабьте. После этого поделайте восьмёрочки и «волны», старайтесь, чтобы движения были максимально плавные. Сначала медленно, потом быстрее.
  • Упражнения для пальцев. Используйте гимнастику для пальцев. Потом совместите движения пальцев из этой гимнастики с восьмёрочками запястий.
  • Поглаживания. Старайтесь чтобы все прикосновения к предметам были поглаживающими. Возьмите кружку со стола мягким, поглаживающим движением – как будто это не кружка, это маленький котёнок. А как вы берёте ручку двери? Как включаете чайник?
  • Закрытые глаза. Чтобы лучше привыкнуть к мягким рукам – закройте глаза. Постарайтесь быстро открыть дверь. Рука была мягкая или жёсткая? Жёсткая рука ударится, мягкая осторожно и быстрой коснётся ручки двери и откроет дверь. Или — с закрытыми глазами расставьте перед собой предметы и постарайтесь быстро переставить их на другие места. Сколько уронили? Какие были руки? Чем мягче руки, тем больше предметов вы возьмёте, а не уроните.
  • Объединяйте движения. Когда у вас отработаны плавные движения рук, запястий и пальцев, совмещайте эти движения, придумывайте свои красивые жесты, экспериментируйте.
  • Внедряйте в жизнь. В разговорах старайтесь помнить, что вы отрабатываете мягкие жесты. Первое время старайтесь жестикулировать как можно мягче, пока это не станет привычкой.

Отработка на Дистанции

Дистанция — система пошагового развития личности, а дистантники — те, кто по этой системе успешно занимаются. Посмотрите отчет, как была организована работа Дмитрия Романова по отработке мягких жестов, →


Хорошо жест рукой | Антидиффамационная лига

Примечание. По причинам, изложенным ниже, следует проявлять особую осторожность при оценке этого символа.

Жест рукой «хорошо», когда большой и указательный пальцы соприкасаются, а другие пальцы руки вытянуты, — это очевидный и древний жест, который возник во многих культурах на протяжении многих лет и имел разные значения.

Сегодня в употреблении, которое восходит к 17 веку в Великобритании, оно чаще всего означает понимание, согласие, одобрение или благополучие.С начала 1800-х этот жест все чаще стал ассоциироваться со словом «хорошо» и его аббревиатурой «ок». Этот жест также важен в индуистском и буддийском мире, а также в йоге, где он известен как мудра или витарка мудра , символ внутреннего совершенства. Жест рукой «хорошо» также является частью основы для ряда слов или понятий в американском языке жестов. Он появляется и во многих других контекстах.

Использование символа ОК в большинстве контекстов совершенно безобидно и безвредно.

В 2017 году жест рукой «хорошо» приобрел новое и иное значение благодаря розыгрышу участников веб-сайта 4chan, которые ложно продвигали этот жест как символ ненависти, утверждая, что этот жест представляет собой буквы «wp», означающие «белый». власть.» Обман с жестом «хорошо» был просто последним в серии подобных розыгрышей 4chan с использованием различных безобидных символов; в каждом случае мистификаторы надеялись, что СМИ и либералы слишком остро отреагируют, осудив распространенный образ сторонника превосходства белой расы.

В случае с жестом «хорошо» обман был настолько успешным, что символ стал популярной тактикой троллинга со стороны правых людей, которые часто публиковали фотографии в социальных сетях, на которых они позировали, делая жест «хорошо». .

По иронии судьбы, некоторые сторонники превосходства белой расы вскоре сами стали участвовать в такой тактике троллинга, что вызвало настоящее доверие к тем, кто назвал троллинг жест расистским по своей природе. К 2019 году, по крайней мере, некоторые сторонники превосходства белой расы, похоже, отказались от иронического или сатирического намерения, стоявшего за первоначальной троллинговой кампанией, и использовали этот символ как искреннее выражение превосходства белой расы, например, когда австралийский сторонник превосходства белой расы Брентон Таррант высветил этот символ в зале суда в марте 2019 года. появление вскоре после его ареста за предполагаемое убийство 50 человек в перестрелке в мечетях в Крайстчерче, Новая Зеландия.

Повсеместное использование жеста рукой «хорошо» сегодня по-прежнему является его традиционной целью как жеста, означающего согласие или одобрение. В результате нельзя предположить, что кто-то, кто использует этот символ, использует этот символ ни в контексте троллинга, ни, особенно, в контексте сторонников превосходства белой расы, если только не существуют другие контекстуальные доказательства, подтверждающие это утверждение. С 2017 года многие люди были ложно обвинены в расизме или сторонниках превосходства белой расы за использование жеста «хорошо» в его традиционном и безобидном смысле.

Другие, похожие на вид жесты рук также ошибочно считались имеющими коннотацию сторонников превосходства белой расы в результате мистификации «хорошо». Одним из них является так называемая «Круговая игра», в которой люди пытаются обмануть друг друга, чтобы они посмотрели на жест рукой, сделанный где-то ниже пояса. Другой — знак руки движения «Три процента», крыла антиправительственного экстремистского движения ополчения. Три процента, которые являются правыми экстремистами, но обычно не являются сторонниками превосходства белой расы, часто делают жест рукой, чтобы символизировать свое движение, которое использует вытянутый средний, безымянный и мизинец, чтобы представить римскую цифру «3».Этот жест с определенных ракурсов часто может напоминать жест рукой «хорошо», и некоторые неверно истолковывают его как символ сторонников превосходства белой расы.

Из-за традиционного значения жеста рукой «хорошо», а также из-за других обычаев, не связанных с превосходством белых, необходимо проявлять особую осторожность, чтобы не делать поспешных выводов о намерениях того, кто использовал этот жест.

 

 

7 жестов рук, которые делают вас похожим на настоящего интеллектуала

Вы определенно видели это когда-то.Может быть, это было на лекции в колледже. Может быть, это было в выступлении на TED, которое вы недавно смотрели. Кто-то пытается объяснить какую-то важную историческую связь, выстраивая грандиозную теорию искусства, или науки, или человеческого прогресса, а тут как бы рефлекторно: рука вздымается перед собой, как вздернутая клешня, пальцы медленно поворачивают невидимый циферблат. Это «Диалектика», один из жестов, которым вам нужно овладеть, чтобы стать настоящим идейным лидером.

Элис Мэй Уильямс и Жасмин Джонсон наблюдали «полный набор» этих жестов в процессе получения степени магистра иностранных дел в Голдсмитс-колледже в Лондоне.Стремясь вывести их из разреженного академического мира в жизнь обычных людей, дуэт создал удобный обучающий веб-сайт: Глоссарий жестов для критического обсуждения.

На протяжении своих курсов Уильямс и Джонсон видели, как эти жесты повторялись так часто, что «становилось трудно не заметить, как они распространяются от ученых к студентам и обратно», объясняют они — своего рода порочный круг перформативного мышления. Чем больше они смотрели, тем больше видели. Тщательно продуманные двуручные жесты обычно предназначались для ведущих ученых, приехавших в рамках серии лекций программы.«Диалектика» оказалась особенно популярной среди всех мыслителей. Это «бессознательное подергивание, которое говорит: «Отнеситесь ко мне серьезно», — говорят Уильямс и Джонсон.

Их виртуальное руководство включает в себя девять жестов. Чтобы исполнить «The Critical Whirl», просто вращайте рукой против часовой стрелки небольшим, но быстрым движением по направлению к публике. «Ускоряйтесь и повторяйте, пока идея не раскроется», — говорит нам веб-сайт. Это один из основных маневров, подходящий как для формальной академической обстановки, так и для разговоров о средствах производства за бокалом вина.

На более продвинутом уровне у вас есть что-то вроде «Очистка полки», маневр двумя руками, который включает в себя отталкивание содержимого воображаемого книжного шкафа, а затем быстрое сметание содержимого полки под ним в противоположном направлении. «Используйте при объяснении иерархий», — говорится в руководстве.

После некоторого вирусного успеха Уильямс и Джонсон перенесли свои материалы в реальный мир. Эти жесты были увековечены в серии плакатов для Public Assembly и теперь существуют в виде ряда удобных товаров, включая кухонные полотенца, подставки, кружки и, что наиболее впечатляюще, анимированную двояковыпуклую линейку.Здесь можно взять несколько. Вы удивитесь, как вы раньше думали без них.

Жест рукой «ОК» теперь считается символом ненависти: NPR

Жест рукой «ОК» входит в число 36 новых записей в базе данных «Ненависть на дисплее» Антидиффамационной лиги. Лукапьерро/Getty Images/RooM RF скрыть заголовок

переключить заголовок Лукапьерро/Getty Images/RooM RF

Жест рукой «ОК» входит в число 36 новых записей в базе данных «Hate on Display» Антидиффамационной лиги.

Лукапьерро/Getty Images/RooM RF

Жест рукой «ОК», обычно используемый как способ показать, что все хорошо, теперь классифицируется как нечто другое: символ ненависти.

В четверг Антидиффамационная лига, еврейская правозащитная организация, добавила 36 символов в свою базу данных «Ненависть на дисплее», включая указательный палец к большому пальцу, который в некоторых уголках Интернета стал ассоциироваться с превосходством белых. и крайний правый.

Орен Сигал, директор Центра экстремизма ADL, рассказал NPR, что в течение многих лет на второстепенных онлайн-форумах, таких как 4chan и 8chan, знак «ОК» использовался в мемах и других изображениях, пропагандирующих ненависть. Учитывая количество сторонников превосходства белой расы, принявших его, он сказал, что теперь он может нести гнусный посыл.

«Контекст всегда играет ключевую роль», — сказал Сигал. «Большинство людей будут использовать символ «ОК» просто как «ОК». Но в тех случаях, когда есть более подчеркивающий смысл, я думаю, важно, чтобы люди понимали, что это может быть использовано и используется также и для ненависти.»

Согласно веб-сайту Know Your Meme, в качестве шутки пользователи 4chan в 2017 году запустили кампанию по наводнению социальных сетей сообщениями, связывающими жест рукой «ОК» с движением за власть белых. Комментаторы на доске объявлений присвоили изображения людей, позирующих в Белом доме и других местах, изображающих символ руки, как доказательство того, что он завоевывает популярность.

Сигал сказал, что, хотя многие из этих изображений были неправильно истолкованы пользователями на онлайн-форумах, количество людей, выражающих ненависть при использовании этого жеста, стало настолько распространенным, что это уже нельзя считать розыгрышем.

Сигал указал на подозреваемого сторонника превосходства белой расы в Крайстчерче, Новая Зеландия, обвиняемого в убийстве 51 верующего в двух мечетях в марте, который продемонстрировал жест рукой «ОК» во время первоначального появления в суде.

«За последние пару лет мы увидели, что розыгрыш успешно применялся настоящими сторонниками превосходства белой расы, — сказал Сигал.

«Во многих отношениях они взяли то, что было попыткой троллинга, и добавили это в свой список символов», — добавил он.

В 2000 году ADL создала свою базу данных «Hate on Display», чтобы помочь правоохранительным органам, педагогам и другим представителям правоохранительных органов, педагогов и других представителей общественности отслеживать потенциальные предупредительные признаки антисемитизма и других видов антисемитизма. экстремизм. С тех пор база данных выросла до 214 записей.

Еще в сентябре 2016 года одним из наиболее заметных дополнений к базе данных был лягушонок Пепе, большеглазый зеленый мультяшный персонаж, который стал своего рода талисманом альтернативных правых.

Среди 36 символов, добавленных в четверг, среди 36 других символов есть и другие символы, в том числе «стрижка под горшок Диланна Руфа», отсылка к стрижке, которую носил вооруженный сторонник превосходства белой расы, убивший девять афроамериканцев в Африканской методистской епископальной церкви Эмануэля в Чарльстоне, Южная Каролина.

Последователи Руфа включили характерную стрижку в псевдонимы, такие как «Bowltrash» или «The Final Bowlution», или вместе называли себя «Bowl Gang», согласно ADL.

Другим дополнением является «Лунный человек», мем, созданный из рекламы McDonald’s 1980-х годов, который с тех пор был захвачен представителями альтернативных правых, которые прикрепляют к нему расистские песни, язык и образы.

Среди символов белых националистических групп в базе данных есть движение «Восстань выше» из Южной Калифорнии, которое, согласно ADL, утверждает, что «цель его — борьба с «разрушительным культурным влиянием» либералов, евреев, мусульман и небелые иммигранты.

ADL также представила недавно сформированное Движение за американскую идентичность, которое представляет собой ребрендинг Identity Evropa, считающейся одной из крупнейших групп сторонников превосходства белой расы. смерти женщины, а некоторые члены были «доксированы», то есть когда чья-то личная информация выкладывается в открытый доступ в Интернете.«Для всех практических целей AIM, по сути, является Identity Evropa с новым именем и логотипом», — говорится в сообщении ADL.

Джонатан Гринблатт, генеральный директор ADL, заявил в своем заявлении, что старые символы, жесты и другие изображения быстро приобретают новые, ненавистные ассоциации, которые могут быть слишком неясны для понимания широкой публикой.

«Мы считаем, что правоохранительные органы и общественность должны быть полностью информированы о значении этих изображений, которые могут служить первым предупреждающим знаком о присутствии ненавистников в сообществе или школе», — сказал он.

Алгоритм распознавания жестов рук, сочетающий в себе адаптивный алгоритм ручного типа и соотношение эффективной площади для эффективных граничных вычислений

1.

Введение

Взаимодействие человека с компьютером в настоящее время осуществляется в основном с помощью мыши, клавиатуры, пульта дистанционного управления и сенсорного экрана. Однако фактическое межличностное общение в основном осуществляется более естественным и интуитивным бесконтактным способом, таким как звук и физические движения, которые считаются гибкими и эффективными. Исследователи пытались разработать машины, которые распознают человеческие намерения с помощью бесконтактных способов общения, как это делают люди, например, по звуку, 1 выражениям лица, 2 языку тела, 3 и жестам. 4 , 5 Среди этих режимов жесты рук 6 являются важной частью человеческого языка, и, следовательно, развитие распознавания жестов рук влияет на характер и гибкость взаимодействия человека с компьютером. 7 11

В последние несколько десятилетий метод распознавания жестов обычно основан на информации об угле и положении, полученной с помощью перчаток для передачи данных. 12 Однако этот метод является дорогостоящим и использует носимые датчики, что делает его неудобным.Данные о жестах рук также собираются с помощью оптической камеры 13 15 или радара. 16 19 Оптическое распознавание жестов в основном использует камеры для захвата изображений жестов, а затем применяет методы машинного обучения 20 , 21 для извлечения признаков и распознавания. Коэльо и др. 14 использовал Kinect для захвата изображений RGB и глубины жестов рук. Напротив, методы бесконтактного распознавания на основе машинного зрения в настоящее время популярны, поскольку они имеют преимущества низкой стоимости, удобства и комфорта для человеческого организма.

В этой статье мы предлагаем адаптивный алгоритм руки, который может значительно уменьшить влияние типа руки на распознавание жестов. Это имеет преимущества, когда количество распознаваний невелико. По сравнению с популярными в настоящее время алгоритмами искусственного интеллекта и глубокого обучения, этот алгоритм имеет более низкие требования к оборудованию и больше подходит для встроенных граничных вычислений, которые также очень популярны в настоящее время.

Вклады этой статьи перечислены ниже:

  • (1) Мы разработали адаптивный алгоритм для решения проблемы низкой скорости распознавания, вызванной различными типами рук, с которыми не могут справиться традиционные простые алгоритмы.Поэтому предлагаемый алгоритм не распознает входные изображения жестов напрямую, а сначала классифицирует их по типу руки, а затем использует разные библиотеки образцов для распознавания по разным типам рук. Это повышает общую скорость распознавания при почти незначительном потреблении ресурсов.

  • (2) Использование предварительного распознавания жестов может сократить объем вычислительных и аппаратных ресурсов. Предлагаемый алгоритм использует функцию ярлыка для выбора трех жестов-кандидатов, а затем использует высокоточный и сложный алгоритм для определения последнего жеста среди жестов-кандидатов.Это не только повышает скорость распознавания жестов, но и обеспечивает точность распознавания.

  • (3) Мы выбрали отношение площади к периметру и отношение эффективной площади, чтобы получить признаки с низкой вычислительной сложностью, а потеря точности практически незначительна. Эти функции не чувствительны к большинству преобразований, поэтому они могут иметь дело с вращением, перемещением и масштабированием изображения в процессе распознавания жестов. Поскольку объем вычислений для их получения невелик, скорость распознавания может быть выше.

  • (4) Предлагаемый алгоритм реализован на аппаратных платформах с ограниченными ресурсами. В сравнительном эксперименте для реализации предложенного алгоритма используется ПЛИС и проводится сравнение с аппаратной платформой чипов серии Intel Core, которая имеет множество преимуществ в аппаратных ресурсах. FPGA достигла уровня распознавания 94,99%, что сравнимо с Intel. Более того, время распознавания жестов значительно сокращается, а затраты времени составляют менее половины от Intel при таком огромном разрыве в аппаратных ресурсах.

2.

Соответствующая работа

Извлечение характеристик жестов является одним из наиболее важных аспектов распознавания жестов. Как правило, точность и диапазон распознавания жестов зависят от объема извлеченной информации о свойствах жестов. Было предложено множество алгоритмов для распознавания жестов рук на изображениях. Также существует множество простых алгоритмов обработки изображений, таких как предлагаемый алгоритм. Они также пытались найти простой и практичный алгоритм, такой как выпуклая оболочка. 22 , 23 Вун Бо Шен и Тан Гуат Ю использовали выпуклую оболочку на этапе выделения признаков. Этот алгоритм прост и эффективен, но количество распознаваемых жестов невелико. Кроме того, основанный на методе Kinect для определения угла корпуса, 24 , этот алгоритм также имеет недостаток, заключающийся в малом количестве жестов распознавания. Аппаратное оборудование, необходимое для вышеперечисленных алгоритмов, дорогое и поэтому не способствует популяризации.

Кроме того, эти алгоритмы недостаточно интуитивны, чтобы представлять жесты рук, образованные разными типами рук. Другие алгоритмы рассматривают пальцы как признаки и обнаруживают их на основе обнаружения гребня, 25 30 круга, нарисованного на центроиде руки, 31 , 32 или выпуклого разложения. 33 Однако метод в Ref. 34 отнимает много времени, а другие 28 32 не эффективны для обработки пальцев с искажениями.Последующие алгоритмы классификации 28 , 32 основаны на обучении и требуют множества обучающих изображений для каждого класса. Более того, алгоритмы, использующие классификаторы правил и нулевые обучающие изображения 29 31 , не обладают адаптивностью к определенным жестам с искажениями и меняющимися позами. Поэтому необходимо соблюдать баланс между удобством и надежностью. Чжан и соавт. 34 предложил алгоритм распознавания, основанный на инвариантах момента Ху для вращающихся изображений.В статье алгоритм улучшен за счет изменения характеристического значения алгоритма Ху и вычисления сходства между распознаваемым изображением и эталонным изображением. Однако этот метод не является достаточно интуитивным и высокоточным, а производительность обнаружения в реальном времени не может быть гарантирована с использованием только функции момента Ху. Dardas и Georganas 35 выполнили масштабно-инвариантное преобразование признаков (SIFT) и извлечение признаков векторизации на изображениях, а затем использовали пакеты признаков и многоклассовые машины опорных векторов для распознавания жестов.Алгоритм SIFT имеет более высокую скорость распознавания, 36 , но вычислительная сложность алгоритма выше, поэтому скорость распознавания ниже, а производительность в реальном времени низкая.

Для распознавания и классификации подписей жестов рук были применены многочисленные методы, такие как машинное обучение, 37 40 анализ основных компонентов, 41 , 42 и дифференцирование . 43 , 44 Традиционное машинное обучение с учителем извлекает и классифицирует жесты с использованием предопределенных характеристических параметров (функций). 45 , 46 Однако во многих случаях оптимальные признаки неизвестны, что приводит к значительному изменению производительности классификатора в зависимости от выбранных признаков. Некоторые алгоритмы глубокого обучения имеют большой масштаб и требуют высокой производительности оборудования 47 49 и требуют большого количества обучающих выборок.Некоторым глубоким сетям требуется как обучение, так и поддержка графического процессора для онлайн-развертывания, что требует высоких требований к оборудованию и, следовательно, не подходит для небольших встроенных систем искусственного интеллекта. 50 52 Приведенные выше алгоритмы не разрабатывали и не отбирали функции для уменьшения объема вычислений. Им также не удалось решить проблему невозможности использования сложных алгоритмов распознавания жестов или недостаточной производительности в режиме реального времени при применении к встроенным системам искусственного интеллекта с ограниченными аппаратными ресурсами.

3.

Предлагаемый алгоритм

В этом исследовании распознавание жестов разделено на две части: (1) создание библиотеки образцов с помощью процесса, показанного на рис. 1. Три библиотеки образцов создаются в соответствии с ручным типом классификация. (2) Распознавание жестов с помощью процесса, показанного на рис.  2. Алгоритм адаптации руки сопоставляет подходящую библиотеку образцов для типа руки пользователя, тем самым уменьшая влияние типа руки на точность распознавания жестов. Количество образцов, которые окончательно идентифицируются, уменьшается за счет предварительного распознавания, что позволяет ускорить процесс распознавания.

Рис. 1

Блок-схема создания библиотеки образцов.

Рис. 2

3.1.

Создание библиотек для адаптации типа руки

Сначала выбираются объекты и измеряются их ладони. Далее испытуемых делят на три группы в зависимости от размера ладони, а именно: стройные, нормальные и широкие. Затем характеристики жестов трех групп субъектов рассчитываются отдельно для создания библиотеки образцов.

3.1.1.

Отбор субъектов

В данном исследовании после получения от них информированного согласия было отобрано 40 субъектов: 27 молодых людей (13 женщин и 14 мужчин) в возрасте от 15 до 35 лет, 8 человек среднего возраста (4 женщины и 4 мужчины), в возрасте от 36 до 55 лет и 5 пожилых (3 мужчины и 2 женщины) в возрасте от 56 до 70 лет.Собранные образцы представлены на рис. 3.

Рис. 3

Отображение образца жеста ладони.

3.1.2.

Получение данных типа руки

Во-первых, максимальная длина ладони, L1, измеряется от самого длинного кончика пальца до основания ладони, которая является первой отчетливой линией между ладонью и запястьем, близко к ладони . Затем измеряется максимальная длина пальца L2 от самого длинного кончика пальца до основания пальца. Наконец, измеряется ширина ладони L3.Схема измерений представлена ​​на рис. 4. Для уменьшения погрешности берется среднее значение трех измерений.

Рис. 4

Схема измерения ладони.

Измерения L1, L2 и L3 обеспечивают периферический контур выпуклой оболочки всей руки. При обработке изображений выпуклой оболочкой можно считать выпуклый набор, окружающий самый внешний слой изображения. Измерение периферического контура выпуклой оболочки руки показано на рис. 5. Определяют дефект выпуклой оболочки и его начальную точку.Определяют относительное положение ладони и пальцев и калибруют центральную точку и контур ладони. По центральной точке и радиусу ладони получают координаты самой нижней точки контура ладони, после чего изображение части запястья ниже самой нижней точки исключается. Получают ординаты кончика среднего пальца A1, нижней точки контура ладони A2, дефекта выпуклой оболочки среднего пальца A3 и центральной точки ладони A0. L1, L2 и L3 рассчитываются следующим образом:

Ур.(1)

{L1=A1-A3L2=A1-A2L3=2×(A0-A3).

Рис. 5

Схема измерения длины ладони.

3.1.3.

Классификация типов рук

На основе большого количества выборочных статистических данных отношение L2 к L1 умножается на 0,3, а отношение L3 к L1 умножается на 0,7 для получения различных типов рук, которые могут более точно отражать человеческие типы рук. Коэффициенты умножения являются эмпирическими значениями. Субъекты разделены на следующие три группы путем расчета веса с использованием уравнения.(2): 18 тонкий, нормальный или широкий. В таблице 1 перечислены измерения и группировка выбранных 40 субъектов:

Ур. (2) Тип

=(0,3L2+0,7L3)1L1.

Таблица 1

Параметры руки и группировка.

Тип руки Максимальная длина пальма (см) Максимальная длина пальца (см) ширина пальма (см) Количество предметов (см)
Slim 16.3-16 от 7,5 до 8,3 7.2 к 8.0 90 0 9
Нормальный
Normal 16.8 до 19.0 7.7 до 8.5 6.7 до 8,0 6,7 к 8,0 0 24
Широкие 18,2-16 от 8,1 до 9.3 7.6 до 8.3 7

3.1.4.

Создание трех библиотек образцов

Всего для создания библиотеки образцов было использовано 360 изображений, при этом угол обзора не изменился. Алгоритм, разработанный в этой статье, извлекает девять пространственных характеристик, включая отношение площади к периметру C, отношение эффективной площади E и момент Hu седьмого порядка Hu1, Hu2, …, Hu7.Рассчитайте значения признаков для девяти жестов рук в каждой группе и возьмите средние значения в качестве вектора признаков O {C, E, Hu1, Hu2, …, Hu7}. Векторы признаков тонкой группы, нормальной группы и широкой группы обозначаются OS, ON и OC соответственно. Среднее значение получается в соответствии с формулой. (3), где X обозначает среднее значение, x обозначает порядковый номер жеста, а n обозначает общее количество субъектов в группе:

Ур. (3)

X={xn+12,n∈Oddxn2+x(n2+1)2,n∈Even.

3.2.

Распознавание жестов

В этом исследовании обрабатывается изображение жеста только ладони и никакой другой части, например руки.Изображение жеста подвергается медианной фильтрации на этапе предварительной обработки изображения, а затем изображение преобразуется из цветового пространства RGB в цветовое пространство YCbCr, поскольку цвет кожи имеет хорошую кластеризацию в цветовом пространстве YCbCr, что позволяет сегментировать жест по цветовому пространству YCbCr. порог. Результат представлен на рис. 6, и его распределение удовлетворяет уравнению. (4). Затем на сегментированном изображении выполняется морфологическая операция, чтобы обеспечить регуляризацию пикселей жеста для соответствия требованиям точности последующих операций.Благодаря этой серии операций обеспечивается возможность распознавания жестов:

Eq. (4)

50≤Y≤255,87≤Cb≤142,132≤Cr≤151.

Рис. 6

(a) исходное изображение RGB, (b) изображение YCbCr и (c) изображение сегментации жестов в цветовом пространстве YCbCr.

3.2.1.

Извлечение признаков

В предыдущих исследованиях 28 30 для выделения признаков жестов использовалось евклидово расстояние между пикселем и его ближайшей границей в линейном времени.Здесь мы предлагаем другие функции следующим образом.

Отношение площади к периметру

Отношение площади к периметру C=SL не чувствительно к масштабированию и вращению жестов и может хорошо различать типы рук.

Периметр L рассчитывается следующим образом:

Ур. (5)

L=∑∑f(x,y),f(x,y)={1,(x,y)∈V0,(x,y)∉V.

Площадь S рассчитывается следующим образом:

Ур. (6)

S=∑∑q(x,y),q(x,y)={1,(x,y)∈R0,(x,y)∉R.

В уравнениях. (5) и (6), V представляет собой площадь в пикселях края жеста, обозначенную синим цветом на рис.7. R представляет собой площадь пикселя жеста, обозначенную белым цветом на рис. 7. Таким образом, получается первый важный параметр этого исследования, отношение площади к периметру. Факторы шума и света отрицательно влияют на сегментацию жестов, создавая заусенцы на краях жеста. Однако этот эффект незначителен.

Рис. 7

Схема функции жестов.

Коэффициент эффективной площади

В отличие от Erdem Yavuz 26 и Jiajun Zhang, 27 , мы используем коэффициент эффективной площади жеста в качестве характеристики.Отношение эффективной площади жеста определяется как отношение площади жеста к площади минимального ограничивающего прямоугольника (MBR, который представляет собой прямоугольник, который может содержать весь жест):

В приведенном выше уравнении E представляет эффективную -отношение площади при допустимом уровне шума. Shand — это сумма белых пикселей во всей области жеста, а SMBR — это сумма всех пикселей в MBR в бинарном изображении, как показано на рис. 7. Причина введения понятия отношения эффективной площади заключается в следующем. для достижения высокой точности и контроля шума в допустимых пределах.

Алгоритм инвариантного момента Ху эффективен для распознавания изображений. Он описывает картину из общего признака, а Ху-инвариантные моменты седьмого порядка остаются неизменными для поворота, переноса и масштабного преобразования изображения. Таким образом, алгоритм инвариантного момента Ху извлекает математические характеристики, которые являются постоянными как для поворота изображения, так и для масштабирования. Этот метод имеет преимущества хорошей стабильности и точного распознавания в процессе распознавания жестов и подходит для распознавания жестов с небольшими вариациями.

Геометрическое расстояние порядка (p+q) цифрового изображения f(x,y) определяется следующим образом:

Ур. (8)

mpq=∑x∑yxpyqf(x,y), где p,q=0,1,2.

Геометрическое расстояние между центрами равно

Ур. (9)

µpq=∑x∑y(x−x¯)p(y−y¯)qf(x,y).

Центр тяжести равен (x¯,y¯)

Уравнение. (10)

х¯=m10m00,y¯=m01m00.

В уравнении В (10) m10, m01 — геометрические моменты изображения первого порядка, m00 — геометрическое расстояние изображения нулевого порядка. Для бинарных изображений геометрическим центром изображения является точка (x¯,y¯).mpq меняется со сменой образа. Хотя μpq обладает трансляционной инвариантностью, он чувствителен к повороту изображения. Поэтому, если функция представлена ​​непосредственно геометрическим расстоянием до центра и нормальным моментом, они не могут сделать параметры функции инвариантными как к перемещению, так и к масштабированию и вращению. Центральный момент можно нормализовать, что инвариантно к вращению, перемещению и масштабированию изображения.

Нормированный центральный момент равен

, где p,q=0,1,2…,r=p+q+22.

Инвариантные моменты седьмого порядка определяются нормированными центральными моментами второго и третьего порядка, которые инвариантны к преобразованию, вращению и масштабированию цели. Вычисление инвариантного момента бинарного изображения или изображения серого довольно сложно, что ограничивает его использование. Чтобы добиться более быстрого расчета инвариантного момента, в этом исследовании выполняется извлечение момента Ху на контуре жеста.

3.2.2.

Адаптация ручного типа

Классификатор, используемый в следующем процессе распознавания жестов, в основном представляет собой сопоставление с шаблоном.Сопоставление шаблонов в основном реализуется за счет расчета расстояния. Адаптивный алгоритм ручного типа реализуется с использованием соотношения площади и периметра жеста. Для адаптации к ручному типу пользователю необходимо последовательно ввести от 1 до 9 жестов. Затем рассчитываются отношения площади к периметру c девяти жестов, которые затем используются для построения вектора отношения площади к периметру C=(c1,⋯,c9). Этот алгоритм вычисляет евклидово расстояние между C и OS, ON и OC и выбирает библиотеку образцов с наименьшим евклидовым расстоянием в качестве парной библиотеки образцов.Библиотека образцов OS, ON или OC содержит девять векторов, и C сравнивается с первым элементом девяти векторов. Поскольку первым элементом вектора также является отношение площади к периметру, это расстояние используется для оценки того, какая библиотека образцов является парной библиотекой образцов. Евклидово расстояние рассчитывается следующим образом:

Ур. (12)

D(C,OS)=(c1−o11)2+⋯+(c9−o91)2,c∈C,  o∈O,  O∈OS. Уравнение (12) выбрано в качестве парадигмы расстояния «СО». Аналогичным образом можно вычислить D(C,ON) и D(C,OC).

3.2.3.

Предварительное распознавание жестов

Основной целью этого шага является сокращение объема вычислений для окончательного распознавания, особенно когда количество распознанных образцов очень велико. Образцы-кандидаты можно быстро определить по соотношению эффективных площадей, что значительно снижает объем вычислений, необходимых в процессе сопоставления шаблонов на основе инвариантных моментов Ху, и повышает скорость распознавания жестов. Благодаря опыту можно легко рассчитать соотношение эффективной площади, поэтому жесты можно быстро распознавать с высокой скоростью распознавания.

Предварительное распознавание жестов: по формуле. (12) вычисляется евклидово расстояние E между текущим жестом и каждым жестом в библиотеке образцов. Было получено девять значений расстояния на основе Е. Девять евклидовых расстояний сортируются от малых к большим {HE1,⋯,HE9}, и первые три берутся в качестве выборок-кандидатов.

3.2.4.

Окончательное распознавание жестов

Последний этап распознавания жестов выглядит следующим образом: функция, используемая на этом этапе, представляет собой момент Ху седьмого порядка.Значение семимерного признака в образце базы данных можно рассматривать как среднюю точку. Теперь алгоритму нужно работать только с тремя выбранными выборками-кандидатами. Евклидово расстояние HGVz момента Hu седьмого порядка между жестом, который необходимо распознать, и образцом-кандидатом. HGV рассчитывается по уравнению. (12). HGVz рассчитывается с использованием уравнения. (13), а жест Vz в трех образцах-кандидатах является окончательным результатом распознавания:

Ур. (13)

HGVz=min{HGV1,HGV2,HGV3},z=1,⋯,3.

На рис. 8 показан скриншот процесса распознавания жестов алгоритмом в видеопотоке.

Рис. 8

Скриншот имитации алгоритма распознавания жестов.

4.

Эксперимент и результаты

В этом исследовании для экспериментов по распознаванию были выбраны девять жестов, обычно используемых в жизни, как показано на рис. 9. В этом эксперименте 40 субъектов были повторно отобраны в соответствии с приведенными выше правилами отбора. Эксперимент проводился в условиях стабильного освещения, меньшего количества шумов и отсутствия лица на снимке.Перед началом эксперимента было отобрано 40 испытуемых мужского и женского пола с разной формой ладоней для создания соответствующих библиотек образцов жестов для каждого жеста на расстоянии 55 см от камеры, как показано на рис. 3. Для каждого жеста три группы A, B и C последовательно сохраняют отношение площади к периметру, отношение эффективной площади и моменты Hu седьмого порядка в библиотеке образцов жестов. Экспериментальная среда этого исследования была следующей: система Windows 10, Intel ® Core™ i7-10700F @2.Аппаратная платформа с частотой 90 ГГц и 16 ГБ ОЗУ. Используя обычную USB-камеру в качестве устройства регистрации жестов, весь эксперимент был реализован на программной платформе MATLAB 2012a, TensorFlow и FPGA, включая предварительную обработку изображений, адаптивную ручную адаптацию и распознавание жестов. Камера Kinect использовалась в Ref. 14, но его сложно и трудно коммерциализировать в больших масштабах из-за его высокой стоимости.

Рис. 9

Изображения интерактивных жестов рук.

4.1.

Фиксированное положение

В этой статье были выбраны новые 40 субъектов, отличающиеся от предыдущих 40 субъектов во время создания библиотеки образцов.Каждый субъект выполнял жесты, показанные на рис. 9, в фиксированном положении (положительное направление оси y на рис. 10, то есть положение 0 градусов, находилось на расстоянии 55 см от камеры), при этом на каждого субъекта было проведено 10 экспериментов. . В таблице 2 представлены показатели распознавания.

Рис. 10

Иллюстрация вращения жестов.

Таблица 2

Фиксированная скорость распознавания местоположения.

8
Жест Правильные жесты Точность (%)
1 393 98.25
2 391 97,75
3 389 97,25
4 390 97,50
5 391 97,75
6 386 96.50
7 383 95.75 95.75
8 387 96.75 96.75
9 392 98.00

4.2.

Условие вращения

Для каждого испытуемого проводится пять экспериментов для каждого жеста (600 экспериментов для каждого жеста) при трех углах поворота: −45  °, 45° и 90° (т. е. угол между жестом и y оси, как показано на рис. 10). В таблице 3 представлены показатели распознавания. И Dardas 35 , и Sykora 36 могут идентифицировать повернутые изображения, но они сложны и имеют низкую производительность в реальном времени. Моменты Ху инвариантны к вращению и масштабу, поэтому ожидается, что результаты не изменятся при вращении и изменении масштаба руки.Алгоритм в этой статье представляет собой комбинацию нескольких функций, а не только функций Ху, поэтому этот эксперимент необходим.

Таблица 3

Скорость распознавания при трех углах поворота.

45 96,50 191 95.50 95,00 45 96,00 188 94.00 92,50 9
Жест
Угол Угол (DEG) Правильные жесты Точность (%) Угол Правильные жесты Точность (%) Угол (%) Угол Правильные жесты Точность (%)
1 −45 192 96.00 193 96,50 90 193
2 -45 192 96,00 45 190 95,00 90
3 -45 189 94,50 45 188 94,00 90 190
4 -45 193 96 .50 192 96,00 90 192
5 -45 187 93,50 45 185 92,50 90
6 -45 185 92,50 45 184 92,00 90 185
7 -45 182 91 .00 45 182 91.00 91.00 9100 903
9 -45 187 93.50 45 186 93,00 93.50
9 -45 -45 95.00 95.00 95.00 45 95.50 95.50 99 94.50 0 94.50

4.3.

Различные расстояния

Для каждого испытуемого было проведено по пять экспериментов на каждый жест (по 600 экспериментов на каждый жест) на трех расстояниях (расстояние от камеры): 40, 70 и 85 см. Показатели распознавания представлены в таблице 4.

Таблица 4

Показатели распознавания на разных расстояниях.

96.00 93.50
жест
Расстояние Правильные жесты Точность (%) Дистанция Правильные жесты Точность (%) Расстояние (%) Расстояние правильные жесты Точность (%)
1 40 196 98.00 70 197 98,50 85 193 96,50
2 40 195 97,50 70 194 97,00 85 193 96.50
3 40 194 97,00 97.00 194 97.00 97.00 85 192 96.00
4 40 193 96.50 70 195 97,50 85 192 96,00
5 40 194 97,00 70 193 96,50 85 191 95.50
6 40 190 95.00 95.00 95.00 95.00 95.00 85 97 93.50
7 40 188 94.00 70 187 93,50 85 184 92,00
8 40 191 95,50 70 191 95,50 85 188 94.00
9 40 9 40 197 98.50 98.50 70 196 98.00 98.00 85 196 98.00 98.00

4.4.

Сравнение алгоритмов

Чтобы лучше проиллюстрировать инновации и преимущества этого алгоритма, были разработаны следующие сравнительные эксперименты. Связанные статистические данные показаны на рис. 11. Учитывая требования предлагаемого алгоритма к точности и реальному времени, число подтипов установлено равным трем. В этой статье проводится сравнение типов рук, разделенных на три подтипа и без подтипов. Как показано на рис. 11(а), эксперимент подтвердил, что типы рук были разделены на три подтипа, что повысило общий показатель точности почти на 3%.Предложенный алгоритм сравнивается с аналогичными алгоритмами концепции проектирования. Как показано на рис. 11(b), его сравнивали с двумя отличными алгоритмами с аналогичными концепциями дизайна. В той же экспериментальной среде скорость распознавания этого алгоритма немного выше, чем у двух других алгоритмов. Но алгоритм в этой статье больше подходит для автономных сценариев, таких как встроенный искусственный интеллект. Кроме того, за счет введения жестов-кандидатов количество жестов может быть увеличено при обеспечении точности и реального времени.Время отклика трех алгоритмов в эксперименте в основном одинаково. Предлагаемый алгоритм использует жесты-кандидаты для преодоления присущих им недостатков сопоставления шаблонов. Например, потребление вычислительных ресурсов увеличивается по мере увеличения количества шаблонов, и трудно гарантировать точность и производительность алгоритма в реальном времени. Результаты эксперимента представлены на рис. 11(с) и 11(d). Время отклика алгоритма с жестами-кандидатами лучше, чем без жестов-кандидатов.

Рис. 11

Сравнение алгоритмов с одинаковой концепцией дизайна.

Следующие эксперименты были проведены с алгоритмами глубокого обучения (CNN) 47 49 и алгоритмами момента Hu. 34 Shen et al. 47 объединяет CNN с различными методами, такими как рентген, и CNN используется для обнаружения границ, выделения признаков и распознавания. Сетевая архитектура от Dayal et al. 49 включает пять комбинированных сверточных слоев, и каждый сверточный комбинированный слой состоит из нескольких подсверточных слоев, нелинейных слоев ReLU и объединенных слоев.Двухканальная CNN (DC-CNN) 48 повысила скорость распознавания жестов рук и повысила способность CNN к обобщению. Несколько каналов могут получить больше потерянной информации и сделать идентификацию более точной. Итак, мы в основном использовали DC-CNN для проведения сравнительных экспериментов. Структура DC-CNN состоит из двух относительно независимых сверточных нейронных сетей. Каждый канал содержит одинаковое количество сверточных слоев и параметров. После слоя объединения двойные каналы соответственно подключаются к полному слою соединения, и выполняется полная карта соединения.Для каждого жеста используется 200 изображений. Такое небольшое количество образцов несправедливо по отношению к глубокому обучению. Тем не менее, этот сравнительный эксперимент предназначен для того, чтобы показать преимущество предлагаемого алгоритма при малом объеме выборки. Этот эксперимент предназначен только для того, чтобы проиллюстрировать слабые стороны глубокого обучения, а не для того, чтобы объяснить, что точность глубокого обучения невысока. Сначала проводились эксперименты с фиксированным положением: угол поворота 0 градусов и расстояние 55 см от камеры. Скорость распознавания представлена ​​на рис.12. Далее были проведены эксперименты с сохранением углов поворота испытуемых -45   градусов, 45 градусов и 0 градусов для каждого жеста и с фиксированным расстоянием 55 см; показатели распознавания представлены на рис. 13. Наконец, для каждого субъекта были проведены эксперименты на расстоянии 40, 70 и 85 см для каждого жеста. Показатели распознавания представлены на рис. 14.

Рис. 12

Сравнение показателей распознавания в фиксированном месте.

Рис. 13

Сравнение скорости распознавания при разных углах поворота.

Рис. 14

Сравнение показателей распознавания на разных расстояниях.

Причиной низкой точности жеста 3 и жеста 7 является особенность, принятая алгоритмом в этой статье. Хотя отношение площади к периметру и отношение эффективной площади имеют преимущество небольшого объема вычислений, жест три с большей вероятностью будет распознан как жест два или жест четыре. Жест 7 с большей вероятностью будет распознан как жест 6. Поскольку общая скорость распознавания по-прежнему хорошая, мы всесторонне оценили преимущества и недостатки и, наконец, решили продолжить их использование.

Для более полного сравнения мы также суммировали точность, время отклика и аппаратную платформу в таблице 5. Платформой аппаратной проверки предлагаемого алгоритма является чип Altera EP4CE15F17C8N и аппаратное обеспечение Intel ® Core™ i7-10700F @2,90 ГГц. платформа с 16 ГБ ОЗУ. Два других алгоритма также были воспроизведены на аппаратной платформе Intel ® Core™ i7-10700F с частотой 2,90 ГГц и 16 ГБ ОЗУ. Показатель точности является средним из трех случаев (рис.15).

Таблица 5

Дальнейшее сравнение по времени отклика и оборудованию.

8

8 00F
алгоритм Алгоритм Уровень точности (%) Реакция скорости (ы) Аппаратная платформа
Глубокое обучение [47-49] 95.90 0.088 Intel ® Core ™ I7- 10700F
HU Momment [34] 90.55 0.076 0.076 Intel ® Core ™ I7-10700F
Предлагаемый алгоритм 95.51 0.058 Intel INTEL ® Core ™ I7-10700F
94.99 94.99 94.99 0.037 FPGA

Рис. 15

Компиляция отчета о аппаратных ресурсах FPGA.

Мы хотим предоставить простой и эффективный алгоритм, который часто упускают из виду, но в некоторых областях он крайне необходим. Он не используется для сложных разговоров человека с компьютером, поэтому его точность и способность к обобщению достаточно хороши.Как показано в таблице 6, его точность очень близка к глубинному обучению, но потребляемые им аппаратные ресурсы очень малы. Как показано на рис. 16, потребление ресурсов ПЛИС относительно невелико. Следовательно, в практических приложениях могут быть выбраны меньшие аппаратные ресурсы. Это также совпадает с попыткой этой статьи предоставить простой и эффективный алгоритм для применения в некоторых высокопроизводительных и маломощных встроенных сценах.

Таблица 6

Скорость использования аппаратных ресурсов ПЛИС.

8

Всего Всего используется Уровень использования (%)
15408 5819 5819 38
У пользователя I / O Interface 166 156 94
Общая площадь хранения 516096 58880 11
Умножитель 112 5 4
фазовой автоматической подстройки частоты 4 1 25

Рис.16

Схема отображения результатов сопряжения ручного типа S.

4.5.

Результаты адаптивного ручного типа

Результаты эксперимента для адаптивного частичного спаривания ручного типа представлены на рис. 16 и 17. Адаптивный алгоритм ручного типа должен был обработать девять жестов, но результат сопряжения может быть выведен только после обработки последнего жеста. Поэтому здесь представлено только последнее изображение с окончательным результатом сопряжения.

Рис. 17

Схема отображения результатов сопряжения ручного типа M.

5.

Обсуждение

Результаты эксперимента показали, что в экспериментах участвовало 40 испытуемых, всего было обработано и идентифицировано 5400 изображений жестов в различных ситуациях. Предлагаемый метод, который представляет собой простой метод распознавания жестов рук в сочетании с адаптивным алгоритмом ручного типа, использующий соотношение эффективной площади, может хорошо реализовать распознавание жестов в реальном времени. При фиксированной позиции общий уровень распознавания составил более 94%.Уровень распознавания составил более 94% на разных расстояниях от камеры и превысил 93% на разных углах поворота. Кроме того, из-за комбинации распознавания признаков алгоритма момента Ху высокая скорость распознавания может по-прежнему поддерживаться для жестов с небольшой степенью дифференциации, таких как жест 6, жест 7 и жест 8. Девять типов жестов представлены в Рис. 9 были идентифицированы в той же ситуации, и было записано время распознавания каждого жеста.Было рассчитано среднее время распознавания девяти жестов, которое составило 355,27 мс для алгоритма, основанного на моментах Ху, и 41,79 мс для предложенного алгоритма. Это подтверждает, что предложенный метод может расширить возможности распознавания жестов в будущем.

6.

Выводы

В этом исследовании был предложен простой алгоритм распознавания жестов рук, который сочетает в себе адаптивный алгоритм ручного типа и коэффициент эффективной площади. Библиотека образцов спаривается с использованием адаптивного алгоритма ручного типа.Соотношение эффективной площади цели извлекается для реализации первоначального распознавания жеста и повышения скорости распознавания жестов. Комбинируя суждения о признаках момента Ху, жесты с небольшой степенью дифференциации могут быть хорошо распознаны. Эксперименты показали, что предложенный алгоритм имеет высокую скорость распознавания и хорошую устойчивость при различных расстояниях от руки до камеры, углах поворота и типах рук. В частности, адаптивный алгоритм ручного типа и начальное распознавание жестов позволяют повысить общую скорость и скорость распознавания.Предлагаемый алгоритм распознавания прост и удобен в реализации. Он обладает сильной стабильностью и практичностью при условии относительно стабильной освещенности окружающей среды и сложного фона.

Однако предложенный алгоритм имеет некоторые ограничения. Хотя эксперимент может справиться со сложным фоном, для эффективного распознавания требуются относительно стабильные условия освещения. Кроме того, количество распознаваемых жестов относительно невелико. Дальнейшая работа будет сосредоточена на решении световых эффектов и определении большего количества жестов.

Благодарности

Эта работа была частично поддержана Национальной ключевой программой исследований и разработок Китая в рамках грантов № 2017YFA0206200 и 2018YFB2202601; частично Национальным фондом естественных наук Китая (NSFC) в рамках грантов № 61834005 и 613. Эта рукопись была одобрена Народным правительством округа Наньган, Харбин. Народное правительство района Наньган города Харбин отказалось от информированного согласия всех субъектов.

Ссылки

8.

Д. Сидобре и др., «Взаимодействие человека и робота», Продвинутая бимануальная манипуляция, 123 –172 Springer, Гейдельберг, Берлин (2012). Google ученый

9.

Г. Коллеггер и др., «BIMROB-двунаправленное взаимодействие между человеком и роботом для обучения движениям», в проц. 11-й междунар. Симп. вычисл. науч. Спорт, 151 –163 (2017). Google ученый

10.

М. Даушан и др., «Организация формирования тела модульных автономных роботов с использованием виртуального эмбриогенеза». Новые тенденции в медицинских и сервисных роботах, 73 –86 Спрингер, Чам (2018).Google ученый

11. 

Т. Петрич, М. Цевзар, Ю. Бабич, «Совместное управление задачами совместной манипуляции человека и робота», Достижения в области сервисной и промышленной робототехники, 787 –796 Спрингер, Чам (2018). Google ученый

17. 

Л. Ронг и др., «Улучшенный дизайн фильтра обнаружения ошибок уменьшенного порядка для политопических неопределенных марковских систем скачков с дискретным временем и изменяющимися во времени задержками», Сложность, 2018 1 –15 (2018).https://doi.org/10.1155/2018/9489620 COMPFS 1076-2787 Академия Google

22. 

X. Z. Zhao et al., «Метод диагностики неисправностей вращающихся механизмов с использованием составной многомасштабной энтропии нечеткого распределения и минимальной ошибки аппроксимации выпуклой оболочки», Изм. науч. Техн., 32 (2), 025010 (2021). https://doi.org/10.1088/1361-6501/abbd11 MSTCEP 0957-0233 Академия Google

23. 

В. Б. Шен и Т. Г. Ю, «Метод разделения в шумоподавлении и гибридный алгоритм выпуклой оболочки для обнаружения кончиков пальцев на вытянутой руке», АИП конф.проц., 1830 020011 (2017). https://doi.org/10.1063/1.4980874 Академия Google

27. 

Дж. Чжан и З. Ши, «Деформируемая глубокая сверточная генеративно-состязательная сеть в системе распознавания жестов рук на основе микроволн». в 9-м межд. конф. Беспроводная связь. и сигнальный процесс., 1144 –1153 (2017). https://doi.org/10.1109/WCSP.2017.8170976 Академия Google

35. 

Н. Х. Дардас и Н. Д. Георганас, «Обнаружение и распознавание жестов рук в реальном времени с использованием набора функций и методов машины опорных векторов», IEEE транс.Инструм. изм., 60 (11), 3592 –3607 (2011). https://doi.org/10.1109/TIM.2011.2161140 IEIMAO 0018-9456 Академия Google

42.

М. Лян и др., «Конфигурация реконфигурируемой матрицы для реализации системы обработки изображений микроволнового компрессионного зондирования на основе анализа основных компонентов (PCA)», Антенны IEEE Беспроводное распространение. Летт., 14 1039 –1042 (2015). https://doi.org/10.1109/LAWP.2014.2386356 IAWPA7 1536-1225 Google Scholar

51.

Э. Нурвитадхи и др., «Могут ли FPGA превзойти GPU в ускорении глубоких нейронных сетей нового поколения?» в проц. ACM/SIGDA Междунар. Симп. Полевая программа. Массивы ворот, 5 –14 (2017). Google ученый

52.

С. Хан и др., «EIE: эффективный механизм вывода на сжатой глубокой нейронной сети», в проц. 43-й междунар. Симп. вычисл. Архит., 243 –254 (2016). Google ученый

Биография

Цян Чжан является кандидатом наук в Школе науки и технологии микроэлектроники Университета Сунь Ятсена, Чжухай, Китай.Его исследовательские интересы включают машинное зрение, обработку изображений и встроенный искусственный интеллект.

Shanlin Xiao получил степень бакалавра в области инженерии связи и степень магистра в области связи и информационных систем в Университете электронных наук и технологий Китая, Чэнду, Китай, в 2009 и 2012 годах соответственно. В 2017 году он получил докторскую степень в области коммуникаций и вычислительной техники в Токийском технологическом институте, Токио, Япония. В настоящее время он является адъюнкт-профессором в Школе электроники и информационных технологий Университета Сунь Ятсена, Гуанчжоу, Китай.

Zhiyi Yu работает в Школе электроники и информационных технологий Университета Сунь Ятсена, Гуанчжоу, Китай, а также в Школе науки и техники микроэлектроники Университета Сунь Ятсена, Чжухай, Китай.

Хуанлян Чжэн работает в Школе электроники и информационных технологий Университета Сунь Ятсена.

Пэн Ван — профессор Школы электротехники и электроники Харбинского университета науки и технологий.

Распознавание жестов рук в реальном времени с использованием сегментации пальцев

Распознавание жестов рук очень важно для взаимодействия человека с компьютером. В этой работе мы представляем новый метод распознавания жестов рук в режиме реального времени. В нашем фреймворке область руки извлекается из фона методом вычитания фона. Затем ладонь и пальцы сегментируются, чтобы обнаружить и распознать пальцы. Наконец, применяется классификатор правил для прогнозирования меток жестов рук.Эксперименты на наборе данных из 1300 изображений показывают, что наш метод работает хорошо и очень эффективен. Более того, наш метод показывает лучшую производительность, чем современный метод, на другом наборе данных о жестах рук.

1. Введение

Как известно, технология распознавания жестов рук, основанная на зрении, является важной частью взаимодействия человека с компьютером (HCI). В последние десятилетия клавиатура и мышь играют важную роль во взаимодействии человека с компьютером. Однако из-за быстрого развития аппаратного и программного обеспечения потребовались новые типы методов HCI.В частности, большое внимание в области HCI уделяется таким технологиям, как распознавание речи и распознавание жестов.

Жест — это символ физического поведения или эмоционального выражения. Он включает в себя жесты тела и жесты рук. Он делится на две категории: статический жест [1–4] и динамический жест [5–8]. Для первых поза тела или жест руки обозначают знак. Для последнего движение тела или руки передает некоторые сообщения. Жест можно использовать как средство общения компьютера и человека [9–11].Он сильно отличается от традиционных аппаратных методов и может обеспечивать взаимодействие человека с компьютером посредством распознавания жестов. Распознавание жестов определяет намерение пользователя посредством распознавания жеста или движения тела или частей тела. В последние десятилетия многие исследователи стремились улучшить технологию распознавания жестов рук. Распознавание жестов рук имеет большое значение во многих приложениях, таких как распознавание языка жестов [12–15], дополненная реальность (виртуальная реальность) [16–19], сурдопереводчики для инвалидов [20] и управление роботами [21, 22]. .

В [12, 13] авторы обнаруживают область руки на входных изображениях, а затем отслеживают и анализируют траекторию движения, чтобы распознать американский язык жестов. В [23] Shimada et al. предложить интерфейс управления телевизором с помощью распознавания жестов рук. Кескин и др. [24] разделили руку на 21 область и обучили классификатор SVM моделировать совместное распределение этих областей для различных жестов рук, чтобы классифицировать жесты. Цзэн и др. [20] улучшить медицинское обслуживание за счет распознавания жестов рук.Система распознавания HCI интеллектуального инвалидного кресла включает в себя пять жестов рук и три составных состояния. Их система надежно работает в помещении и на улице, а также в условиях изменения освещения.

Рабочий процесс распознавания жестов рук [25–27] описывается следующим образом. Во-первых, область руки определяется по исходным изображениям с устройств ввода. Затем извлекаются некоторые виды признаков для описания жестов рук. Наконец, распознавание жестов рук осуществляется путем измерения сходства данных признаков.Устройства ввода, предоставляющие информацию об исходном изображении, включают обычную камеру, стереокамеру и камеру ToF (времяпролетную). Стереокамера и камера ToF дополнительно предоставляют информацию о глубине, поэтому можно легко отделить область руки от фона с точки зрения карты глубины. Для обычной камеры цвет кожи, чувствительный к условиям освещения, и характерные точки объединяются для надежного обнаружения и сегментации области руки. Когда область интереса (ROI, область руки в случае) обнаружена, необходимо извлечь функции из области ROI.Цвет, яркость и значения градиента являются широко используемыми функциями. Ли и Китани [28] описывают различные функции для обнаружения области руки, включая отклик фильтра Габора, HOG, SIFT, BRIEF и ORB. Для распознавания жестов рук обучаются различные классификаторы, например, SVM (автомат опорных векторов), HMM (скрытая марковская модель), CRF (условное случайное поле) и адаптированный повышающий классификатор для распознавания жестов рук. Хотя эффективность распознавания этих сложных классификаторов высока, затраты времени очень высоки.

В этой статье мы представляем эффективный и действенный метод распознавания жестов рук. Область руки определяется методом вычитания фона. Затем ладонь и пальцы разделяются, чтобы распознать пальцы. После распознавания пальцев жест рукой можно классифицировать с помощью простого классификатора правил.

Новизна предлагаемого метода заключается в следующем. (i) Первая новизна предлагаемого метода заключается в том, что распознавание жестов рук основано на результате распознавания пальцев.Следовательно, распознавание выполняется с помощью простого и эффективного классификатора правил вместо сложных, но сложных классификаторов, таких как SVM и CRF. (ii) В некоторых предыдущих работах пользователям требовалось надевать перчатку данных [29] для получения данных о жестах рук. Однако специальные датчики данных перчаток дороги и сдерживают их широкое применение в реальной жизни. В работе [25] авторы используют TOF-камеру, то есть датчик Kinect, для захвата глубины окружающей среды и специальную ленту, надетую на запястье, для обнаружения области руки.В нашем подходе используется только обычная камера для захвата зрительной информации о жесте руки, при этом не требуется помощь специальной ленты для обнаружения областей руки. (iii) Третье преимущество предлагаемого метода заключается в том, что он очень эффективен и подходит для приложения реального времени.

Остальная часть статьи организована следующим образом. В разделе 2 подробно описан предлагаемый метод распознавания жестов рук. В разделе 3 производительность нашего подхода оценивается на наборе данных о жестах рук.Затем наш метод сравнивается с современным методом (FEMD) [25] на другом наборе данных о жестах рук. Раздел 4 представляет заключение и будущие работы.

2. Предлагаемый метод распознавания жестов рук
2.1. Обзор метода

Обзор распознавания жестов рук показан на рисунке 1. Сначала рука обнаруживается с использованием метода вычитания фона, а результат обнаружения руки преобразуется в бинарное изображение. Затем пальцы и ладонь сегментируются, чтобы облегчить распознавание пальцев.Более того, пальцы обнаруживаются и распознаются. Наконец, жесты рук распознаются с помощью простого классификатора правил.


2.2. Обнаружение рук

Исходные изображения, использованные для распознавания жестов рук в работе, показаны на рис. 2. Эти изображения сняты обычной камерой. Эти изображения рук сделаны при одинаковых условиях. Фон этих изображений идентичен. Таким образом, легко и эффективно выделить область руки на исходном изображении с помощью метода вычитания фона.Однако в некоторых случаях в результат вычитания фона включаются другие движущиеся объекты. Цвет кожи можно использовать, чтобы отличить область руки от других движущихся объектов. Цвет кожи измеряется с помощью модели HSV. Значение HSV (оттенок, насыщенность и значение) цвета кожи составляет 315, 94 и 37 соответственно. Размер изображения обнаруженной руки изменяется, чтобы сделать распознавание жестов инвариантным к масштабу изображения.


2.3. Сегментация пальцев и ладоней

Результатом обнаружения руки является бинарное изображение, в котором белые пиксели являются элементами области руки, а черные пиксели принадлежат фону.Пример результата обнаружения руки показан на рисунке 3. Затем на бинарном изображении руки применяется следующая процедура для сегментации пальцев и ладони.


(i) Палм-Пойнт. Точка ладони определяется как центральная точка ладони. Его находят методом дистанционного преобразования. Преобразование расстояний, также называемое картой расстояний, представляет собой представление изображения. В изображении с преобразованием расстояния каждый пиксель записывает расстояние до него и ближайшего граничного пикселя.Пример преобразования расстояния показан на рисунке 4. На рисунке 4(a) представлено бинарное изображение, а на рисунке 4(b) – изображение преобразования расстояния. Расстояние блочного города используется для измерения расстояний между пикселями и ближайшими граничными пикселями. Как показано на рисунке, центральная точка бинарного изображения находится с наибольшим расстоянием 4. Таким образом, в изображении преобразования расстояния (см. рис. 5) бинарного изображения руки пиксель с наибольшим расстоянием выбирается как ладонь. точка. Найденная точка ладони отмечена точкой зеленого цвета на рисунке 6.



(ii) Внутренний круг максимального радиуса. Когда точка ладони найдена, он может нарисовать круг с точкой ладони в качестве центральной точки внутри ладони. Круг называется внутренним кругом, потому что он находится внутри ладони. Радиус круга постепенно увеличивается, пока не достигнет края ладони. То есть радиус круга перестает увеличиваться, когда в круг включаются черные пиксели. Окружность — это внутренняя окружность максимального радиуса, которая нарисована как окружность красного цвета на рисунке 6.

(iii) Наручные очки и маска для ладони. Когда получен радиус максимального внутреннего круга, получается больший круг, радиус которого в 1,2 раза больше радиуса максимального внутреннего круга. Окружность нарисована синим цветом на рис. 6. Затем вдоль окружности равномерно отбираются некоторые точки. То есть,

где – положение точки ладони, – радиус круга, – шаг выборки.

Для каждой выбранной точки на окружности находится ее ближайшая граничная точка и проводится линия к ней.Граничная точка оценивается простым способом. Если 8 соседей пикселя состоят из белых и черных пикселей, он помечается как граничная точка. Все ближайшие найденные граничные точки связаны, чтобы получить маску ладони, которую можно использовать для сегментации пальцев и ладони. Метод поиска маски ладони описан в Алгоритме 1. Маска ладони изображения руки на Рисунке 3 показана на Рисунке 7. Вместо максимального внутреннего круга используется больший круг, чтобы получить более точную маску ладони для следующую сегментацию.

7

7 , 

: группа точек, отбираемых равномерно из круга
Найти ближайшую граничную точку одной образной выборки (см. (1))
Шаг 1 . Приобретите пиксель вокруг точки образца
Угол и рад (это размер изображения)
Шаг 2 . Если значение пикселя равно 0, т.е.е. ,
перейти к Шагу 3. В противном случае увеличить и с шагом 1 и затем перейти к Шагу 1
Шаг 3. Проверить значения 8 соседей пикселя , если они выполняются
— это набор из 8 соседей пикселя .
Вставьте точку в массив точек маски ладони.
Шаг 4 . Увеличьте и , а затем перейдите к шагу 1
(i) Продолжайте поиск ближайшей граничной точки другой точки выборки, пока все
  выбранные точки не будут отсканированы.
(ii) Соедините все точки, записанные в массиве точек маски ладони, чтобы получить маску ладони.

Две точки запястья — это две конечные точки линии запястья на нижней части руки. Точки запястья являются важными точками для распознавания жестов рук. Их можно искать следующим образом: если расстояние между двумя последовательными точками маски велико, эти две точки маски оцениваются как точки запястья.То есть, где – множество точек маски ладони, – расстояние между двумя точками. Пожалуйста, обратитесь к рисунку 6 для точек запястья и линии запястья.

(iv) Вращение руки. Когда точка ладони и точка запястья получены, это может дать стрелку, указывающую от точки ладони к средней точке линии запястья в нижней части руки. Затем стрелку настраивают на направление на север. Изображение руки вращается синхронно, чтобы сделать жест руки инвариантным к вращению.Между тем, части ниже линии запястья на повернутом изображении вырезаются для получения точного изображения руки, которое не охватывает часть руки. Рисунок 8 представляет собой повернутое и обрезанное изображение руки.


(v) Сегментация пальцев и ладони. С помощью маски ладони можно легко сегментировать пальцы и ладонь. Часть руки, закрытая маской ладони, — это ладонь, а остальные части руки — пальцы. Результат сегментации пальцев и ладони показан на рисунке 9.


2.4. Распознавание пальцев

В сегментированном изображении пальцев алгоритм маркировки применяется для маркировки областей пальцев. В результате метода маркировки обнаруженные области, в которых количество пикселей слишком мало, расцениваются как зашумленные области и отбрасываются. Только области достаточного размера считаются пальцами и остаются. Для каждой оставшейся области, т. е. пальца, находится минимальная ограничивающая рамка, охватывающая палец. Минимальная ограничивающая рамка обозначена красным прямоугольником на рисунке 10.Затем центр минимальной ограничивающей рамки используется для представления центральной точки пальца.


(i) Обнаружение и распознавание большого пальца. Центры пальцев выровнены к кончику ладони. Затем вычисляются градусы между этими линиями и линией запястья. Если степень меньше , это означает, что на изображении руки появляется большой палец. Соответствующий центр является центральной точкой большого пальца. Обнаруженный большой палец отмечен цифрой 1. Если все градусы больше , большого пальца на изображении нет.

(ii) Обнаружение и распознавание других отпечатков пальцев. Чтобы обнаружить и распознать другие пальцы, сначала выполняется поиск по линии ладони. Линия ладони параллельна линии запястья. Линия ладони ищется так: начинают с ряда линии запястья. В каждом ряду кисть пересекает линия, параллельная линии запястья. Если на пересечении линии и руки есть только один связанный набор белых пикселей, линия смещается вверх. Если на пересечении линии и руки имеется более одного связанного набора белых пикселей, линия считается кандидатом на роль линии ладони.В случае, если большой палец не обнаружен, в качестве линии ладони выбирается линия, пересекающая руку с более чем одним связанным набором белых пикселей в их пересечении. В случае наличия большого пальца линия продолжает двигаться вверх с краевыми точками ладони вместо большого пальца в качестве начальной точки линии. Теперь, когда большой палец убран, остается только один связанный набор пикселей на пересечении линии и руки. Как только связанный набор белых пикселей снова станет равным 2, линия ладони будет найдена.Поиск линии ладони показан на рисунке 11.


После того, как линия ладони получена, ее делят на 4 части. По горизонтальной координате центральной точки пальца он распадается на определенные части. Если палец попадает в первую часть, это указательный палец. Если палец относится ко второй части, то это средний палец. Третья часть соответствует безымянному пальцу. Четвертая часть – мизинец. Результат распознавания пальцев на рисунке 3 показан на рисунке 12.На рисунке желтая линия — это линия ладони, а красная линия параллельна линии запястья.


В некоторых случаях два или более пальца остаются близко друг к другу, и между пальцами нет промежутка. Пример случая показан на рисунке 18. Чтобы отличить случай от случая одного пальца, в качестве индекса различения используется ширина минимальной ограничивающей рамки. Если ширина минимальной ограничивающей рамки равна обычному значению, обнаруженная область представляет собой один палец.Если ширина минимального ограничивающего прямоугольника в несколько раз превышает обычное значение, обнаруженная область соответствует нескольким пальцам, которые находятся близко друг к другу. Для надежности распознавания пальцев также учитываются расстояния и углы между пальцами для различения различных жестов.

2.5. Распознавание жестов рук

Когда пальцы обнаружены и распознаны, жест рукой можно распознать с помощью простого классификатора правил. В классификаторе правил жест руки прогнозируется в соответствии с количеством и содержимым обнаруженных пальцев.Содержание пальцев означает, какие пальцы обнаружены. Классификатор правил очень эффективен и эффективен. Например, если обнаружены три пальца, то есть средний палец, безымянный палец и мизинец, жест рукой классифицируется как метка 3 (см. метки жестов рукой на рисунке 13).


3. Экспериментальные результаты
3.1. Наборы данных

В экспериментах используются два набора данных о жестах рук для оценки эффективности предлагаемого метода.Набор данных 1 представляет собой набор изображений из тринадцати жестов. Для каждого жеста фиксируется 100 изображений. Итак, всего 1300 изображений для распознавания жестов рук. Все изображения жестов принадлежат 3 женщинам и 4 мужчинам. Размер одного изображения жеста составляет . Тринадцать жестов показаны на рисунке 13. Слева направо, а затем сверху вниз эти жесты помечены как 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, S1, S2 и С3.

Другой набор данных [25] собран по 10 субъектам и содержит 10 жестов для чисел от 0 до 9.Итак, случаев всего. Набор данных, захваченный на беспорядочном фоне, представляет собой серьезную проблему для распознавания жестов рук. Кроме того, для каждого жеста субъект позирует с вариациями ориентации рук, масштаба, артикуляции и так далее. Мы сравниваем наш метод с FEMD [25] на наборе данных.

3.2. Оценка производительности набора данных 1

(i) Точность классификации. Чтобы измерить производительность предлагаемого метода распознавания жестов рук, точность классификации оценивается в экспериментах.На этапе обучения вырабатываются правила, различающие тринадцать жестов. Затем классификатор правил использует правила для прогнозирования идентификации тестового изображения. На рисунках 14, 15, 16, 17 и 18 показано распознавание пяти жестов. На каждом рисунке есть шесть подфигурок, которые представляют собой изображения, показывающие бинарное изображение руки, точку ладони и линию запястья, калиброванное изображение руки, маску ладони, обнаруженные пальцы и распознавание пальцев и жестов соответственно.В подрисунке распознавания пальцев и жестов прогнозируется метка жеста. Прогнозируемая метка отображается за словом «Ответ».






Результат классификации всех 1300 изображений суммирован с помощью матрицы путаницы в таблице 1. В матрице путаницы первый столбец и последняя строка являются метками жестов. Другие элементы матрицы записывают номера изображений жестов, предсказанные как соответствующие метки.Например, для первой строки числа 99 и 1 находятся в столбцах, соответствующих меткам 1 и 3 соответственно. Это означает, что в качестве меток 1 и 3 в 100 тестовых изображениях жеста 1 предсказано 99 и 1 изображение. Таким образом, для тестовых изображений жеста 1 точность классификации равна . Как показано в матрице путаницы, предлагаемый метод работает хорошо и обеспечивает очень высокую точность классификации. Общая точность классификации 1300 проверочных изображений составляет . В матрице путаницы жесты S2 и S3 ошибочно классифицируются как 5.Причина описана так: при некоторых жестах S2 и S3 пальцы не держатся впритык. То есть между двумя пальцами есть дырочка. Итак, в этих случаях жесты S2 и S3 ошибочны как 5.

+ + + + + 8 + + 2 + 3 915 46

919 1
2 94 6
3 2 95 3
4 4 95 1
5 3 93 4
6 100
7 4 96
2 5 92 1
9 100
0 1 99
S1 1 99
S2 98
S3 97
1 2 3 4 5 6 7 8 9 0 (ii) Стоимость времени. Затраты времени на распознавание жестов указаны в таблице 2. В таблице единицей затрат времени является секунда. Значение во второй строке — это усредненное время выполнения 100 изображений одного жеста. Для всех 1300 изображений усредненная стоимость времени распознавания жестов рук составляет 0,024 секунды. Эксперименты проводятся на портативном компьютере с процессором Intel i7-2630 2,00 ГГц и 4 ГБ оперативной памяти. Очевидно, что предложенный метод очень эффективен и может удовлетворить требования приложений реального времени.


1 2 3 4 5 6 7 8 9 0 S1 S2 S3

0.024 0.021 0.022 0,024 0,024 0,027 0,023 0,026 0,026 0,022 0025 0.022 0.022 0,026 0,021

3.3. Сравнение производительности на наборе данных 2

Сравнение предлагаемого метода и современного метода FEMD выполняется на наборе данных 2. Результаты классификации также суммируются с матрицами путаницы. Описание матриц путаницы аналогично описанию в таблице 1. Матрица путаницы нашего метода показана в таблице 3.Матрица путаницы FEMD представлена ​​в таблице 4. Точность усреднения предлагаемого метода составляет . Точность усреднения FEMD составляет . Результаты сравнения набора данных 2 показывают, что наш метод превосходит FEMD. Среднее время, затрачиваемое нашим методом на распознавание жеста руки, составляет 0,0202 секунды.

+ + 9 1544 5 9 1546 4

0 99 1
1 100
2 7 91 1 1
3 100
4 99 1
3 97
6 99 1
7 2 1 9 88
8 7 93
9 100
0 1 2 3 5 6 7 8 9

91 544 0 91 544 3 91 546 + + +

95 1 3 1
1 3 86 4 2 1 4
2 2 94 2 2
4 87 6 3
4 7 89 3 1
5 1 2 95 2
6 1 1 96 2
7 6. 2 92
8 1 1 98
9 100
0 1 2 3 4 5 6 7 8 9

4.Заключение и будущие работы

В этой статье представлен новый метод распознавания жестов рук. Область руки выделяется из фона методом вычитания фона. Затем сегментируют ладонь и пальцы. На основе сегментации обнаруживаются и распознаются пальцы на изображении руки. Распознавание жестов рук осуществляется с помощью простого классификатора правил. Эффективность нашего метода оценивается на наборе данных из 1300 изображений рук. Экспериментальные результаты показывают, что наш подход работает хорошо и подходит для приложений реального времени.Кроме того, предлагаемый метод превосходит современный FEMD на наборе изображений жестов рук.

Эффективность предлагаемого метода сильно зависит от результата обнаружения рук. Если есть движущиеся объекты с цветом, похожим на цвет кожи, объекты существуют в результате обнаружения рук, а затем снижают производительность распознавания жестов рук. Однако алгоритмы машинного обучения могут отличать руку от фона. Камеры ToF предоставляют информацию о глубине, которая может повысить эффективность обнаружения рук.Таким образом, в будущих работах методы машинного обучения и камеры ToF могут использоваться для решения сложной проблемы фона и повышения надежности обнаружения рук.

Конфликт интересов

Авторы заявляют об отсутствии конфликта интересов в связи с публикацией данной статьи.

Благодарности

Эта работа поддерживается Национальным фондом естественных наук Китая (грант № 61370174 и грант № 61300133) и фондами фундаментальных исследований центральных университетов.

Вокруг света за 42 жеста

Вокруг света за 42 жеста

Если вы готовитесь к поездке за границу и хотите общаться с местными жителями, изучение языка может стать отличным способом продемонстрировать свое уважение и общительность. Однако без долгосрочного знания этого языка разговор с иностранцем на его родном языке может быть пугающим предложением. Время подготовки может быть лучше потрачено на изучение нескольких региональных жестов рук.Прелесть жестов рук в том, что вы можете сказать так много одним движением: в отличие от разговорного языка, который требует нескольких комбинаций лексики, грамматики и тона, вам не нужно быть экспертом, чтобы общаться руками.

Тем не менее, стоит освежить в памяти основы, прежде чем покинуть гостиничный номер. Например, в то время как большая часть западного мира понимает скрещенные пальцы как пожелание удачи, во Вьетнаме тот же жест является, скажем так, оскорблением анатомической тематики.

Дальше на восток, в Японии, «V-образный знак» (ладонь наружу) является менее оскорбительным нюансом, чтобы ошибиться: вместо знаменитого жеста «Победа» Черчилля японцы используют его, чтобы выразить, что все в порядке, даже если они не улыбается.Возможно, буква V все еще восходит к первоначальному знаку победы, но в Японии она стала обозначать более скромную форму успеха или счастья, возможно, в связи с фигуристкой Джанет Линн, которая стала популярной фигурой в Японии после того, как осталась веселой на фотографиях. после поражения на зимних Олимпийских играх 1972 года в Саппоро.

В Европе жесты рук итальянцев могут быть так же полезны, как и их разговорный язык. У них есть жесты практически для всего, и они не сдерживаются, демонстрируя их.Классический взмах подбородка, означающий «Мне наплевать!» создает знакомую, хотя и недружественную отправную точку. Для дальнейшего ознакомления с миром итальянских жестов рук и четырнадцати других популярных международных направлений обязательно ознакомьтесь с этой «удобной» новой инфографикой. (Перуанский жест, означающий «плохая шутка»? Укажите на шутника, а затем на дверь. « Ya se fue ! Его здесь нет!»)

Источники

МСГС (2016 г.). Международное общество изучения жестов.geststudies.com

Бернетт, С. (2014). Вы когда-нибудь задумывались, почему жители Восточной Азии спонтанно делают знаки V на фотографиях? time.com

Маркетти, С. (2015). Итальянские жесты рук, которые должен знать каждый. cnn.com

Форбс, С. (2015). 18 жестов, которые могут доставить вам неприятности за пределами США. nypost.com

Жесты рук — обзор

Помимо глотания и жевания, жесты рук, движения головы и движения тела также использовались в качестве прокси для обнаружения активности приема пищи, все эти прокси, связанные с движением, сгруппированы в «прокси движения».«Мы обнаружили четыре типа прокси движения: жест рукой, наклон вперед, движение головы и ускорение тела.

Жест рукой

Замещающий жест рукой — это движение руки во время еды или питья, также называемое жестом «рука в рот». Жест из рук в рот был обнаружен во многих исследованиях Anderez et al. (2018), Донг и Бисвас (2017), Mendi et al. (2013), Джонсон и др. (2019), Heydarian et al. (2020), Хаматани и др. (2018), Чо и Чой (2018), Фонтана и др. (2013, 2014), Kyritsis et al.(2019), Ли и соавт. (2019), Фарук и др. (2013), Farooq and Sazonov (2016a,b), Sen et al. (2017), Томаз и др. (2015a, 2017), Ye et al. (2015, 2016), Донг и др. (2014) и Zhang et al. (2017) для определения активности приема пищи с помощью устройства, крепящегося на запястье. Несколько исследований Bedri et al. (2020) и Bai et al. (2014) детектировали жесты «руки ко рту» с помощью датчика расстояния (проверяли наличие руки перед ртом).

Датчик движения : жест «руки ко рту» был обнаружен с помощью установленного на руке датчика акселерометра и, следовательно, распознал пищевую активность (Mendi et al., 2013). Данные акселерометра были отправлены на мобильное устройство через Bluetooth после того, как система проанализировала закономерности между профилями движения и действиями прикуса и определила пики. Система также оценивала общее количество укусов, скорость откусывания и скорость еды. Датчики акселерометра и гироскопа использовались в конфигурации, похожей на наручные часы, для отслеживания движения запястья и, следовательно, определения периода приема пищи (Dong et al., 2014). Исследование доказало, что энергичные движения запястья являются полезным показателем приема пищи для определения границ приема пищи.Точно так же в Thomaz et al. был предложен метод обнаружения приема пищи на основе умных часов. (2015a, 2017), где авторы использовали датчики акселерометра и гироскопа. Метод своевременной обратной связи был предложен Ye et al. (2016), которые обнаруживали жесты «руки ко рту» по сигналу акселерометра, полученному от умных часов. Точно так же в исследованиях Sen et al. (2015, 2017), сигнал акселерометра и гироскопа, полученный умными часами, использовался для обнаружения жеста «рука ко рту». Если пищевая активность распознавалась по жестам «руки ко рту», ​​то умные часы фиксировали изображения еды, которые представлялись пользователю в виде журнала о еде.

Другая сенсорная система для ношения на запястье, состоящая из акселерометра и гироскопа, использовалась для обнаружения эпизодов приема пищи (Zhang et al., 2017). Кроме того, метод сверточной нейронной сети (CNN) использовался на данных трехосного акселерометра для определения поведения при приеме пищи (Cho and Choi, 2018), где акселерометр был установлен на смарт-часах. Заявленная точность составила 87,98%. В Johnson et al.(2019). Здесь один датчик крепился на запястье, а другой — на руке. Другими методами приема пищи на основе акселерометра, надеваемого на запястье, являются FluidMeter (определение потребления жидкости с помощью акселерометра) (Hamatani et al., 2018), распознавание приема пищи и напитков с использованием CNN (Anderez et al., 2019), определение потребления пищи с помощью CNN, и долговременная кратковременная память (LSTM) (Kyritsis et al., 2019), модель машинного обучения для конкретного пользователя для обнаружения приема пищи (Lee et al., 2019), FitByte (мультимодальная сенсорная система) (Bedri et al. , 2020), обнаружение жестов на основе глубокого обучения (CNN-LSTM) (Heydarian et al., 2020).

Вместо нательного датчика движения к посуде был прикреплен инерционный датчик для обнаружения движения посуды, и это движение использовалось для обнаружения приема пищи (Zhang et al., 2020b). Жесты «руки ко рту» могут давать ложное распознавание приема пищи в случае курения, кусания ногтей, травления лица и т. д.

Расстояние : В исследовании Bedri et al. (2020) было предложено автоматическое обнаружение приема пищи с использованием мультимодального восприятия на очках, и система получила название «FitByte.Авторы использовали датчики приближения, чтобы определять, когда рука приближается к области рта. Они также использовали гироскопы, акселерометры и датчики изображения, которые обсуждаются в конкретных разделах этой статьи. Точность и полнота обнаружения эпизодов приема пищи составили 91,4% и 94,1% соответственно. Датчики приближения также использовались в устройстве «eButton» (размещаемом на груди) (Bai et al., 2014) для автоматического обнаружения приема пищи. Повторяющиеся движения руки во время еды отслеживаются датчиком приближения.

Другие датчики : Несколько исследователей использовали радиочастотные (РЧ) датчики для определения активности приема пищи, например, в исследованиях Fontana and Sazonov (2012), Farooq et al. (2013), Рахман и др. (2015a) и Turan and Erzin (2017), автор использовал радиочастотный передатчик и приемник для обнаружения жеста «рука в рот» и использовал этот датчик вместе с другими датчиками для обнаружения приема пищи. РЧ-передатчик располагался на запястье с внутренней стороны ведущей руки, а приемник — на шее с помощью ремешка.

Визуализация : В исследованиях Obaid et al. (2018) и Qiu et al. (2019), для определения приема пищи использовалось отслеживание рук на основе зрения.

Добавить комментарий

Ваш адрес email не будет опубликован.