Виктория Паламарчук
Каждый человек использует возможности своего мозга всего на несколько процентов и обладает множеством возможностей, которые не использует. Умение читать по губам скрыто в каждом человеке, только нужно его развивать. Так, люди, которые имеют проблемы со слухом или совершенно глухие, обладают этим талантом активно развитым уже с рождения.
Если проблемы со слухом возникают в течение жизни, тогда стараются развивать это умение, так как оно крайне важно для их нормальной жизнедеятельности.
Если у вас нет возможности обучаться у специалиста, тогда это можно будет сделать самостоятельно в домашних условиях.
Все звуки делятся на видимые и невидимые. Видимыми считаются те, в произношении которых, губы принимают четкое положение, а невидимые – это те звуки, которые трудно определить сразу:
Руководствуясь всеми этими принципами вскоре можно заметить, что умеешь сносно читать по губам .
Как можно быстрее и лучше освоить навык вы сможете, если вам помогут в этом близкие и друзья. Для этого нужно, чтобы человек регулярно произносил перед вами экспрессивные выразительные слова и предложения, не озвучивая их, а вы в этот момент пытались понять, о чем он говорит.
А вообще, для этого даже не нужно кого-то просить. Усваивать этот навык можно всегда и везде. В метро, кафе, на улице и на работе вы можете постоянно наблюдать за движением губ незнакомых вам людей и пытаться понять, о чем они говорят.
Человек, бегло читающий по губам должен без труда понимать, о чем говорят герои фильмов при просмотре их без звука. При чем, здесь легче улавливать смысл, обращая внимание на ситуацию, мимику и движения губ.
В помощь при чтении с телевизора можно использовать субтитры. Они очень помогают в работе над усвоением навыка. В момент, когда мы учимся читать по чужим губам, важно очень много работать над собой, так как любое умение приходит к нам с практикой.
Артикуляция – это определенное положение органов, которое необходимо для образования звука.
Человек, который планирует научиться чтению по губам должен уметь различать все этапы артикуляции :
Это очень важно для того, чтобы при переходе к практическим навыкам легче было различать положение губ при произнесении звуков.
Наверняка глядя на глухонемых людей, вам интересно было понять, как им удается читать слова. Даже сидя в наушниках, вы сможете с легкостью понять некоторые слова, которые произносит вам человек. Например: «Сними наушники ».
Постоянно занимаясь над собой, ежедневно хотя бы по 10 минут перед зеркалом, уже в ближайшее время, вы сможет без труда отличить звук «ФА» от «ЛЯ». Степень понимания при чтении зависит от некоторых составляющих.
Прежде всего, это грамотное владение языком. Без его знания, никто не сможет воспользоваться навыком: «читай по губам ». Не зная самых элементарных слов, невозможно прочитать их.
Еще одним не менее важным условием при освоении навыка чтения по губам можно назвать догадку. Понятно, что все прочитать просто невозможно. Обычно, человек, который не слышит из пяти сказанных слов, понимает только 2-3, а смысл остальных слов он сможет понять по контексту, по теме разговора и остальным смысловым связям.
Все люди шевелят ртом по-разному, и это тоже имеет большое значение. Плохо когда собеседник, что-то говоря, почти не открывает рот, его слова очень трудно понять. Гораздо лучше, когда он активно артикулирует и его мимические мышцы выражают его эмоции.
Когда два человека, беседуя в вагоне метро, пытаются говорить громче шума поезда, то на их лицах видны образцы активной артикуляции, которые крайне важны для лучшего восприятия слов. Понять речь человека могут мешать даже усы.
Следите за людьми — этот способ подойдет для любого выбранного вами места. Например парк, ресторан, автобус, метро, институт. Выберите себе один объект и не заметно наблюдайте за его движением губ, мимикой и жестикуляцией. Также вам поможет телевизор, для начала включите знакомый вам фильм, выключите звук и попытайтесь понять о чем говорят герои. Сначала вам будут помогать фразы, которые вы запомнили с предыдущего просмотра фильма. Далее посмотрите незнакомый фильм и попробуйте научиться читать по губам новые диалоги. Для проверки правильности можно выбрать фильмы с субтитрами.
Для того, чтобы научиться читать по губам воспользуйтесь зеркалом. Для этого встаньте напротив зеркала и начните произносить отдельные слова, главное следить за мимикой и запоминать как складываются губы при образовании слов и отдельных звуков.
В этой статье мы расскажем о способах обучения чтению по губам. Опустим те случаи, когда это умение – жизненная необходимость по причине плохого слуха или его отсутствия, так как этим занимаются сурдопедагоги, а коснемся тех, кто просто хочет овладеть этим навыком с целью получения дополнительной информации, из простого интереса и т.д.
Навык чтения речи по губам может возникнуть у любого современного человека. Многие из нас считают, что чтению по губам обучают только супер-шпионов, но это конечно не так. Чаще всего этот навык необходим людям лишенным слуха и они эту способность оттачивают в течение всей своей жизни. Однако и обычным людям может понадобиться этот навык чтения по губам. Предпосылки конечно у всех разные, но работать над собой придется в любом случае. Как научиться читать по губам вы узнаете из этой статьи.
Самым эффективным способом будет пойти к сурдопедагогу, который на своих уроках научит вас читать по губам. Также на занятиях вас научат считывать с губ звуки, расскажут что такое сурдотехника. Если же пойти к учителю у вас нет возможности, то не отчаивайтесь, так как выработать этот навык возможно и самостоятельно.
Для того, чтобы научиться читать по губам самостоятельно для начала необходимо изучать артикуляцию, то есть положение органов, необходимых для образования определенного звука. Вам необходимо научиться различать все этапы артикуляции: подготовка к произношению звука, произношение и завершение произношения (он также является переходом к образованию нового звука). Изучение артикуляции необходимо для того, чтобы во время практики легче различать положение губ при образовании слов.
Следите за людьми — этот способ подойдет для любого выбранного вами места. Например парк, ресторан, автобус, метро, институт.
Выберите себе один объект и не заметно наблюдайте за его движением губ, мимикой и жестикуляцией. Также вам поможет телевизор, для начала включите знакомый вам фильм, выключите звук и попытайтесь понять о чем говорят герои. Сначала вам будут помогать фразы, которые вы запомнили с предыдущего просмотра фильма. Далее посмотрите незнакомый фильм и попробуйте научиться читать по губам новые диалоги. Для проверки правильности можно выбрать фильмы с субтитрами.
Для того, чтобы научиться читать по губам воспользуйтесь зеркалом. Для этого встаньте напротив зеркала и начните произносить отдельные слова, главное следить за мимикой и запоминать как складываются губы при образовании слов и отдельных звуков. Далее переходите к целым предложениям.
Попросите друга или родственника помочь вам освоить технику чтения по губам. Практические занятия помогут вам быстрее научиться читать по губам. Для начала попросите партнера губами произносить слова, не издавая звуков, а вы пробуете прочесть по его губам сказанное. Сложность упражнений увеличивается произношением предложений.
Также вам потребуется научиться различать видимые и невидимые звуки. Видимыми звуками называют те звуки, при произношении которых губы приобретают определенное четкое положение. Невидимыми звуками называют те звуки, которые сложно научиться определять с первого раза, так как при их произношении губы имеют практически одинаковое положение. Но не стоит отчаиваться, так как невидимые звуки хорошо различаются в слогах, которые они образуют и такие звуки уже считаются видимыми. Поэтому тренировки у зеркала необходимы. Если с отдельных слов начать сложно, то можно перейти к алфавиту, далее к слогам, а уже потом заняться словами и предложениями. Самое главное — это практиковаться как можно чаще и не забывать, что делать это можно практически всегда и везде. Следите за окружающими вас людьми, как они произносят слова, как при этом меняется их лицо и мимика.
18.08.2015Как научиться, Удивительное
Чтение речи с губ
Важнейший способ общения глухих - чтение речи с губ и лица говорящего. Проделаем простой опыт: подойдем к зеркалу и произнесем три гласных звука: А, И и О. Кажется, разница между ними настолько велика, что ничего не стоит научиться читать речь с губ. Это далеко не так. Многие совсем не сходные звуки образуются практически одинаковым рисунком губ говорящего.
Специалисты, изучающие вопросы, связанные с чтением речи с губ, распределяют основные фонемы русского языка в следующие 15 групп (17): первая группа- А, вторая - О, третья - У, четвертая - Э, пятая - И, Ы, шестая - ПД1*, Б,Б, М,М, седьмая - Ф,Ф, В,В, восьмая - Ш, Ж, Ч, девятая - Л,Р, десятая - Р, одиннадцатая - С,С, 3,3, Ц, двенадцатая - Т,Д,Н,Л, тринадцатая - Т, Д, Р, четырнадцатая - К,Г,Х, пят-надцатая - К, Г, X.
Нетрудно видеть, что только первые четыре гласных звука и звук Р имеют настолько характерные признаки, что занимают самостоятельные группы. Во всех остальных случаях группа с одинаковым видимым положением губ объединяет несколько фонем - иногда до шести.
Слышащим трудно понять, как справляются глухие с распознаванием звуков и слов, когда такое значительное число фонем имеет почти одинаковые видимые образы. Назовем несколько обстоятельств, помогающих решению этой трудной задачи. Первое из них - избыточная информативность речи. Иногда необходимо лишь несколько верно схваченных звуков, чтобы понять смысл сказанного. Очень существенны для разгадки таких ребусов знание предмета разговора и догадка.
Последняя в свою очередь зависит от словарного запаса глухого.
Важными условиями также являются четкая артикуляция, хорошее освещение и медленная, ясная речь. Усы и борода сильно снижают понимание речи. Ф. Ф. Рау (18) приводит наглядный пример того, как знание языка и предмета разговора помогают определить значение фразы. Глухому мальчику сообщают: «Папа ушел на работу». Слово «папа» с губ читается совершенно так же, как «мама» или «баба». Но мальчик знает, что если б первое слово было «мама», начало фразы звучало бы «Мама ушла», а концы слов «ел» или «ла» отлично различаются.
Очень важно научиться внимательно следить за губами говорящего, уметь отличать характерные для звуков признаки. Приведем одну историю, связанную с этим правилом. Наши друзья, муж и жена, оба утратившие слух в детстве, завели себе черного кота. Окрестили его греческим именем - Пегас. Впрочем, кот был недостаточно черным, чтобы приносить несчастье в Рос-сии или быть счастливым талисманом в Англии. Этому мешали белые «перчатки» на всех четырех лапках и такая же манишка на шее. Как и многих других московских котов, живущих в многоэтажных домах, Пегаса очень редко выпускали во двор. Дожив до полутора лет, он ни разу не видел собаки. Но однажды такая встреча произошла. Хозяйка дома описала ее так:
- Пегас очень удивился. Его спина выгнулась дугой, глаза стали совсем круглыми, от удивления рот полуоткрылся, и кот ясно произнес: «Ээээ…»
Мы удивились, пожалуй, больше, чем сам Пегас. Известно, нашим Муркам и Васькам, равно как их более благородным родственникам - сибирским и сиамским кошкам, звук «э» недоступен. Мы попытались объяснить: речевой аппарат кошки еще более примитивен, чем у неандертальца. В лучшем случае Пегас мог сказать «мяу» или зашипеть на собаку. Но наши друзья настаивали на своем: «Нет, мы хорошо поняли с губ - Пегас очень четко сказал: «Эээ».
Некоторые воспитатели и педагоги справедливо отмечают, что чтение с губ больше напоминает искусство, чем науку. Для него существенны специальные способности. Как правило, люди, утратившие слух в юношеском или зрелом возрасте, не в состоянии освоить подобный метод в такой же степени, как маленькие глухие. При раннем обучении этому искусству особо одаренные виртуозы почти безошибочно считывают речь с губ незнакомых людей, не только если смотрят прямо на лицо говорящего, но и в профиль. Некоторые глухие настолько хорошо овладели такой техникой, что с их помощью оказалось возможным воспроизвести речь людей, снятых на кинопленку в те времена, когда кинематограф был немым. Так удалось восстановить текст нескольких выступлений В. И. Ленина.
Чтение речи с губ,- пожалуй, наиболее трудный способ общения глухого и слышащего. Но он очень важен, Разговоры на улице, вопросы о наличии товара в магазине и его цене происходят, как правило, именно таким способом. Так же осуществляется глухим и восприятие лекций, если он учится в учебном заведении наравне со слышащими.
Вот почему независимо от срока наступления глухоты надо осваивать чтение с губ употребительных слов и речевых оборотов. Если у глухого сохранилась устная речь удовлетворительной разборчивости, он может сам задавать вопросы, строя разговор таким образом, чтобы по движениям головы, соответствующим словам «да» и «нет», понять смысл ответа.
Ситуация несколько упрощается, если говорящий знает, что перед ним человек, который не слышит. В таких случаях надо следить, чтобы особенности движения губ были отчетливо видны глухому. Рекомендуется запомнить звуки, имеющие одинаковый «рисунок» губ.
Хорошо, если слышащий знает дактильную азбуку. Тогда можно помогать глухому понять произносимое слово, показывая пальцами плохо различимые буквы. Существуют и другие способы помощи при чтении с губ.
Истории…
Из книги "Человек не слышит".
В этой статье мы расскажем о способах обучения чтению по губам.
Опустим те случаи, когда это умение – жизненная необходимость по причине плохого слуха или его отсутствия, так как этим занимаются сурдопедагоги, а коснемся тех, кто просто хочет овладеть этим навыком с целью получения дополнительной информации, из простого интереса и т.д.
Чтению по губам может научиться каждый, было бы желание. Если у человека, желающего освоить этот навык достаточно терпения, то со временем научиться этому можно и, более того, довести умение читать по губам до фантастических высот.
Самые доступные и распространенные методы обучения:
Помните, все достижимо, если стремится к цели, регулярно практиковаться и не бросать начатое.
Умение читать по губам многие называют искусством. На самом деле это ценный навык, который может освоить любой. Такое мастерство является скрытой способностью человека, которую при желании можно развивать и использовать.
Зачем нам изучать чтение по губам? Как называется человек, освоивший такой навык? В западной практике их называют лип ридеры (lip readers). В русском языке этот термин не используется.
Изучать чтение по губам люди начинают по разным причинам. Одних заинтересовали книги и фильмы про шпионов, где главные герои пользовались этим навыком, чтобы «подслушать» важную информацию. Другие выбрали этот способ на пути к самосовершенствованию. А третьим такое умение просто жизненно необходимо. Для глухих и слабослышащих людей чтение по губам - это единственный способ восприятия информации.
Даже если у вас нет острой необходимости владеть восприятием речи с губ, можно сказать, что в жизни такой навык может пригодиться каждому. Это даёт возможность без труда общаться в ситуациях, где нужно вести себя тихо и не переспрашивать, когда что то недослышали в шумном месте. В целом этот навык поможет лучше понимать окружающих.
Чтение с губ - это навык, который человек может в себе развить путём обучения и тренировок. Естественно, что у кого то предрасположенность к развитию этого навыка больше, а у кого то меньше, но можно смело заявить, что чтение по губам может освоить каждый. В зависимости от наличия врождённой склонности к такому виду восприятия, разным людям для этого может потребоваться разное количество времени и сил.
Казалось бы, что сложного в том, чтобы запомнить движения губ при произношении каждой буквы и слога? Не всё так просто. Рисунок губ разный при произношении различных букв. Но есть некоторые буквы, которые произносятся по разному, но «выглядят» одинаково. Например, сложно различить согласные «Ф» и «В». Практически невозможно отличить, произносится «Б», «М» или «П». И, наконец, шипящие звуки: «Ш», «Ж», «Ч» — проблема для восприятия. Среди гласных существуют пары таких звуков: «О» — «Ё», «У» — «Ю», «А» — «Я». Эти буквы называют невидимыми.
Научиться воспринимать такие звуки можно, поместив их в слоги и подключив логику и догадку.
Первым помощником в самостоятельном изучении техники чтения по губам является зеркало. Что нужно сделать - перед зеркалом последовательно произносить буквы, потом слоги и слова, далее словосочетания и выражения. При этом особое внимание уделяйте своему отражению. Основная ваша задача - запомнить движения губ при произношении наиболее употребляемых слогов.
Далее в обучении нам поможет телевизор. Возьмите любимый фильм, который вы пересматривали несколько раз. Желательно, чтобы вы помнили, о чём ведутся диалоги в этом фильме. Выключаем звук и смотрим, пытаясь зрительно воспринять разговор. На следующем этапе таким же образом можно смотреть новости или незнакомые фильмы и телепередачи. Станет заметно, что если вы не знаете, о чём говорят на телеэкране, воспринимать информацию по губам становится сложнее. Но главное — практика.
Вашими помощниками на пути изучения техники чтения по губам могут стать родные и близкие. Попросите их «поговорить» с вами без звука и попробуйте в бытовых условиях уловить смысл такой речи.
Устраивайте «охоту». Можно просто сидя в парке на лавочке наблюдать за отдыхающими и тренировать чтение по губам.
Существуют также некоторые нюансы, которые могут усложнить процесс обучения:
Существует несколько вариантов, с помощью которых осваивается техника чтения по губам. Мы уже рассмотрели, каким образом можно получить этот навык самостоятельно. Но если есть выбор: учится дома, применяя компьютерную программу, или записаться на специализированные курсы, что будет эффективней? Каким способом можно быстрее достичь поставленной цели и освоить чтение по губам?
Обучение с помощью компьютерной программы представляет собой «общение» с синтетическим лицом. Оно произносит текст, ваша задача этот текст воспринять без звукового сопровождения. Есть разные настройки и подсказки. Те, кто пользовались этой программой, чтобы освоить чтение по губам, говорят, что понимать такого робота очень легко, у него яркая лицевая мимика и выразительная артикуляция. Но проблема в том, что, привыкнув к таким идеальным условиям, потом очень сложно перестроиться на восприятие живых людей, каждый из которых индивидуален.
То есть для осваивания теории и азов восприятия такая программа может быть полезна, но для практики чтения губ нужно выбирать и изучать человеческую речь, хотя это и сложнее.
На курсах же обучение проходит в группе. В процессе занятий возможно увидеть артикуляцию многих людей и сравнить особенности их мимики. Это сразу даёт практический опыт владения навыком. Хотя такое обучение может длиться дольше, но оно однозначно эффективней. Кроме того, уроки проводят квалифицированные сурдопедагоги, способные растолковать все непонятные и спорные моменты.
Еще очень давно секретные агенты практиковали чтение по губам, чтобы уметь понимать речь противника даже если его плохо слышно. В настоящее время обладать подобным умениям разрешено не только шпионам. Человек может использовать такую возможность в каких-либо собственных целях: подражать понравившемуся актеру из фильма или понимать собеседника без слов.
Чтобы обладать навыками считывания с губ, следует уметь концентрировать свое внимание и вовремя сосредотачиваться, уметь понимать артикуляцию звуков и иметь желание, терпение и усидчивость.
Что такое артикуляция? Это своеобразное расположение органов, которые участвуют при образовании какого-то конкретного звука. Если вы хотите научиться читать по губам, то вы должны знать шаги этой самой артикуляции:
Подобная информация пригодится в том случае, когда вам понадобится отличать движение губ при разговоре.
В наше время многие ученые и специалисты стремятся модернизировать программы, дающие возможность глухим людям понимать речь человека глазами. Возможно, такое умение для здорового человека останется лишь кратковременным увлечением, а возможно и поможет в какой-либо жизненной ситуации или после потери слуха.
Существует несколько методов обучения, которые можно практиковать в любом месте. Стоит рассмотреть их более подробно.
Звуки, при выходе которых губы вычерчивают определенное движение, называются видимыми. К невидимым же относятся те звуки, которые невозможно понять с одного раза, ибо они представлены практически идентичным положением губ.
Идеально овладеть чтением по губам получится только тогда, когда вы будете ежедневно прилагать для этого усилия, ведь никто не говорит, что будет легко. Первым делом тренируйтесь на знакомых и родных людях, а уже потом оттачивайте умения на прохожих и соседях по креслам в метро.
Но стоит помнить о том, что все люди разные и не каждый сможет научиться тому, что другому дается с легкостью.
Узнавать в собеседнике расположенность к беседе или заранее выявить нежелание разговаривать помогут знания, как научиться читать по губам. Губы, как и глаза, могут многое рассказать о настроении, мнении и убеждениях человека. Мы даже не осознаем, как искривляется рот при фальши или меняется все выражение лица, когда человек нравиться. сайт расскажет, как научиться читать по губам и добиваться расположения в общении. Такие знания необходимы руководителям, людям, работающим в торговле, и просто всем, кто хочет иметь много друзей.
Сила улыбки известна всем, но далеко не каждый может различить фальшивую, угрюмую, радостную, счастливую.
Таиланд называют страной улыбок, потому что тайцы расположены к "автоматической" улыбке, когда встречают гостя на пороге своего дома или туриста. Тайская философия Санук насчитывает около 13 видов улыбок, и означает для этого народа - Жизнь с удовольствием. Элементарное различие между душевной и фальшивой улыбкой поможет понять собеседника и уловить миг, когда интерес в общении пропадает. Искренне улыбается человек тогда, когда уголки рта приподнимаются и появляются мелкие морщинки возле глаз, губы размыкаются, щеки немного приподнимаются. От такой улыбки невозможно отказаться, она заразительная и располагает человека к дружбе. Улыбка просто так, для хорошей манеры получается кривой, в ней нет тепла и искры в глазах. Когда человек от души смеется или просто улыбается, кажется, что и глаза светятся. Если во время переговоров встречается на лицах кривая неестественная улыбка, это означает нежелание сотрудничать и вообще разговаривать. В таком случае, лучше сменить тактику, чтобы не сорвалось общение.
Если собеседник улыбается во весь рот с широко открытыми глазами, это может означать явную угрозу. Во время улыбки приподнятые брови характеризуют готовность человека подчиниться или уступить, согласиться. Если же брови опускаются - налицо явное превосходство. При неприятных ситуациях, или когда случается что-то трагическое, человек переживает и наступает нервозность, может появиться кривая улыбка. Это не означает, что человек равнодушен или хладнокровен, просто у него такой способ самовыражения в трагических ситуациях.
Недовольство и несогласие с мнением оратора могут означать поджатые губы или сложенные бантиком. Такой знак мимики собеседника сигнализирует о скором протесте. Как только во время беседы замечаете, что человек поджимает губы, можете отреагировать и скорректировать впечатление. Поэтому, пока человек раздумывает, как выразить свое недовольство, можно сразу пойти путем наступления: изменить поток убеждений или привести убедительные доводы в защиту своего мнения и заставить собеседника передумать. Практиковаться в таком «перехвате» мыслей можно в семейном кругу между мужем и женой. Если губы собеседника сжаты, то он хочет выразить свое несогласие, но сдерживает свои эмоции. На допросе, когда преступник невольно подумал о признании, и начал сжимать губы, то видно, что он сдерживает свое чувство, чтобы не выдать себя.
Простое смущение или несогласие собеседник может выражать прикосновением рукой к губам. Человек неуверен в своей правоте или ему просто неловко затрагивать щекотливую тему. В любом случае, можно подстегнуть собеседника все-таки высказаться, словами: «Может неудобно поднимать эту тему, но стоит об этом поговорить».
Когда человек нервничает и говорит неправду, начинает часто облизывать губы. Внутреннее беспокойство приводит к быстрому обезвоживанию и пересыханию губ и ротовой полости.
Как научиться читать по губам, чтобы можно было управлять вниманием людей? Во-первых, стоит наблюдать за поведением окружающих и делать соответственные выводы. Во-вторых, наблюдать за своей реакцией и корректировать мимические показатели.
Командир Дэйв Боумен и второй пилот Фрэнк Пул, не доверяя компьютеру, решили отключить его от управления кораблём. Для этого они совещаются в звукоизолированной комнате, но HAL 9000 читает их разговор по губам. Кадр из фильма «Космическая одиссея 2001 года»
Чтение по губам играет важную роль в общении. Ещё эксперименты 1976 года показали, что люди «слышат» совершенно другие фонемы, если наложить неправильный звук на движение губ (см. "Hearing lips and seeing voices" , Nature 264, 746-748, 23 December 1976, doi: 10.1038/264746a0).
С практической точки зрения чтение по губам - важный и полезный навык. Можно понимать собеседника не выключая музыку в наушниках, читать разговоры всех людей в поле зрения (например, всех пассажиров в зале ожидания), прослушивать людей в бинокль или подзорную трубу. Область применения навыка очень широка. Освоивший его профессионал без труда найдёт высокооплачиваемую работу. Например, в сфере безопасности или конкурентной разведке.
У автоматических систем чтения по губам тоже богатый практический потенциал. Это медицинские слуховые аппараты нового поколения с распознаванием речи, системы для беззвучных лекций в публичных местах, биометрическая идентификация, системы скрытой передачи информации для шпионажа, распознавание речи по видеоряду с камер наблюдения и т.д. В конце концов, компьютеры будущего тоже будут читать по губам, как HAL 9000 .
Поэтому учёные уже много лет пытаются разработать системы автоматического чтения по губам, но без особого успеха. Даже для относительно простого английского языка, в котором количество фонем гораздо меньше, чем в русском языке, точность распознавания невысока.
Понимать речь на основании мимики человека - сложнейшая задача. Освоившие этот навык люди пытаются распознавать десятки согласных фонем, многие из которых очень похожи внешне. Неподготовленному человеку оcобенно трудно различить пять категорий визуальных фонем (то есть визем) английского языка. Другими словами, различить по губам произношение некоторых согласных звуков практически невозможно. Неудивительно, что люди очень плохо справляются с точным чтением по губам. Даже самые лучшие среди инвалидов по слуху демонстрируют точность всего лишь 17±12% из 30 односложных слов или 21±11% из многосложных слов (здесь и далее результаты для английского языка).
Автоматическое чтение по губам - одна из задач машинного зрения, которая сводится к покадровой обработке видеоряда. Задача сильно усложняется низким качеством большинства практических видеоматериалов, которые не позволяют точно считывать спатиотемпоральные, то есть пространственно-временные характеристики лица во время разговора. Лица двигаются и поворачиваются в разные стороны. Последние разработки в области машинного зрения пытаются отслеживать движение лица в кадре, чтобы решить эту проблему. Несмотря на успехи, до последнего времени они были способны распознавать только отдельные слова, но не предложения.
Значительного прорыва в данной области добились разработчики из Оксфордского университета. Обученная ими нейросеть LipNet стала первой в мире, которая успешно распознаёт по губам речь на уровне целых предложений, обрабатывая видеоряд.
Покадровые карты салиентности для английских слов "please" (вверху) и "lay" (внизу) при обработке нейросетью, которая читает по губам, выделяя наиболее привлекающие внимание (салиентные) признаки
LipNet - рекуррентная нейросеть типа LSTM (long short-term memory). Архитектура показана на иллюстрации. Нейросеть обучали с использованием метода нейросетевой темпоральной классификации (Connectionist Temporal Classification, CTC), который широко используется в современных системах распознавания речи, поскольку с ним отпадает необходимость обучения на наборе входных данных, синхронизированным с правильным результатом.
Архитектура нейросети LipNet. На входе подаётся последовательность кадров T, которые затем обрабатываются тремя слоями пространственно-временной (спатиотемпоральной) свёрточной нейросети (STCNN), каждый из которых сопровождается слоем пространственной выборки. Для извлечённых признаков повышается частота дискретизации по временной шкале (апсемплинг), а затем они обрабатываются двойной LTSM. Каждый временной шаг на выходе LTSM обрабатывается двухслойной сетью прямого распространения и последним слоем SoftMax
На особом корпусе предложений GRID нейросеть показывает точность распознавания 93,4%. Это не только превышает точность распознавания других программных разработок (которые указаны в таблице ниже), но и превосходит эффективность чтения по губам специально обученных людей.
Особый корпус GRID составлен по следующему шаблону:
command(4) + color(4) + preposition(4) + letter(25) + digit(10) + adverb(4),
Где цифра соответствует количеству вариантов слов для каждой из шести словесных категорий.
Другими словами, точность 93,4% - это всё-таки результат, полученный в тепличных лабораторных условиях. Разумеется, при распознавании произвольной человеческой речи результат будет гораздо хуже. Не говоря уже об анализе данных с реальной видеосъёмки, где лицо человека не снимают крупным планом в отличном освещении и с высоким разрешением.
Работа нейросети LipNet показана на демонстрационном видео.
