Rambler's Top100
  -   !    !
our_sci_invent
our_sci_invent_MoCap
our_sci_invent_Cars_Move
our_sci_invent_GLF
3D-
our_sci_publish
 


???????@Mail.ru

Rambler's Top100


 

мы в наукеразработкифонд жестового языка

страницы: 2 3

Здесь приводится незначительно скорректированный текст заявки на участие в конкурсе русских инноваций 2005 года. Проект стал одним из победителей конкурса и получил за это статуэтку...

Если после просмотра этой информации у вас повятся какие-либо предложения, будем рады видеть их в форуме или в электронном ящике.


Тема проекта: 
Фонд жестового языка
Руководитель проекта: Воскресенский Александр Леонидович,
заместитель директора по информационным
технологиям Государственного образовательного
учреждения «Специальная (коррекционная)
общеобразовательная школа-интернат № 101
I и II видов» (для глухих и слабослышащих детей),
г. Москва

Аннотация

Целью данного проекта является решение как социальных, так и научных задач.

Социальная составляющая проекта ставит своей целью создание предпосылок для выполнения п. 7 Правила 5 Резолюции ООН 48/96 «Стандартные правила обеспечения равных возможностей для инвалидов» (принятой 20 декабря 1993 г.), гласящего: «Следует позаботиться о том, чтобы язык жестов применялся для обучения глухих детей, в их семьях и общинах. Следует также предоставлять услуги по сурдопереводу, с тем чтобы способствовать общению глухих с другими людьми».

Однако, в связи с повсеместным использованием в Европе при обучении глухих «чистого устного метода» С. Гейнике, в основе которого лежит отказ от использования жестов, чтобы стимулировать понимание глухими словесной речи, европейские жестовые языки (включая русский) практически не описаны, отсутствуют достаточно полные словари жестов, нет описания грамматик, научно обоснованных учебных курсов жестовых языков. Сурдопереводчики, как правило происходящие из семей глухих, приобретают знания жестового языка из бытового общения со своими глухими родственниками.

Проект предполагает создание Банка данных жестового языка (ЖЯ), доступного для пользователей через Интернет, который содержит базы данных различных национальных ЖЯ, записи которых включают изображения жестов, а также толкования значений жестов. Для каждого национального ЖЯ банк будет включать программы перевода текста на ЖЯ. В дальнейшем в банк будут включены средства перевода жестовых высказываний в связный текст.

Предполагается для создания и редактирования жестов использовать виртуальные персонажи (аватары). Жест записывается в виде скрипта, управляющего аватаром. Совокупность подобных записей вместе с вспомогательными текстами образует словарь ЖЯ. Для перевода текста в ЖЯ к словарю добавляется грамматика ЖЯ. Эта программа (со средствами распознавания речи) может использоваться во время собраний, для субтитрования жестами телевизионных передач и кинофильмов и т.п.

Программа перевода жестов в текст (со средствами генерации речи) может использоваться (совместно с программой перевода текста в жесты) для автоматизированного сурдоперевода. Наличие в банке описаний различных ЖЯ позволит создать средства автоматического перевода между ЖЯ.

Научная составляющая проекта связана с тем, что изучение ЖЯ позволит лучше понять особенности мышления глухих и даст возможность создать соответствующие учебные курсы. Так например, созданная авторами проекта на основе сопоставления оценок когнитивных способностей глухих и слышащих концепция информационной поддержки личностно-ориентированного обучения на Всероссийском открытом конкурсе «Педагогические инновации» (2004 г.) была удостоена медали Януша Корчака.

Для выборки из банка жестов планируется создание средств, подобных используемым при запросах к базам данным на естественном языке, полнотекстовом поиске, поиске в Интернет или автоматической классификации.

В лингвистике, изучающей словесные языки, язык не только объект изучения, но и инструмент исследователя. Однако невозможно описать какую-либо систему изнутри, нужно выйти за пределы описываемой системы. Представляется, что изучение жестов, иллюстрирующих способы мышления глухих, поможет в решении проблемы передачи смысла в естественном языке, в результате чего будет достигнут прогресс в создании систем машинного перевода для словесных языков, использующих базы знаний и онтологии. Поиск эффективных средств перевода текста в жесты позволил сформулировать решения, которые могут быть полезны в процессе интеллектуализации существующей сети Интернет и преобразования ее в Semantic Web. В настоящее время идет экспериментальная проверка этих решений, а также проверка их патентоспособности.

Коммерциализацию и внедрение результатов проекта, в силу его многоплановости, предполагается вести несколькими путями:

а) создание и распространение учебных пособий: число слабослышащих людей, использующих жесты, составляет примерно 0,7 – 0,8% населения различных стран мира (по некоторым оценкам — до 1,5%). В России не менее миллиона глухих. Учитывая, что в России только 57 школ для глухих, очевидно, что не менее миллиона человек, значительная часть которых имеет сохраненный интеллект, выведены из сферы образования и не могут выполнять квалифицированную работу, т.е. обречены на обеспечение своей жизни за счет социальных пособий. Поэтому семьи глухих заинтересованы в пособиях, облегчающих общение и обучение глухих. Это подтверждается опытом США, где курсы американского жестового языка преподаются во многих колледжах, существует достаточно устойчивый рынок обучающих средств и пособий для глухих, разработка которых поддерживается за счет средств Национального научного фонда США.

б) автоматизированный сурдоперевод: результаты проекта могут использоваться в телевизионных системах сурдоперевода. Интерес к подобным системам есть у различных телевизионных каналов (например, Космос-ТВ, 7ТВ).

в) использование графических средств проекта в рекламной и развлекательной индустрии: on-line 3D редактор, реализованный на Java, позволит создать новый мобильный сервис, сходный с модными службами пересылки картинок для мобильных телефонов, а также расширить сферу использования 3D-анимации в рекламе и оформлении web-сайтов.

г) создание интеллектуальных средств обработки текста: разработка оригинальной системы поиска, классификации и обработки текста позволит выйти на существующий рынок систем машинного перевода (объем рынка — миллионы USD в год) и на формируемые рынки корпоративных систем классификации поступающей информации (объем единичной сделки от 20 000 USD) и создания интеллектуализированных средств поиска информации в сети Интернет.

Главными препятствиями в полной реализации проекта является то, что отсутствуют описания грамматики и достаточно полные словари ЖЯ; появление качественных систем распознавания речи (особенно для русского языка) ожидается лишь через 10-15 лет. Это относит полное осуществление проекта на сравнительно далекое будущее, что приводит к потере интереса к нему венчурных инвесторов. Вследствие этого отсутствует необходимое финансирование проекта.

Однако возможность независимого коммерческого использования различных составляющих проекта дает основания полагать, что проект сможет выйти на самофинансирование уже на промежуточных стадиях реализации.

Мы ожидаем, что главным результатом проекта будет создание программного продукта нового поколения инструмента, позволяющего оперировать информацией с учётом её смысла и контекста. Информация — это то, что человек может извлечь из данных, то, что превращается человеком в знания. Поэтому мы считаем, что в настоящее время в конкурентной борьбе выигрывает тот, кто способен быстрее всех извлекать знания и использовать их (например, на бирже).

            Анализ рынка информационных технологий и разработок ведущих ИТ-производителей показывает, что многие фирмы и корпорации заняты решением этих проблем. Но, по нашему мнению, на уровне оперирования данными эта задача решения не имеет.

Результатом проекта станет создание и формирование нового направления в области программного обеспечения — информационных систем, не просто оперирующих данными, а «понимающих» смысл того, что за этими данными стоит.

Руководитель проекта:

ФИО: Воскресенский Александр Леонидович

Место работы: Государственное образовательное учреждение Специальная (коррекционная) общеобразовательная школа-интернат № 101 I и II видов (СКОШИ № 101 для глухих и слабослышащих детей)

Должность: заместитель директора по информационным технологиям

Образование: высшее,

1971 г. — Московский электротехнический институт связи, инженер-электромеханик;

1985 г. — Московский институт радиотехники, электроники и автоматики, 10-месячный курс повышения квалификации по специальности «Системное программирование в среде ОС ЕС»;

2002 г. — Московский центр Федерации Интернет образования, курсы повышения квалификации, удостоверение «Тьютор Интернет образования»;

2002 г. — Курсы по программе Intel® «Обучение для будущего»;

2002 г. — IST-Business TRAIN-IT® course, IZET Innovationszentrum Itzehoe, Germany;

2003 г. — Московский городской педагогический университет, 4-месячный курс переподготовки, диплом на право ведения профессиональной деятельности в сфере управления внедрением ИКТ в образовательную деятельность.

Перечень важнейших работ:

1980 – 1990 — Участие в разработке автоматизированных систем обработки почты

1988 – 1992 — Разработка и эксплуатация программного комплекса по расчету трудоемкости многономенклатурного производства и стоимости трудовых затрат (Московский завод киноаппаратуры «МосКинап»)

1994 – 1997 — Участие в проекте «Обзор коллективов и разработок стран СНГ в области лингвистики и речи», выполненном ТОО «Аналит» (член ELSNET, Россия) при финансировании Министерством науки и образования Франции

1998 – 2000 — Разработка «Анимированного словаря русского жестового языка». Проект поддержан Институтом «Открытое общество» (Российское отделение Фонда Сороса), грант 1BE921

1999 – 2000 — Участие в проекте «Guide to the Language & Speech Domain in Russia», выполненном компанией SCIPER (член ELSNET, Франция) при поддержке ELSNET и ELRA (см. http://schools.keldysh.ru/uvk1838/Sciper/catalog.htm) в рамках программы Европейской Комиссии «Технологии информационного общества» (IST). В проекте реализована на языке Java доступная через Интернет семантическая сеть разработок российских коллективов в области обработки языка и речи. Авторские права на программное обеспечение принадлежат российским участникам проекта.

1999 – по настоящее время — Разработка программы SLEd (Sign Languages Education) — анимированного многоязычного словаря жестовых языков; исследования когнитивных способностей глухих; работы в области формирования информационной обучающей среды школы; участие в проекте «БАРС» (доступ школ в Интернет по выделенным радиоканалам), осуществляемом РНЦ «Курчатовский институт» и СЗОУО Департамента образования города Москвы.

Публикации:

Около 100 публикаций, 9 авторских свидетельств на изобретения. Из них:

o       Гиль Г.К., Барсук И.В., Воскресенский А.Л., Ланда В.И. Организация автоматизированной обработки почтовых отправлений в крупных узлах связи. — М.: Радио и связь, 1985. — 208 с.

o       Arapov, M., Voskresensky, A., Semenova, V. How to compare and evaluate OCR systems? (Our approach). // Proceedings of ELSNET GO EAST and IMACS Workshop on Integration of Language and Speech. — 1995, Moscow, Russia, pp. 5 – 10.

o       Воскресенский А.Л., Воскресенский В.А., Флюр-Семенова В. Интернет-версия каталога российских коллективов и разработок в области автоматизированной обработки речи и текстов на естественном языке. // Труды Междунар. семинара Диалог’2001 по компьютерной лингвистике и ее приложениям. Т. 2 — Аксаково, 2001. — С. 64 – 73.

o       Кривовяз С.Я., Воскресенский А.Л. Использование информационных технологий и личностно-ориентированного подхода в системе непрерывного образования детей с нарушением слуха. // XI Международная конференция-выставка «Информационные технологии в образовании»: Материалы конференции. Ч. V. — М.: МИФИ, 2001.

o       Воскресенский А.Л. «Непризнанный язык» (Язык жестов глухих и компьютерная лингвистика). // Труды Международного семинара “Диалог-2002”. Т. 2. — Протвино, 2002. С. 100 – 106.

o       Воскресенский А.Л. Компьютерный банк жестовой речи. // Компьютерная лингвистика и интеллектуальные технологии: Тр. Междунар. конференции Диалог’2003 (Протвино, 11-16 июня 2003 г.) / Под ред. И.М. Кобозевой, Н.И. Лауфер, В.П. Селегея. – М.: Наука, 2003. – С. 688-691.

o       Воскресенский А.Л. Новые обучающие средства для новой реальности // XIII Междунар. конференция-выставка «Информационные технологии в образовании» (Москва, 16-20 ноября 2003 г.): Сборник трудов. Ч. VI. — М.: Просвещение, 2003. — С. 153-155.

o       Voskressenski, A., «Computer bank of sign languages», Conference abstracts, WISTCIS Outlook Conference «Information Society Priorities: New Prospects for European CIS Countries», Moscow, Russia, 20 – 21 November, 2003, p. 68 – 69.

o       Воскресенский А.Л. Жестовая речь — язык или знаковая система? // Компьютерная лингвистика и интеллектуальные технологии: Тр. Междунар. конференции Диалог'2004 («Верхневолжский», 2 – 7 июня 2004 г.) / Под ред. И.М. Кобозевой, Н.И. Лауфер, В.П. Селегея. — М.: Наука, 2004. — С. 121-125.

o       Voskressenski, A. Signs and speech: two forms of human communication. — Proceedings of the Ninth International Conference «Speech and Computer» SPECOM'2004, Saint-Petersburg, Russia, 20 – 22 September 2004, pp. 666-669.

o       Воскресенский А.Л. Особенности формирования знаний у глухих и слышащих. // Первая Российская конференция по когнитивной науке (9 - 12 октября 2004 г., Казань). — Казань: КГУ, 2004. — С. 59-60.

Награды:

2000, апрель — Программа SLEd отмечена RIAO-2000 Application Committee (Париж) как инновационная

2000, декабрь — Приз конкурса вебсайтов Программы «Обучение и доступ в Интернет» Управления образовательных и культурных программ Гос. департамента США

2001, ноябрь — Диплом за лучший доклад конференции ИТО-2001. Ссылка на тезисы включена в список информационных ресурсов для лиц со специальными потребностями Института информационных технологий в образовании ЮНЕСКО (первый и единственный вклад России в эти ресурсы).

2004, май — Медаль Януша Корчака Всероссийского открытого конкурса «Педагогические инновации» (в составе авторского коллектива)

Современное состояние исследований и разработок в области реализации проекта. Новизна предлагаемого подхода по сравнению с известными

Подпись:  

Рис. 1. Окно программы Mimehand II

Известны разработки, предназначен­ные для перевода текста в жесты и демонст­рации жестов в окне программы браузера Интернет. В качестве примера можно при­вести разработку Mimehand II (рис. 1), веду­щуюся фирмой Hitachi Europe, Ltd (Велико­британия) в рамках про­екта «электронного правительства»

(http://www.hitachi-eu.com/ egov/case_studies/mimehand1.htm).

Эта разработка не предусматривает возможность для пользователя создавать или редактировать жесты.

Существующие компьютерные учеб­ные пособия по жестовой речи, использующие для представления жестов видеофрагменты или анимированные изображения, не позво­ляют пользователю создать собственное жес­товое высказывание, зафиксированное сред­ствами данного обучающего пособия, и, соот­ветственно, сравнить его с эталонным. Т.е., в существующих обучающих пособиях отсут­ствуют средства контроля процесса обучения.

Подпись:  
Рис. 2. Sign Builder позволяет редактировать положе-ние рук в пространстве для ключевых точек анима-ции жеста и записывать информацию о ключевых точках (базовая конфигурация, координаты в про-странстве) на временной шкале. Эта информация, совместно с данными о времени исполнения отдель-ных движений записывается в файле сценария, который может быть воспроизведен в программе Sign Smith Studio.
Наиболее продвинутой на сегодняшний день может считаться разработка компании Vcom3D (г. Орландо, Флорида, США, http://www.Vcom3D.com). Ведущаяся с 90-х годов, в настоящее время она об­ладает обширным словарем жестов американ­ского жестового языка (ASL), предоставляет пользователю 12 раз­личных обликов (skin) виртуальных персо­нажей. В 2004 г. компания разработала бета-версию редактора жестов (Sign Builder), с помощью которого пользова­тель сможет за­писывать новые жесты (рис. 2). Од­нако, Sign Builder не предназначен для ра­боты в сети Интернет (по сообщению директора проекта Danny Roush), кроме того, как показало тестирова­ние прототипа, не поддер­живает языки, отличные от английского.

Авторами предлагаемого проекта предложен новый способ записи жестовых высказываний с помощью специализированных программных средств. Этот способ позволит с помощью сети Интернет осуществлять сбор различных жестов, их демонстрацию, отбор наиболее распространенных вариантов жестов, обозна­чающих то или иное высказывание.

В то же время известны работы по автоматическому распознаванию жестов, веду­щиеся, например, во Франции по проекту Artemis (http://www-sim.int-evry.fr/Artemis) и в Греции (Pashaloudi V.N., Margari­tis K.G. A perfomance study of a recognition system for Greek sign language alphabet letters. Proceedings of the Ninth International Conference «Speech and Computer» SPECOM'2004, Saint-Petersburg, Russia, 20 – 22 September 2004, pp. 545-551).

В данном проекте работы по распознаванию жестов пока не предусматриваются. Следует обратить внимание, что в обеих указанных разработках ставится задача распознавания дактильных знаков (являющихся перекодировкой букв соответствующего языка), а не соб­ственно жестов, передающих понятия. Одной из причин этого является отсутствие лингвистического описания как французского, так и греческого жестовых языков.

В области систем поиска и обработки информации одной из наиболее современных является RetrievalWare 8 компании Конвера (www.convera.com), которая позиционируется компанией как первая «платформа извлечения знаний». Особенностью программного обеспечения компании является динамическая сортировка извлекаемых в результате поиска данных по заранее заданным таксономическим классам. В настоящее время этот подход используется при автоматической рубрикации в системах обработки новостей.

Представляется, что разрабатываемые участником данного проекта компанией «Интеллектуальный партнёр» методы анализа текста на основе ролевых структур будут более гибкими и позволят выявлять смысловые концепты (и оперировать ими) для сопоставления выражений словесного языка и жестов без необходимости предварительного построения таксономий.

В данном проекте одной из основных задач является разработка лингвистического описания жестового языка и сопоставление его со словесным. В этом состоит уникаль­ность проекта. Помимо создания средств представления жестовых языков для облегчения коммуникации глухих между собой и со слышащими, а также для целей обучения глухих, в проекте впервые делается попытка сопоставить процессы передачи смысла высказывания в жестовом и словесном языке. Результаты этих работ могут быть полезны как при разработке программ перевода с одного словесного языка на другой, так и в начинающемся преобразовании сети Интернет в Semantic Web — интеллектуализированную сеть, имеющую некоторые признаки искусственного интеллекта.

Все другие разработчики реализуют лишь аналог какой-либо одной из частей данного проекта. Кроме того, они исходят из положения «помощи инвалидам», тогда как данный проект базируется на позиции глухих, рассматривающих себя как другой этнос. Это дает новые полезные результаты для лингвистики, когнитивной науки и других наук о человеке.

Принимаются меры по защите создаваемого программного обеспечения: база данных «Дактильная азбука» (http://schools.keldysh.ru/uvk1838/SLDict/daru.htm) зарегистрирована в Государственном регистре баз данных за № 0220007026 (Рег. Свид. № 6489 от 10 ноября 2000 г.); программа "SLEd" (русско-англо-русский анимированный словарь жестового языка) зарегистрирована в Фонде алгоритмов и программ Министерства образования РФ (регистрационный номер 50200000202 Информационно-библиотечного фонда Российской Федерации). Ряд полученных в ходе реализации проекта решений, как показывают результаты проведенного предварительного исследования на новизну, могут быть патентоспособными.

Проект представлялся на международных конференциях:

o       Воскресенский А.Л. «Непризнанный язык» (Язык жестов глухих и компьютерная лингвистика). // Труды Международного семинара “Диалог-2002”. Т. 2. — Протвино, 2002. С. 100 – 106.

o       Воскресенский А.Л. Компьютерный банк жестовой речи. // Компьютерная лингвистика и интеллектуальные технологии: Тр. Междунар. конференции Диалог’2003 (Протвино, 11-16 июня 2003 г.) / Под ред. И.М. Кобозевой, Н.И. Лауфер, В.П. Селегея. – М.: Наука, 2003. – С. 688-691.

o       Voskressenski, A., «Computer bank of sign languages», Conference abstracts, WISTCIS Outlook Conference «Information Society Priorities: New Prospects for European CIS Countries», Moscow, Russia, 20 – 21 November, 2003, p. 68 – 69.

o       Воскресенский А.Л. Жестовая речь — язык или знаковая система? // Компьютерная лингвистика и интеллектуальные технологии: Тр. Междунар. конференции Диалог'2004 («Верхневолжский», 2 – 7 июня 2004 г.) / Под ред. И.М. Кобозевой, Н.И. Лауфер, В.П. Селегея. — М.: Наука, 2004. — С. 121-125.

o       Voskressenski, A. Signs and speech: two forms of human communication. — Proceedings of the Ninth International Conference «Speech and Computer» SPECOM'2004, Saint-Petersburg, Russia, 20 – 22 September 2004, pp. 666-669.

Кроме того, предварительный вариант проекта был представлен в сентябре 2002 года на семинаре «Бизнес-планы ИТ-проектов» в Инновационном центре IZET (Ицехое, Германия). Также проект был представлен на выставке и конференции «Information Society Technologies IST-2003» в Копенгагене (ноябрь 2003 г., на стенде IZET) и вызвал интерес у мальтийских коллег. Ниже в уменьшенном виде показан плакат, представлявший проект на данной выставке.

В связи с новизной проекта его содержание по мере выполнения работ уточняется и расширяется, поэтому в указанных публикациях некоторые аспекты проекта не описывались или только упоминались как возможные.

страницы: 2 3