Якутский в Google и Яндекс. ИИ технологии на службе родного языка
Заходим в гугл, не мудрствуя лукаво пишем «тэлгэһэ диэн тугуй?». И он нам выдаёт несколько значений слова и примеры использования, всё на якутском! Когда это случилось и кто над этим работает? Насколько сегодня якутский язык интегрирован в интернет? Об этом нам рассказал Николай Павлов – Халан, лингвист, основатель общественного движения «КиберСаха», причастный к работе сайта SakhaTyla.ru, член Совета по развитию языков при главе Якутии.
— Начнём с того, что программа Google Translate полноценно переводит тексты с якутского языка и обратно на мировые языки с 2024 года. Это стало частью большого события, когда сразу 110 языков вошли в словарь Google Translate. Случиться этому в большой степени помогла обучающая платформа самого Гугла, на которой активно работали и мы. Суть работы была в том, что якутские добровольцы вносили туда перевод слов и фраз на якутский язык, а также исправляли и совершенствовали варианты перевода, внесенные другими. К работе на платформе привлекались самые разные категории людей. Например, одним летом мы давали 10-м классам Республиканского лицея перевести фразы в качестве учебной практики. Каждый ученик перевёл более 100 фраз, и всё вошло в платформу, а впоследствии стало базой для Гугл переводчика.
Также хорошей обучающей лингвистической базой для Goоgle переводчика стал раздел Википедии на языке саха, а в последние годы и российский ее аналог Рувики, который на данный момент содержит 26 685 статей на якутском языке.
Если якутский язык появился в Google translate пару лет назад, то в Яндекс-переводчике он появился еще раньше, в 2020 году. Правда, он до сих пор далек от совершенства, но мы работаем и над этим. Такая работа – очень сложный процесс, сочетающий несколько технологий. Во-первых, функция распознавания аудио. Необходимо довести систему до идеального распознавания якутской речи. На практике это нужно, например, когда два человека общаются, причем один говорит только на английском, другой - только на якутском, проговаривая предложения в телефон, и программа выдаёт правильный перевод. Вторая технология - текстовый перевод с якутского на любой другой язык и обратно. В-третьих, письменный текст должен быть правильно озвучен по-якутски, в идеале даже с передачей эмоций. О таких технологиях, как распознавание якутского текста камерой телефона я даже не говорю, уже сейчас с помощью приложения Гугл Объектив можно, направив камеру телефона на вывески, видеть их на экране по-китайски или по-французски.
Еще предстоит поработать также с распознаванием письменных якутских текстов с правильной передачей всех буквенных знаков. Причем распознаванием не только печатных, и не только кириллических текстов, а также отсканированных писем от руки, написанных азбукой Новгородова, например. Для этой работы мы совместно с Яндексом собираемся привлечь магистрантов кафедры перевода и стилистики якутского языка СВФУ. Координирует направление языковой активист Алла Ноговицина.
Решив с успехом все эти задачи, мы получим идеальный Яндекс-переводчик с якутского с широким выбором функций.
Ещё одна из наших конечных целей – это внедрить якутский язык в умные колонки, чтобы, как вариант, можно было сказать: «Алиса, алаадьы рецебын этэн кулу!», и он бы выдал рецепт оладий на чистейшем якутском. Когда якутский язык это освоит, это будет большая победа. Решение будет не только удобным для всех нас, но и откроет перспективы для освоения языка нашими детьми.
В России как минимум две большие компании заинтересованы во внедрении якутского языка в свои системы. Это Сбер и Яндекс. В Сбере есть подразделение, которое работает над большими языковыми моделями, проще говоря ИИ, оно сотрудничает со специалистами нашей Национальной библиотеки РС (Я). Группой со стороны библиотеки руководит Василий Борисов. Понятно, что коммерческие гиганты, такие как Сбер и Яндекс, делают это в своих целях, например, маркетинговых. Они понимают, что тут "зарыты" деньги. Как сказал Нельсон Мандела: «Если вы разговариваете с человеком на языке, который он понимает, вы обращаетесь к его разуму. Если же вы разговариваете с ним на его родном языке, вы обращаетесь к его сердцу». Но их коммерческий интерес полезен и для нас.
И опыт внедрения языков, отличающихся от русского, у того же Яндекса есть. «Алиса» уже говорит на казахском с 2024 года. А ведь казахский – это тоже тюркский язык, как и якутский. Пока, правда, Яндекс чуть подтормаживает, отстает от мировых гигантов. Но мы стараемся со своей стороны их расшевелить. Думаю, глядя на активность Сбербанка с его ГигаЧатом, который скоро "заговорит" на 20 языках России, в том числе якутском, и Яндекс станет активнее.
В Якутии продвижением языка в ИИ занимаются несколько организаций. Это институт математики и компьютерных наук Северо-Восточного федерального университета. Есть инновационная фирма в IT-парке, которая также занимается в этом направлении по заданию нашего Ил Дархана. Институт гуманитарных исследований в коллаборации с разными организациями работает в этой области. Надо сказать, координации между ними всеми мало. А ведь время идет, человечество стремительно развивается, а поколения якутских детей растут, осваивая иноязычные технологии. Наше общественное движение занимается координацией усилий по цифровизации якутского языка. Чтобы было больше открытости, общения друг с другом, это ведь одно поле деятельности.
Эту деятельность наряду с государством и корпорациями ведут и добровольцы, фанаты родного языка. К работе можете присоединиться и вы. Например, вы можете "пожертвовать" свой голос, чётко и ясно проговорив заданные предложения на сайте commonvoice.mozilla.org через свой телефон. Это открытые данные, которые впоследствии смогут использовать в своей работе разработчики разных приложений, от Гугла до отдельных программистов.
Также могу в качестве полезной фичи посоветовать телеграм-бот, который конвертирует якутскую речь в текст @nlrs_stt_bot. (https://t.me/nlrs_stt_bot) Сначала подобного робота разработали преподаватели СВФУ, а с прошлого года сервис предоставляется Национальной библиотекой.
В заключение хочется пожелать, чтобы разработки якутских программистов, работающих с бюджетными средствами, были максимально открытыми и доступными, и приносили пользу как можно большему количество якутян. Ведь это в конечном итоге делается для конкурентоспособности и экономического процветания нашей республики.
— Начнём с того, что программа Google Translate полноценно переводит тексты с якутского языка и обратно на мировые языки с 2024 года. Это стало частью большого события, когда сразу 110 языков вошли в словарь Google Translate. Случиться этому в большой степени помогла обучающая платформа самого Гугла, на которой активно работали и мы. Суть работы была в том, что якутские добровольцы вносили туда перевод слов и фраз на якутский язык, а также исправляли и совершенствовали варианты перевода, внесенные другими. К работе на платформе привлекались самые разные категории людей. Например, одним летом мы давали 10-м классам Республиканского лицея перевести фразы в качестве учебной практики. Каждый ученик перевёл более 100 фраз, и всё вошло в платформу, а впоследствии стало базой для Гугл переводчика.
Также хорошей обучающей лингвистической базой для Goоgle переводчика стал раздел Википедии на языке саха, а в последние годы и российский ее аналог Рувики, который на данный момент содержит 26 685 статей на якутском языке.
Если якутский язык появился в Google translate пару лет назад, то в Яндекс-переводчике он появился еще раньше, в 2020 году. Правда, он до сих пор далек от совершенства, но мы работаем и над этим. Такая работа – очень сложный процесс, сочетающий несколько технологий. Во-первых, функция распознавания аудио. Необходимо довести систему до идеального распознавания якутской речи. На практике это нужно, например, когда два человека общаются, причем один говорит только на английском, другой - только на якутском, проговаривая предложения в телефон, и программа выдаёт правильный перевод. Вторая технология - текстовый перевод с якутского на любой другой язык и обратно. В-третьих, письменный текст должен быть правильно озвучен по-якутски, в идеале даже с передачей эмоций. О таких технологиях, как распознавание якутского текста камерой телефона я даже не говорю, уже сейчас с помощью приложения Гугл Объектив можно, направив камеру телефона на вывески, видеть их на экране по-китайски или по-французски.
Еще предстоит поработать также с распознаванием письменных якутских текстов с правильной передачей всех буквенных знаков. Причем распознаванием не только печатных, и не только кириллических текстов, а также отсканированных писем от руки, написанных азбукой Новгородова, например. Для этой работы мы совместно с Яндексом собираемся привлечь магистрантов кафедры перевода и стилистики якутского языка СВФУ. Координирует направление языковой активист Алла Ноговицина.
Решив с успехом все эти задачи, мы получим идеальный Яндекс-переводчик с якутского с широким выбором функций.
Ещё одна из наших конечных целей – это внедрить якутский язык в умные колонки, чтобы, как вариант, можно было сказать: «Алиса, алаадьы рецебын этэн кулу!», и он бы выдал рецепт оладий на чистейшем якутском. Когда якутский язык это освоит, это будет большая победа. Решение будет не только удобным для всех нас, но и откроет перспективы для освоения языка нашими детьми.
В России как минимум две большие компании заинтересованы во внедрении якутского языка в свои системы. Это Сбер и Яндекс. В Сбере есть подразделение, которое работает над большими языковыми моделями, проще говоря ИИ, оно сотрудничает со специалистами нашей Национальной библиотеки РС (Я). Группой со стороны библиотеки руководит Василий Борисов. Понятно, что коммерческие гиганты, такие как Сбер и Яндекс, делают это в своих целях, например, маркетинговых. Они понимают, что тут "зарыты" деньги. Как сказал Нельсон Мандела: «Если вы разговариваете с человеком на языке, который он понимает, вы обращаетесь к его разуму. Если же вы разговариваете с ним на его родном языке, вы обращаетесь к его сердцу». Но их коммерческий интерес полезен и для нас.
И опыт внедрения языков, отличающихся от русского, у того же Яндекса есть. «Алиса» уже говорит на казахском с 2024 года. А ведь казахский – это тоже тюркский язык, как и якутский. Пока, правда, Яндекс чуть подтормаживает, отстает от мировых гигантов. Но мы стараемся со своей стороны их расшевелить. Думаю, глядя на активность Сбербанка с его ГигаЧатом, который скоро "заговорит" на 20 языках России, в том числе якутском, и Яндекс станет активнее.
В Якутии продвижением языка в ИИ занимаются несколько организаций. Это институт математики и компьютерных наук Северо-Восточного федерального университета. Есть инновационная фирма в IT-парке, которая также занимается в этом направлении по заданию нашего Ил Дархана. Институт гуманитарных исследований в коллаборации с разными организациями работает в этой области. Надо сказать, координации между ними всеми мало. А ведь время идет, человечество стремительно развивается, а поколения якутских детей растут, осваивая иноязычные технологии. Наше общественное движение занимается координацией усилий по цифровизации якутского языка. Чтобы было больше открытости, общения друг с другом, это ведь одно поле деятельности.
Эту деятельность наряду с государством и корпорациями ведут и добровольцы, фанаты родного языка. К работе можете присоединиться и вы. Например, вы можете "пожертвовать" свой голос, чётко и ясно проговорив заданные предложения на сайте commonvoice.mozilla.org через свой телефон. Это открытые данные, которые впоследствии смогут использовать в своей работе разработчики разных приложений, от Гугла до отдельных программистов.
Также могу в качестве полезной фичи посоветовать телеграм-бот, который конвертирует якутскую речь в текст @nlrs_stt_bot. (https://t.me/nlrs_stt_bot) Сначала подобного робота разработали преподаватели СВФУ, а с прошлого года сервис предоставляется Национальной библиотекой.
В заключение хочется пожелать, чтобы разработки якутских программистов, работающих с бюджетными средствами, были максимально открытыми и доступными, и приносили пользу как можно большему количество якутян. Ведь это в конечном итоге делается для конкурентоспособности и экономического процветания нашей республики.