Как цифровой корпус
обучил мировой ИИ тувинскому языку
Крупнейшая в мире открытая лингвистическая база тувинского языка: 407 000+ выверенных предложений и 5 млн слов монокорпуса. Прокручивайте страницу вниз, чтобы увидеть, как наши данные работают в Google Переводчике, Gemini, Яндексе и открытых моделях.
Летом 2024 года Google объявил о крупнейшем в своей истории расширении переводчика на 110 новых языков мира с охватом свыше 614 млн человек. В этот список вошёл тувинский язык. Обучение модели машинного перевода PaLM 2 стало возможным благодаря открытым датасетам проекта tyvan.ru.
В отличие от классических переводчиков, языковые модели Gemini не просто сопоставляют слова, а понимают агглютинативный строй тувинского языка: цепочки падежных аффиксов, деепричастные обороты и этнокультурный смысл пословиц.
Параллельные датасеты tyvan.ru были предоставлены исследовательской группе Яндекс Перевода. Это позволило создать качественные статистические и нейросетевые словари с адаптацией под специфику региональной лексики Республики Тыва.
Для свободного сообщества натренированы чекпоинты моделей NLLB-200 (No Language Left Behind) и MarianMT. Любой исследователь или программист может запустить перевод локально на своём сервере в 4 строки кода на Python.
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("tyvan/nllb-200-tyvan")
model = AutoModelForSeq2SeqLM.from_pretrained("tyvan/nllb-200-tyvan")
# Инференс: tyv_Cyrl -> rus_Cyrl
inputs = tokenizer("Экии, хүндүлүг өңнүк!", return_tensors="pt")
translated_tokens = model.generate(**inputs, forced_bos_token_id=tokenizer.lang_code_to_id["rus_Cyrl"])
print(tokenizer.batch_decode(translated_tokens, skip_special_tokens=True))
# Вывод: ['Здравствуйте, уважаемый друг!']
Работа по оцифровке тувинского языка и созданию параллельных корпусов прошла строгую международную академическую валидацию. Результаты опубликованы на ведущей всемирной конференции по машинному переводу (WMT 2024 в рамках EMNLP), представлены в библиотеке ACL Anthology и выполнены в тесном сотрудничестве с исследователями Google Research и ведущими NLP-учёными.
Итоговые метрики корпуса проекта
Все материалы проекта переданы научному и языковому сообществу по свободной международной лицензии Creative Commons Attribution 4.0.
Выверенный параллельный массив: фольклор, классическая художественная литература Тувы, законодательные акты и разговорная речь. Стал базой для машинного перевода Google и Яндекса.
Данные свободны для академических исследований, коммерческих и некоммерческих систем без скрытых лицензионных сборов.
Оцифрованный и лемматизированный массив тувинских текстов для предобучения больших языковых моделей (LLM).
Полная оцифрованная версия фундаментального русско-тувинского словаря ТНИИЯЛИ под редакцией Э. Р. Тенишева (1980 г.).
Официальные приложения «Русско-тувинский словарь» в App Store и Google Play с десятками тысяч установок.
Путь от студенческой оцифровки до мирового ИИ
Хроника ключевых достижений, исторических вех и технологической эволюции tyvan.ru
Оцифровка академического наследия
Поручение Главы Республики Тыва на форуме к Дню тувинского языка. Первая студенческая группа перевела в цифровой формат фундаментальный «Русско-тувинский словарь» ТНИИЯЛИ под ред. Э. Р. Тенишева (1980 г.).
Запуск tyvan.ru и мобильных приложений
Создание современного веб-сервиса tyvan.ru и официальных приложений для iOS и Android. Словарь стал доступен каждому в кармане без интернета. Начало краудсорсинга параллельных фраз.
Первый в истории ИИ-переводчик на tyvan.ru
Запуск собственного онлайн-нейросетевого переводчика непосредственно на сайте tyvan.ru на базе открытой модели NLLB-200 и Transformer (совместно с Давидом Дале и Айраной Монгуш). Это был первый в мире действующий онлайн-переводчик тувинского языка на базе искусственного интеллекта.
Переводчик на tyvan.ru отключён, пользуйтесь мировыми ИИ
Собственная веб-модель на сайте успешно выполнила свою историческую миссию и была отключена в 2026 году.
Благодаря открытому корпусу tyvan.ru команды Google и Яндекс обучили собственные промышленные модели. Сегодня глобальные сервисы работают значительно быстрее, стабильнее и переводят качественнее на миллиардную аудиторию!
Научные публикации WMT 2024 (ACL)
Масштабирование открытого корпуса до 407 000 выверенных параллельных предложений и 5 млн слов. Научные статьи на конференции WMT 2024 (ACL Anthology) совместно с Айраной Монгуш, Начыном-Энхедоржу Ооржаком и Isaac Caswell (Google).
Google Translate, Яндекс и Gemini
Тувинский язык официально запущен в Google Переводчике (27 июня 2024), Яндекс Переводчике и поддерживается в Gemini. Наш корпус открыт для всего мира по лицензии CC-BY 4.0.
Информация, размещаемая на страницах, относящихся к tyvan.ru, предназначена для личного, научного, некоммерческого использования и не подлежит распространению, копированию, лицензированию или продаже. Инструмент переводчика можно использовать только на странице сайта www.tyvan.ru и запрещено автоматизированное использование его инструментов, в том числе скриптами, взломом и обходными путями (подробнее в документе).