論文の概要: One Form to Transfer Them All: Pretraining Multilingual Language Models Beyond Native Orthography

• arxiv url: http://arxiv.org/abs/2608.25904v2
• Date: Thu, 27 Aug 2026 20:32:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.071237
• Title: One Form to Transfer Them All: Pretraining Multilingual Language Models Beyond Native Orthography
• Title（参考訳）: 全てを伝達する一形態:ネイティブオーソグラフィを超えた多言語言語モデルの事前学習
• Authors: Muge Zhang, Aaron Jencks, Krishna Badikela, Yulia Tsvetkov, Sachin Kumar,
• Abstract要約: 自動回帰多言語事前学習における入力表現を系統的に比較し,正書法テキスト,IPA,ロマン化を比較した。 ロマン化は言語間の移動において最強であり、テキストに対する優位性は大規模に拡大する。 以上の結果から,多言語モデルにおいて,ロマン化は事前学習における中核的な設計選択として扱われるべきであることが示唆された。
• 参考スコア（独自算出の注目度）: 35.26843528120082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual language models transfer knowledge across languages through shared subword vocabulary, a mechanism that breaks down when related languages use different writing systems. Prior work addresses this via script equalization (romanization or IPA transcription), but direct comparisons are rare; the focus has been on encoder-only models, with most work adapting existing pretrained models. We systematically compare different input representations in autoregressive multilingual pretraining, comparing orthographic text, IPA, and romanization in a controlled setup across three scales (467M, 709M, and 1.03B) on eight languages in four typologically motivated pairs. Across a wide range of downstream tasks on seen and unseen languages, romanized pretraining yields the strongest cross-lingual transfer, and the advantage over text widens with scale. IPA improves over text in most settings but trails romanization. Surprisingly, finetuning a text-pretrained model on romanized data hurts performance on languages already covered by the base model, only marginally helping when the model lacks script coverage. Our results indicate that for multilingual models spanning typologically diverse scripts, to obtain maximum benefits, romanization should be treated as a core design choice applied at pretraining rather than a post hoc fix.
• Abstract（参考訳）: 多言語モデルでは、言語間で知識を共有サブワード語彙で伝達する。 以前の作業では、スクリプトの等化(ロマン化やIPAの転写)によってこの問題に対処するが、直接比較はまれであり、エンコーダのみのモデルに焦点を合わせており、ほとんどの作業は既存の事前訓練モデルに適応している。 自動回帰多言語事前学習における入力表現を系統的に比較し,3つの尺度 (467M, 709M, 1.03B) で正書法テキスト,IPA,romanizationを比較した。 目に見える言語や目に見えない言語に対する幅広いダウンストリームタスクの中で、ロマン化事前学習は言語間の移動が最強であり、大規模にテキストを拡大する利点がある。 IPAはテキストをほとんどの設定で改善するが、ロマライゼーションに追随する。 驚くべきことに、ロマライズされたデータに対するテキスト事前トレーニングモデルの微調整は、ベースモデルで既にカバーされている言語のパフォーマンスを損なう。 以上の結果から,多言語モデルにおいて最大利益を得るためには,ローマン化はポストホックの修正ではなく,事前トレーニングに適用される中核的な設計選択として扱われるべきであることが示唆された。

関連論文リスト

• A two-stage transliteration approach to improve performance of a multilingual ASR [1.9511556030544333]
  本稿では,言語に依存しないエンドツーエンドモデルを構築するためのアプローチを提案する。 我々は2つのIndic言語に対するエンドツーエンドの多言語音声認識システムを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-10-09T05:30:33Z)
• Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
  転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。 本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T08:59:24Z)
• TransliCo: A Contrastive Learning Framework to Address the Script Barrier in Multilingual Pretrained Language Models [50.40191599304911]
  本稿では,mPLM を微調整する TransliCo を提案する。 Furinaは様々なゼロショット・クロスリンガル・トランスファータスクにおいてオリジナルのGlot500-mより優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-12T15:12:48Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Multilingual Translation with Extensible Multilingual Pretraining and Finetuning [77.33262578776291]
  これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。 多言語翻訳モデルは多言語微調整により作成可能であることを示す。 事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
  論文  参考訳（メタデータ） (2020-08-02T05:36:55Z)
• Cross-lingual Transfer of Sentiment Classifiers [2.1600185911839893]
  言語間単語埋め込みは、類似した単語が整列するように、異なる言語のベクトル空間を変換する。 言語間埋め込みを用いて、Twitterの感情の機械学習予測モデルを13言語間で転送する。
  論文  参考訳（メタデータ） (2020-05-15T10:15:27Z)
• Language-agnostic Multilingual Modeling [23.06484126933893]
  我々は,言語に依存しない多言語ASRシステムを構築し,多対一のトランスデューサを用いて,すべての言語を1つの書き起こしシステムに変換する。 我々は,ヒンディー語,ベンガル語,タミル語,カナダ語の4つの言語を用いて,言語に依存しない多言語モデルを用いて,単語誤り率(WER)を最大10%削減できることを示す。
  論文  参考訳（メタデータ） (2020-04-20T18:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。