論文の概要: Embedding Initialization for Unseen Low-resource Languages in Multilingual NMT: A Case Study on Limbum-English Translation

• arxiv url: http://arxiv.org/abs/2608.07629v1
• Date: Fri, 07 Aug 2026 11:45:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.46397
• Title: Embedding Initialization for Unseen Low-resource Languages in Multilingual NMT: A Case Study on Limbum-English Translation
• Title（参考訳）: 多言語NMTにおける未知の低リソース言語に対する埋め込み初期化 : リンバム英訳を事例として
• Abstract要約: NLLB-200のようなニューラルマシン翻訳モデルは200言語をカバーしているが、何千もサポートされていない。 言語トークンが複数の型的関連言語からの埋め込みの平均となる埋め込み戦略を実装した。 我々は,新約聖書テキストとバイリンガル辞書から8,837文対のパラレルコーパスを用いて,リンバム・トゥ・イングリッシュ翻訳のアプローチを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual neural machine translation models such as NLLB-200 cover 200 languages but leave thousands unsupported, including most Grassfields Bantu languages of Cameroon. When fine-tuning these models for an unseen language, practitioners must choose a proxy language token, yet no principled method exists for this selection. We implemented an embedding initialization strategy where a language token is the average of embeddings from multiple typologically related languages already in the mod el. We evaluate this approach on Limbum-to-English translation using a parallel corpus of 8,837 sentence pairs from New Testament text and a bilingual dictionary. We compare models: NLLB-200 zero-shot (chrF2++ = 12.5), a Transformer trained from scratch (chrF2++ = 14.5), NLLB-200 fine-tuned with a Swahili proxy token (chrF2++ = 47.3), and NLLB-200 with our averaged embedding initialization (chrF2++ = 46.7). We find that the multi-language initialization achieves performance comparable to the best single-language proxy. Both NLLB-200 variants improve over the from-scratch baseline by over 32 chrF2++ points. These results show that multilingual transfer is the dominant factor in extremely low-resource Bantu translation while eliminating the need for heuristic proxy selection. However, all systems fail to preserve tonal diacritics, highlighting an open challenge. We make our dataset and code available to support further research.
• Abstract（参考訳）: NLLB-200のような多言語ニューラルマシン翻訳モデルは200言語をカバーしているが、カメルーンのほとんどのグラスフィールド・バントゥー言語を含む数千の言語はサポートされていない。 これらのモデルを目に見えない言語のために微調整する場合、実践者はプロキシ言語トークンを選択する必要があるが、この選択には原則化されたメソッドは存在しない。 我々は,モジュールelにすでに存在する複数の型的関連言語からの埋め込みが,言語トークンの平均となる埋め込み初期化戦略を実装した。 我々は,新約聖書テキストとバイリンガル辞書から8,837文対のパラレルコーパスを用いて,リンバム・トゥ・イングリッシュ翻訳のアプローチを評価する。 NLLB-200ゼロショット(chrF2++ = 12.5)、ゼロショット(chrF2++ = 14.5)、スワヒリプロキシトークン(chrF2++ = 47.3)で微調整されたトランスフォーマー(chrF2++ = 46.7)、埋め込み初期化(chrF2++ = 46.7)。 複数言語の初期化は、最高の単一言語プロキシに匹敵する性能を達成する。 NLLB-200はどちらも、32 chrF2++ポイント以上のアウトスクラッチベースラインを改善している。 これらの結果から,多言語変換が極めて低リソースなBantu翻訳の主要な要因であり,ヒューリスティックなプロキシ選択の必要性を排除していることがわかった。 しかし、全てのシステムは音節のダイアクリティカルティクスを保存できず、オープンな課題を浮き彫りにしている。 さらなる研究を支援するために、データセットとコードを利用可能にしています。

関連論文リスト

• Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
  言語間の文エンコーダは通常、数百の言語をカバーしている。 我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
  論文  参考訳（メタデータ） (2026-03-17T14:47:35Z)
• SIB-200: A Simple, Inclusive, and Big Evaluation Dataset for Topic Classification in 200+ Languages and Dialects [9.501383449039142]
  我々は200の言語と方言のトピック分類のための大規模ベンチマークデータセットであるSIB-200を開発した。 SIB-200でカバーされている多くの言語に対して、これは自然言語理解のための最初の公開評価データセットである。 その結果、多言語モデル、表現不足言語家族、アフリカ、アメリカ、オセアニア、東南アジアの言語が事前学習中に見つからない言語は、トピック分類データセット上で最も低いパフォーマンスを持つことが多いことがわかった。
  論文  参考訳（メタデータ） (2023-09-14T05:56:49Z)
• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• LIMIT: Language Identification, Misidentification, and Translation using Hierarchical Models in 350+ Languages [27.675441924635294]
  現在のシステムは世界の7000の言語の大部分を正確に識別することはできない。 まず、350以上の言語で50Kの多言語・並列児童話のコーパスMCS-350をコンパイルする。 言語識別のための新しい誤予測分解階層モデル LIMIt を提案する。
  論文  参考訳（メタデータ） (2023-05-23T17:15:43Z)
• SMaLL-100: Introducing Shallow Multilingual Machine Translation Model for Low-Resource Languages [102.50127671423752]
  本稿では,100言語をカバーするM2M-100(12B)機械翻訳モデルの蒸留版であるSMaLL-100を紹介する。 我々はSMALL-100を全ての言語対を均一にサンプリングすることで訓練し、低リソース言語の性能を維持することに重点を置いている。 我々のモデルはM2M-100(1.2B)に匹敵する結果を得るが、推論では3.6倍小さく、4.3倍高速である。
  論文  参考訳（メタデータ） (2022-10-20T22:32:29Z)
• Continual Mixed-Language Pre-Training for Extremely Low-Resource Neural Machine Translation [53.22775597051498]
  我々は,mbart を未熟な言語に効果的に適用するための,継続的な事前学習フレームワークを提案する。 その結果,mBARTベースラインの微調整性能を一貫して改善できることが示された。 私たちのアプローチは、両方の言語が元のmBARTの事前トレーニングで見られる翻訳ペアのパフォーマンスを高めます。
  論文  参考訳（メタデータ） (2021-05-09T14:49:07Z)
• Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT [129.99918589405675]
  本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
  論文  参考訳（メタデータ） (2020-09-16T11:37:10Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。