論文の概要: Utilizing Multilingual Encoders to Improve Large Language Models for Low-Resource Languages

• arxiv url: http://arxiv.org/abs/2508.09091v1
• Date: Tue, 12 Aug 2025 17:17:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.519302
• Title: Utilizing Multilingual Encoders to Improve Large Language Models for Low-Resource Languages
• Title（参考訳）: 低リソース言語における多言語エンコーダを用いた大規模言語モデルの改良
• Authors: Imalsha Puranegedara, Themira Chathumina, Nisal Ranathunga, Nisansa de Silva, Surangika Ranathunga, Mokanarangan Thayaparan,
• Abstract要約: LLM(Large Language Models)は英語では優れているが、その性能は低リソース言語(LRL)では英語中心の訓練によって著しく低下する。 本稿では,全ての中間層を融合させ,LLMに渡される言語情報を豊かにする新しいアーキテクチャを提案する。 我々はLRLの性能向上を強く観察し、シンハラ分類の精度を71.66%から75.86%に改善し、タミル語、ベンガル語、マラヤラム語などのインド語言語で明らかに改善した。
• 参考スコア（独自算出の注目度）: 4.216707699421813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) excel in English, but their performance degrades significantly on low-resource languages (LRLs) due to English-centric training. While methods like LangBridge align LLMs with multilingual encoders such as the Massively Multilingual Text-to-Text Transfer Transformer (mT5), they typically use only the final encoder layer. We propose a novel architecture that fuses all intermediate layers, enriching the linguistic information passed to the LLM. Our approach features two strategies: (1) a Global Softmax weighting for overall layer importance, and (2) a Transformer Softmax model that learns token-specific weights. The fused representations are mapped into the LLM's embedding space, enabling it to process multilingual inputs. The model is trained only on English data, without using any parallel or multilingual data. Evaluated on XNLI, IndicXNLI, Sinhala News Classification, and Amazon Reviews, our Transformer Softmax model significantly outperforms the LangBridge baseline. We observe strong performance gains in LRLs, improving Sinhala classification accuracy from 71.66% to 75.86% and achieving clear improvements across Indic languages such as Tamil, Bengali, and Malayalam. These specific gains contribute to an overall boost in average XNLI accuracy from 70.36% to 71.50%. This approach offers a scalable, data-efficient path toward more capable and equitable multilingual LLMs.
• Abstract（参考訳）: LLM(Large Language Models)は英語では優れているが、その性能は低リソース言語(LRL)では英語中心の訓練によって著しく低下する。 LangBridgeのようなメソッドは、MTS(Massively Multilingual Text-to-Text Transfer Transformer)のような多言語エンコーダとLLMをアライメントするが、通常は最終エンコーダ層のみを使用する。 本稿では,全ての中間層を融合させ,LLMに渡される言語情報を豊かにする新しいアーキテクチャを提案する。 提案手法は,(1)グローバル・ソフトマックス重み付けと(2)トークン固有の重みを学習するトランスフォーマー・ソフトマックスモデルである。 融合表現はLLMの埋め込み空間にマッピングされ、多言語入力を処理できる。 モデルは、並列データや多言語データを用いることなく、英語のデータのみに基づいて訓練される。 XNLI、IndicXNLI、Sinhala News Classification、Amazon Reviewsで評価すると、Transformer SoftmaxモデルはLangBridgeベースラインよりも大幅に優れています。 我々はLRLの性能向上を強く観察し、シンハラ分類の精度を71.66%から75.86%に改善し、タミル語、ベンガル語、マラヤラムなどのインド語言語で明らかに改善した。 これらの特定の利得は、平均XNLIの精度を70.36%から71.50%に向上させるのに寄与する。 このアプローチは、より有能で公平な多言語 LLM へのスケーラブルでデータ効率のよいパスを提供する。

関連論文リスト

• Multilingual Encoder Knows more than You Realize: Shared Weights Pretraining for Extremely Low-Resource Languages [9.066355705304984]
  極低リソース言語におけるテキスト生成に多言語エンコーダを適用するための新しいフレームワークを提案する。 我々のフレームワークは,エンコーダとデコーダの間の重みを再利用することにより,学習したエンコーダの意味空間を活用することができる。 この枠組みを4つの中国語マイノリティ言語に適用し、XLM-SWCMを提案し、様々な下流タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T16:53:10Z)
• Small Models, Big Impact: Efficient Corpus and Graph-Based Adaptation of Small Multilingual Language Models for Low-Resource Languages [10.418542753869433]
  低リソース言語(LRL)は、限られたデータのために自然言語処理(NLP)において重大な課題に直面している。 現在の最先端の大規模言語モデル(LLM)は、まだLRLと競合している。 mBERTやXLM-Rのような小さなマルチリンガルモデル(mLM)は、トレーニングデータサイズに適合する能力が向上するため、より有望である。
  論文  参考訳（メタデータ） (2025-02-14T13:10:39Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• Unraveling the Potential of Large Language Models in Code Translation: How Far Are We? [4.616570111453259]
  大規模言語モデル(LLM)は様々なタスクにおいて最先端のパフォーマンスを示すが、コード翻訳には苦労する。 コード翻訳タスクにおけるLLMの能力と能力を利用するための大規模な実証的研究を行う。 提案手法は,(1)ソースと対象言語間の中間言語を選択する中間翻訳と,(2)自己生成並列データ上でLPMを微調整する自己学習である。
  論文  参考訳（メタデータ） (2024-10-13T12:20:12Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Improving Target-side Lexical Transfer in Multilingual Neural Machine Translation [104.10726545151043]
  マルチリンガルデータは、LRLからターゲット言語に翻訳するNMTモデルにとって、LRLに翻訳するモデルよりも有益であることが判明した。 実験の結果,DecSDEは最大1.8BLEUの英語から4つの言語への翻訳において一貫した向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-10-04T19:42:40Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。