論文の概要: MERLIN: Multi-Stage Curriculum Alignment for Multilingual Encoder and LLM Fusion

• arxiv url: http://arxiv.org/abs/2509.08105v2
• Date: Thu, 11 Sep 2025 14:14:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 13:52:32.872566
• Title: MERLIN: Multi-Stage Curriculum Alignment for Multilingual Encoder and LLM Fusion
• Title（参考訳）: MERLIN:多言語エンコーダとLLM融合のための多段階カリキュラムアライメント
• Authors: Kosei Uemura, David Guzmán, Quang Phuoc Nguyen, Jesujoba Oluwadara Alabi, En-shiun Annie Lee, David Ifeoluwa Adelani,
• Abstract要約: カリキュラム学習戦略を適用した2段階モデルスタックフレームワークであるMERLINを提案する。 AfriMGSMベンチマークのMERLINでは、MindMergerより+12.9ppの精度が向上し、GPT-4o-miniを上回っている。 また、MGSMとMSVAMPに対して一貫した利得をもたらし、低リソースと高リソースの両方で有効性を示す。
• 参考スコア（独自算出の注目度）: 9.14830575127497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models excel in English but still struggle with complex reasoning in many low-resource languages (LRLs). Existing encoder-plus-decoder methods such as LangBridge and MindMerger raise accuracy on mid and high-resource languages, yet they leave a large gap on LRLs. We present MERLIN, a two-stage model-stacking framework that applies a curriculum learning strategy -- from general bilingual bitext to task-specific data -- and adapts only a small set of DoRA weights. On the AfriMGSM benchmark MERLIN improves exact-match accuracy by +12.9 pp over MindMerger and outperforms GPT-4o-mini. It also yields consistent gains on MGSM and MSVAMP (+0.9 and +2.8 pp), demonstrating effectiveness across both low and high-resource settings.
• Abstract（参考訳）: 大規模な言語モデルは英語では優れているが、多くの低リソース言語(LRL)では複雑な推論に苦戦している。 既存のエンコーダ+デコーダメソッドであるLangBridgeやMindMergerは、中級および高レベルの言語で精度を上げるが、LRLでは大きなギャップを残している。 MERLINは2段階のモデルスタッキングフレームワークで、一般的なバイリンガルのbitextからタスク固有のデータまで、カリキュラムの学習戦略を適用し、少数のDoRA重みにのみ適応する。 AfriMGSMベンチマークのMERLINでは、MindMergerより+12.9ppの精度が向上し、GPT-4o-miniを上回っている。 またMGSMとMSVAMP(+0.9と+2.8pp)で一貫した利得を得て、低リソースと高リソースの両方で有効性を示す。

関連論文リスト

• Utilizing Multilingual Encoders to Improve Large Language Models for Low-Resource Languages [4.702593857707973]
  LLM(Large Language Models)は英語では優れているが、その性能は低リソース言語(LRL)では英語中心の訓練によって著しく低下する。 本稿では,全ての中間層を融合させ,LLMに渡される言語情報を豊かにする新しいアーキテクチャを提案する。 我々はLRLの性能向上を強く観察し、シンハラ分類の精度を71.66%から75.86%に改善し、タミル語、ベンガル語、マラヤラム語などのインド語言語で明らかに改善した。
  論文  参考訳（メタデータ） (2025-08-12T17:17:13Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• MEXA: Multilingual Evaluation of English-Centric LLMs via Cross-Lingual Alignment [48.03702722532143]
  MEXAは、英語中心の大規模言語モデルの多言語能力を評価する方法である。 MEXAは並列文を用いて英語と非英語のアライメントを計算する。 このアライメントは、異なる言語でのモデルパフォーマンスを推定するために使用することができる。
  論文  参考訳（メタデータ） (2024-10-08T09:59:23Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。