論文の概要: Building Multilingual Bridges: Data Mixing as the Pillar of Generalization for In-Language Reasoning
- arxiv url: http://arxiv.org/abs/2609.10445v1
- Date: Wed, 09 Sep 2026 16:56:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:09.117724
- Title: Building Multilingual Bridges: Data Mixing as the Pillar of Generalization for In-Language Reasoning
- Title（参考訳）: マルチリンガルブリッジの構築:言語内推論の一般化の柱としてのデータ混合
- Authors: Mehrnaz Mofakhami, Ananya Sahu, Alejandro R. Salamanca, Daniel D'souza, Alexandre Berard, Thomas Euyang, Marzieh Fadaee, Julia Kreutzer,
- Abstract要約: 推論言語モデルは、それらが引き起こされる言語に関係なく、主に英語で理にかなっている。
これは、英語を話さないユーザにとってアクセス不能であり、元の質問の意図を失うリスクがあり、ターゲット言語でより容易に表現される知識を忘れてしまう。
本研究では,L2推論を推進し,ユーザのプロンプトの言語でモデルが一貫した推論を行えるようにし,プロンプトと応答の間に言語内ブリッジを構築する。
- 参考スコア（独自算出の注目度）: 75.46846056993418
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning language models have made substantial advances on a variety of complex tasks, yet their capabilities remain overwhelmingly English-centric: models primarily reason in English regardless of the language they are prompted in. This is inaccessible for non-English-speaking users, risks losing the intent of the original question, and forgoes knowledge more readily expressed in the target language. In this work, we advance L2 reasoning, the ability of a model to reason consistently in the language of the user's prompt, thus building an in-language bridge between the prompt and the answer. We approach this problem from a data-centric angle, investigating how to optimize data composition and scheduling in SFT for reasoning generalization. Building Tiny Aya L2-Thinker at 3.35B scale, we achieve an L2 reasoning rate above 93% across 60 languages on 6 benchmarks spanning math, commonsense reasoning, instruction following, open-ended generation, and cultural reasoning while keeping performance strong. We show the path to generalizing L2 reasoning to held-out languages goes through broader language coverage, readily available multilingual non-reasoning data, and a sufficient English reasoning backbone. These findings indicate that reasoning is a language-agnostic behavior that can be transferred across typologically diverse languages through careful data mixing and without requiring reasoning supervision in every target language. We release our model weights and multilingual reasoning data to support further research on accessible, in-language reasoning.
- Abstract（参考訳）: 推論言語モデルは、様々な複雑なタスクにおいて大幅に進歩してきたが、その能力は圧倒的に英語中心である。
これは、英語を話さないユーザにとってアクセス不能であり、元の質問の意図を失うリスクがあり、ターゲット言語でより容易に表現される知識を忘れてしまう。
本研究では,L2推論を推進し,ユーザのプロンプトの言語でモデルが一貫した推論を行えるようにし,プロンプトと応答の間に言語内ブリッジを構築する。
本稿では,データ中心の角度からこの問題にアプローチし,SFTにおけるデータ合成とスケジューリングの最適化方法を検討する。
3.35BスケールでTiny Aya L2-Thinkerを構築することで、数学、コモンセンス推論、インストラクションフォロー、オープンエンドジェネレーション、文化的推論にまたがる6つのベンチマークにおいて、60言語で93%以上のL2推論率を達成する。
保留言語へのL2推論を一般化する道筋は、より広範な言語カバレッジ、容易に利用可能な多言語非推論データ、十分な英語推論バックボーンを経由する。
これらの結果から, 推論は言語に依存しない行動であり, 注意深いデータミキシングと, 対象言語ごとの推論監督を必要とせず, 類型的に多様な言語間で伝達可能であることが示唆された。
我々はモデルウェイトと多言語推論データをリリースし、アクセシブルな言語推論のさらなる研究を支援する。
関連論文リスト
- What Makes Good Multilingual Reasoning? Disentangling Reasoning Traces with Measurable Features [32.31269959716733]
この研究は、多言語設定における効果的な推論を実際に特徴付けるものについて尋ねる。
まず、多言語アライメント、推論ステップ、推論トレースの推論フロー側面にまたがる測定可能な推論機能群を定義した。
次に、多言語トレース上でスパースオートエンコーダをトレーニングし、これらの機能をインスタンス化または拡張する潜在推論概念を自動的に検出する。
論文 参考訳（メタデータ） (2026-04-06T14:40:50Z) - Align to the Pivot: Dual Alignment with Self-Feedback for Multilingual Math Reasoning [71.4175109189942]
Pivot-Aligned Self-Feedback Multilingual Reasoning (PASMR)を提案する。
このアプローチは、モデルの第一言語をピボット言語として指定する。
外部の正しい回答や報酬モデルに頼ることなく、言語横断的な自己フィードバック機構を確立する。
論文 参考訳（メタデータ） (2026-01-25T03:20:00Z) - Learn Globally, Speak Locally: Bridging the Gaps in Multilingual Reasoning [39.03934159726098]
M2Aは,マルチスケール多言語アライメントと,機械翻訳された質問に対する言語一貫性報酬を組み合わせた新しい手法である。
地理に基づく多言語事実推論ベンチマークであるGeoFact-Xと5言語での推論トレースを紹介する。
以上の結果から,M2Aは数学的および事実的推論タスクにおいて,多言語推論の忠実度を著しく向上させることが示された。
論文 参考訳（メタデータ） (2025-07-07T19:04:36Z) - EfficientXLang: Towards Improving Token Efficiency Through Cross-Lingual Reasoning [12.511775058257328]
推論において最もトークン効率のよい言語が英語かどうかを考察する。
非英語言語における推論はトークンの使用量を減少させるだけでなく、正確性も維持する。
改善の程度は、多言語強度のモデルに依存する。
論文 参考訳（メタデータ） (2025-06-30T20:29:52Z) - MMATH: A Multilingual Benchmark for Mathematical Reasoning [94.05289799605957]
MMATHは10言語にまたがる374の高品質な数学問題にまたがる多言語複雑推論のためのベンチマークである。
我々は、DeepSeek R1のような先進モデルでさえ、言語間での大幅な性能格差を示し、意図しない言語において重要な目標外問題発生応答に悩まされていることを観察する。
本研究は,大規模言語モデルの多言語推論能力向上のための新たな洞察と実践的戦略を提供する。
論文 参考訳（メタデータ） (2025-05-25T12:47:39Z) - Language Matters: How Do Multilingual Input and Reasoning Paths Affect Large Reasoning Models? [59.970391602080205]
多言語トレーニングにも拘わらず、LRMはテスト時に高リソース言語での推論をデフォルトとする傾向にある。
文化的推論は、推論タスクのパフォーマンスを低下させるが、文化的なタスクに恩恵を与える一方、安全性評価は言語固有の振る舞いを示す。
論文 参考訳（メタデータ） (2025-05-23T02:46:18Z) - When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。
トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
論文 参考訳（メタデータ） (2025-05-21T08:35:05Z) - Crosslingual Reasoning through Test-Time Scaling [51.55526326294275]
英語中心の推論言語モデル(RLM)に対する推論計算のスケールアップは、多くの言語における多言語数学的推論を改善する。
英語中心の RLM の CoT は自然に英語が主流であるが、引用された非英語入力を推論するための引用と思考のパターンは一貫して従っている。
我々は、ドメイン外推論の一般化、特にSTEMから文化常識の知識まで、英語においても、貧弱なドメイン外推論の一般化を観察する。
論文 参考訳（メタデータ） (2025-05-08T16:50:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。