論文の概要: Beyond English-Centric Training: How Reinforcement Learning Improves Cross-Lingual Reasoning in LLMs

• arxiv url: http://arxiv.org/abs/2509.23657v1
• Date: Sun, 28 Sep 2025 05:48:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.354187
• Title: Beyond English-Centric Training: How Reinforcement Learning Improves Cross-Lingual Reasoning in LLMs
• Title（参考訳）: 英語教育を超えて:LLMにおける強化学習が言語間推論をどのように改善するか
• Authors: Shulin Huang, Yiran Ding, Junshu Pan, Yue Zhang,
• Abstract要約: 強化学習(RL)とスーパーバイザードファインチューニング(SFT)の言語間推論一般化に関する最初の体系的研究について述べる。 1) RL によるチューニングは高い精度を達成できるが, SFT と比較して言語間一般化能力は著しく向上する。
• 参考スコア（独自算出の注目度）: 8.908696346867119
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enhancing the complex reasoning capabilities of Large Language Models (LLMs) attracts widespread attention. While reinforcement learning (RL) has shown superior performance for improving complex reasoning, its impact on cross-lingual generalization compared to Supervised Fine-Tuning (SFT) remains unexplored. We present the first systematic investigation into cross-lingual reasoning generalization of RL and SFT. Using Qwen2.5-3B-Base as our foundation model, we conduct experiments on diverse multilingual reasoning benchmarks, including math reasoning, commonsense reasoning, and scientific reasoning. Our investigation yields two significant findings: (1) Tuning with RL not only achieves higher accuracy but also demonstrates substantially stronger cross-lingual generalization capabilities compared to SFT. (2) RL training on non-English data yields better overall performance and generalization than training on English data, which is not observed with SFT. Furthermore, through comprehensive mechanistic analyses, we explore the underlying factors of RL's superiority and generalization across languages. Our results provide compelling evidence that RL enables the model with more robust reasoning strategies, offering crucial guidance for more equitable and effective multilingual reasoning.
• Abstract（参考訳）: LLM(Large Language Models)の複雑な推論能力の強化は、広く注目を集めている。 強化学習(RL)は複雑な推論を改善する上で優れた性能を示したが、スーパービジョンファインチューニング(SFT)と比較して言語間一般化への影響は未解明のままである。 本稿では,RLとSFTの言語間推論一般化に関する最初の体系的研究について述べる。 基礎モデルとしてQwen2.5-3B-Baseを用いて,数理推論,常識推論,科学的推論を含む多言語推論ベンチマークの実験を行った。 1) RL を用いたチューニングは高い精度を達成できるだけでなく,SFT と比較して言語間一般化能力が大幅に向上することを示す。 2)非英語データにおけるRLトレーニングは、SFTでは観測されない英語データに対するトレーニングよりも、全体的なパフォーマンスと一般化が向上する。 さらに、包括的力学解析を通じて、言語間のRLの優越性と一般化の根底にある要因について考察する。 我々の結果は、RLがより堅牢な推論戦略でモデルを可能にし、より公平で効果的な多言語推論のための決定的なガイダンスを提供するという説得力のある証拠を提供する。

関連論文リスト

• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [82.43575191712726]
  本稿では,強化学習が推論に与える影響を明らかにするための,きめ細かい分析フレームワークを提案する。 本フレームワークは,RLトレーニングの恩恵を受けると仮定された重要な要素を具体的に調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Critique-GRPO: Advancing LLM Reasoning with Natural Language and Numerical Feedback [59.078756231841574]
  Critique-GRPOは、自然言語と数値フィードバックを統合して効果的なポリシー最適化を行うオンラインRLフレームワークである。 批判-GRPOは、教師付き学習とRLに基づく微調整法を8つの難解な数学、STEM、一般的な推論タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-06-03T17:39:02Z)
• The Hallucination Dilemma: Factuality-Aware Reinforcement Learning for Large Reasoning Models [63.98194996746229]
  大規模言語モデル(LLM)は、強化学習(RL)最適化を通じて、推論タスクにおいて著しく進歩している。 しかし、推論指向RL微調整は幻覚の頻度を著しく高めている。 本稿では,明示的事実性検証を取り入れた革新的なRL微調整アルゴリズムであるFSPOを提案する。
  論文  参考訳（メタデータ） (2025-05-30T14:23:32Z)
• Interleaved Reasoning for Large Language Models via Reinforcement Learning [22.403928213802036]
  ロングチェーン・オブ・シント(CoT)は、大規模言語モデル(LLM)推論能力を向上する。 本稿では、強化学習(RL)を用いてLLMを指導し、マルチホップ質問に対する思考と回答をインターリーブする新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:58:17Z)
• Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
  ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。 複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。 Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。 我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
  論文  参考訳（メタデータ） (2025-03-31T17:55:23Z)
• T1: Advancing Language Model Reasoning through Reinforcement Learning and Inference Scaling [52.34735382627312]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な能力を示した。 既存のアプローチは主に、効果的なテストタイムスケーリングを達成するために、模倣学習と苦労に依存しています。 我々は、探索を奨励し、推論スケーリングを理解することで、強化学習をスケールするためにT1を提案する。
  論文  参考訳（メタデータ） (2025-01-20T18:33:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。