論文の概要: Aligning Multilingual Reasoning with Verifiable Semantics from a High-Resource Expert Model

• arxiv url: http://arxiv.org/abs/2509.25543v1
• Date: Mon, 29 Sep 2025 22:03:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.347099
• Title: Aligning Multilingual Reasoning with Verifiable Semantics from a High-Resource Expert Model
• Title（参考訳）: 高リソースエキスパートモデルからの検証可能なセマンティクスによる多言語推論のアライメント
• Authors: Fahim Faisal, Kaiqiang Song, Song Wang, Simin Ma, Shujian Liu, Haoyun Deng, Sathish Reddy Indurthi,
• Abstract要約: 本稿では,セマンティック検証リワードを用いたPivot-based Reinforcement Learningを紹介する。 このフレームワークは、ターゲット言語における人間の注釈付きデータの必要性を回避し、多言語推論を強化する。 提案手法は,英語と他言語のパフォーマンスギャップを著しく狭めることを示す。
• 参考スコア（独自算出の注目度）: 13.788758077632432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While reinforcement learning has advanced the reasoning abilities of Large Language Models (LLMs), these gains are largely confined to English, creating a significant performance disparity across languages. To address this, we introduce Pivot-Based Reinforcement Learning with Semantically Verifiable Rewards (PB-RLSVR), a novel framework that enhances multilingual reasoning by circumventing the need for human-annotated data in target languages. Our approach employs a high-performing English LLM as a "pivot" model to generate reference responses for reasoning tasks. A multilingual model is then rewarded based on the semantic equivalence of its responses to the English reference, effectively transferring the pivot model's reasoning capabilities across languages. We investigate several cross-lingual semantic reward functions, including those based on embeddings and machine translation. Extensive experiments on a suite of multilingual reasoning benchmarks show that our method significantly narrows the performance gap between English and other languages, substantially outperforming traditional PPO baselines. Specifically, our PB-RLSVR framework improves the average multilingual performance of Llama-3.1-8B-Instruct and Qwen3-32B by 16.41% and 10.17%, respectively, demonstrating a powerful and data-efficient approach to building truly multilingual reasoning agents.
• Abstract（参考訳）: 強化学習は、Large Language Models (LLMs) の推論能力を向上させる一方で、これらの向上は英語に限られており、言語間での大きなパフォーマンス格差を生み出している。 これを解決するために、ターゲット言語における人間アノテーションデータの必要性を回避し、多言語推論を強化する新しいフレームワークPB-RLSVR(Pivot-Based Reinforcement Learning with Semantically Verifiable Rewards)を導入する。 提案手法では、推論タスクに対する参照応答を生成するために、ハイパフォーマンスなLLMを"pivot"モデルとして採用している。 その後、英語参照に対する応答の意味的等価性に基づいて多言語モデルに報酬が与えられ、ピボットモデルの推論能力を言語間で効果的に伝達する。 本稿では,埋め込みや機械翻訳などの言語間意味報酬関数について検討する。 多言語推論ベンチマークの大規模な実験は、我々の手法が英語と他の言語のパフォーマンスギャップを著しく狭め、従来のPPOベースラインを大幅に上回っていることを示している。 具体的には、PB-RLSVRフレームワークはLlama-3.1-8B-InstructとQwen3-32Bの平均多言語性能をそれぞれ16.41%、Qwen3-32Bを10.17%向上させ、真の多言語推論エージェントを構築するための強力でデータ効率のよいアプローチを示す。

関連論文リスト

• Align to the Pivot: Dual Alignment with Self-Feedback for Multilingual Math Reasoning [71.4175109189942]
  Pivot-Aligned Self-Feedback Multilingual Reasoning (PASMR)を提案する。 このアプローチは、モデルの第一言語をピボット言語として指定する。 外部の正しい回答や報酬モデルに頼ることなく、言語横断的な自己フィードバック機構を確立する。
  論文  参考訳（メタデータ） (2026-01-25T03:20:00Z)
• Best-of-L: Cross-Lingual Reward Modeling for Mathematical Reasoning [32.924257962911575]
  我々は、言語間で与えられた質問に対して生成された応答をランク付けするために報酬モデルを訓練する。 この結果から,言語間報酬モデルにより数学的推論性能が大幅に向上することが示唆された。 多様な言語の相補的強みを活用して多言語推論を改善する新たな機会を明らかにする。
  論文  参考訳（メタデータ） (2025-09-19T09:38:54Z)
• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• Demystifying Multilingual Chain-of-Thought in Process Reward Modeling [86.98098988779809]
  プロセス報酬モデル(PRM)を多言語設定に拡張するという課題に対処する。 我々は、7つの言語にまたがるデータセット上で多言語PRMを訓練し、それを英語から翻訳する。 本結果は,学習言語数と英語データ量の両方に対する多言語PRMの感度を強調した。
  論文  参考訳（メタデータ） (2025-02-18T09:11:44Z)
• AdaMCoT: Rethinking Cross-Lingual Factual Reasoning through Adaptive Multilingual Chain-of-Thought [40.16140566668239]
  AdaMCOTは多言語の事実推論を強化するフレームワークである。 AdaMCOTは、ターゲット言語応答を生成する前に、中間言語における思考プロセスを動的にルーティングする。 本評価は, 事実推論品質と言語間整合性の両方において, 大幅な改善を示すものである。
  論文  参考訳（メタデータ） (2025-01-27T15:48:57Z)
• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P -M P-MMEvalは、さまざまなデータセットにわたって一貫した言語カバレッジを提供し、並列サンプルを提供する。 我々は、モデルとタスク間の性能を比較するために、代表的多言語モデル系列に関する広範な実験を行う。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• MAPO: Advancing Multilingual Reasoning through Multilingual Alignment-as-Preference Optimization [65.31411639849516]
  本稿では,他言語の推論過程を支配言語と整合させるために,MAPO(Multilingual-Alignment-as-Preference Optimization)フレームワークを提案する。 具体的には,非支配言語と支配言語における回答の整合性について,既成の翻訳モデルを用いて検討する。 実験により、MAPOは様々なモデルの多言語推論において、安定して大幅な改善を達成できることが示された。
  論文  参考訳（メタデータ） (2024-01-12T18:03:54Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。