論文の概要: RP-OPSD: Reasoning-Pivot-Guided On-Policy Self-Distillation for Multilingual Reasoning Transfer
- arxiv url: http://arxiv.org/abs/2608.06347v1
- Date: Thu, 06 Aug 2026 17:52:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.99125
- Title: RP-OPSD: Reasoning-Pivot-Guided On-Policy Self-Distillation for Multilingual Reasoning Transfer
- Title（参考訳）: RP-OPSD:多言語共振変換のための一方向誘導オンポリシィ自己蒸留法
- Abstract要約: RP-OPSD (Reasoning-Pivot-Guided On-Policy Self-Distillation)。
RP-OPSDは, 推理制御および問題調整された状態更新トークンに特権蒸留を集中させることを示す。
- 参考スコア（独自算出の注目度）: 31.19784811323349
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilingual reasoning transfer is crucial for extending reasoning capabilities of large language models (LLMs) beyond high-resource languages. On-policy self-distillation (OPSD) and its variants have emerged as a promising paradigm, providing dense token-level supervision on student-generated rollouts, yet their objectives do not explicitly prioritize reasoning signals most critical to cross-lingual transfer. We characterize that target-language reasoning comprises the generation of both surface text and reasoning pivots, which are decisions that advance or redirect the reasoning process and shape subsequent inference. This motivates concentrating privileged distillation around such pivots. We therefore propose RP-OPSD, Reasoning-Pivot-guided On-Policy Self-Distillation, using the distributional shift between matched teacher views with and without an English reference solution as an operational proxy to guide privileged distillation and reference anchoring. Experiments on mathematical reasoning benchmarks covering 17 languages and multiple difficulty levels show that our method outperforms strong multilingual reasoning baselines and OPSD variants. Further analysis reveals that RP-OPSD concentrates privileged distillation on reasoning-control and problem-condistioned state-update tokens, while downweighting it for tokens that mainly support surface realization. Our code is available at https://github.com/NJUNLP/RP-OPSD.
- Abstract（参考訳）: 多言語推論は,大規模言語モデル(LLM)の推論能力を,高ソース言語を超えて拡張するために重要である。
オンライン自己蒸留(OPSD)とその変種は有望なパラダイムとして出現し、学生が生成するロールアウトに対するトークンレベルの厳密な監督を提供するが、それらの目的は、言語間移動に最も重要となる推論シグナルを明示的に優先順位付けしていない。
対象言語推論は,解析過程の進行やリダイレクト,その後の推論を形作る決定である表面テキストと推論ピボットの両方を生成する。
このことは、これらのピボットの周りに特権蒸留を集中させることを動機付けている。
そこで我々は,英文参照解を操作プロキシとして用いながら,一致した教師ビュー間の分布変化を利用したRP-OPSD(Reasoning-Pivot-guided On-Policy Self-Distillation)を提案する。
17の言語と複数の難易度を含む数学的推論ベンチマーク実験により,本手法は強い多言語推論ベースラインやOPSDの変形よりも優れていることが示された。
さらに分析したところ、RP-OPSDは、表面実現を主とするトークンに対して、推論制御と問題調整された状態更新トークンに特権蒸留を集中することが明らかとなった。
私たちのコードはhttps://github.com/NJUNLP/RP-OPSD.comで公開されています。
関連論文リスト
- Reason in the Words You Speak: Idiolectal Paraphrasing Off-Policy Traces for Reasoning Distillation in VideoLLMs [45.13932034141772]
textbfEcho-GRPOを提案する。
我々はこのフレームワークを,ビデオ推論蒸留のためのtextbfVideoEcho-R1 としてインスタンス化する。
我々の慣用句言い換えは、蒸留の推論のためのRLと教師付き微調整フレームワークの両方を一貫して改善するプラグインモジュールである。
論文 参考訳（メタデータ） (2026-08-27T06:41:08Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - Efficient Multilingual Reasoning Transfer via Progressive Code-Switching [51.49388869532955]
トランスファーアプローチは典型的には、強いLEMからの蒸留されたターゲット言語推論のトレースや、外部の審査モデルからのオンライン監視に依存している。
軽量翻訳のみを必要とするより効率的な転送フレームワークであるPCS(Progressive Code-Switching)を提案する。
PCSは、ターゲット言語と英語の推論のパフォーマンスギャップを著しく狭め、より言語に一貫性のある推論をもたらす。
論文 参考訳（メタデータ） (2026-07-01T06:13:16Z) - LANG: Reinforcement Learning for Multilingual Reasoning with Language-Adaptive Hint Guidance [77.58408743830314]
強化学習は大規模言語モデルにおける多段階推論の強化に有効であることが証明されている。
しかし、その利点は多言語文脈に完全には翻訳されていない。
我々は、言語条件付きヒントを利用して、英語以外の推論タスクの探索をガイドする新しいフレームワークを開発する。
論文 参考訳（メタデータ） (2026-05-21T14:47:52Z) - Crosslingual On-Policy Self-Distillation for Multilingual Reasoning [48.68444770923683]
Crosslingual On-Policy Self-Distillation (COPSD)は、モデル自身の高リソース推論動作を低リソース言語に転送する。
17の低リソースアフリカ言語に対する実験では、COPSDはモデルサイズ全体の低リソース数学的推論を一貫して改善している。
論文 参考訳（メタデータ） (2026-05-10T14:06:09Z) - Align to the Pivot: Dual Alignment with Self-Feedback for Multilingual Math Reasoning [71.4175109189942]
Pivot-Aligned Self-Feedback Multilingual Reasoning (PASMR)を提案する。
このアプローチは、モデルの第一言語をピボット言語として指定する。
外部の正しい回答や報酬モデルに頼ることなく、言語横断的な自己フィードバック機構を確立する。
論文 参考訳（メタデータ） (2026-01-25T03:20:00Z) - Parallel Scaling Law: Unveiling Reasoning Generalization through A Cross-Linguistic Perspective [52.452449102961225]
本研究は、推論一般化を探求する新たな言語横断的視点を提案する。
本研究により,言語間の伝達性は,初期モデル,対象言語,訓練パラダイムによって大きく異なることが明らかとなった。
我々の研究は、LRM推論が人間の認知を反映し、言語に依存しないLRMの開発に重要な洞察を与えるという仮定に挑戦する。
論文 参考訳（メタデータ） (2025-10-02T17:49:49Z) - Towards Better Understanding of Program-of-Thought Reasoning in Cross-Lingual and Multilingual Environments [38.191619790402655]
大規模言語モデル(LLM)には多段階推論が不可欠だが、多言語のパフォーマンスは依然として難しい。
Chain-of-Thought(CoT)は推論を改善するが、推論と実行の絡み合いのために英語以外の言語と競合する。
本稿では,PoT(Program-of-Thought)を推し進める枠組みを提案する。
論文 参考訳（メタデータ） (2025-02-25T08:27:28Z) - AdaMCoT: Rethinking Cross-Lingual Factual Reasoning through Adaptive Multilingual Chain-of-Thought [40.16140566668239]
AdaMCOTは多言語の事実推論を強化するフレームワークである。
AdaMCOTは、ターゲット言語応答を生成する前に、中間言語における思考プロセスを動的にルーティングする。
本評価は, 事実推論品質と言語間整合性の両方において, 大幅な改善を示すものである。
論文 参考訳（メタデータ） (2025-01-27T15:48:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。