Fugu-MT 論文翻訳(概要): Reason in the Words You Speak: Idiolectal Paraphrasing Off-Policy Traces for Reasoning Distillation in VideoLLMs

論文の概要: Reason in the Words You Speak: Idiolectal Paraphrasing Off-Policy Traces for Reasoning Distillation in VideoLLMs

arxiv url: http://arxiv.org/abs/2608.26684v1
Date: Thu, 27 Aug 2026 06:41:08 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-28 16:30:58.26101
Title: Reason in the Words You Speak: Idiolectal Paraphrasing Off-Policy Traces for Reasoning Distillation in VideoLLMs
Title（参考訳）: 話す言葉の推論:ビデオLLMの蒸留反応における言語パラフレーズのオフポリシィトレース
Abstract要約: textbfEcho-GRPOを提案する。我々はこのフレームワークを,ビデオ推論蒸留のためのtextbfVideoEcho-R1 としてインスタンス化する。我々の慣用句言い換えは、蒸留の推論のためのRLと教師付き微調整フレームワークの両方を一貫して改善するプラグインモジュールである。
参考スコア（独自算出の注目度）: 45.13932034141772
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent large language models achieve strong performance on complex reasoning tasks, where reinforcement learning with Group Relative Policy Optimization (GRPO) has emerged as a leading paradigm for optimizing models on self-generated trajectories. However, the on-policy nature of GRPO bounds the model to the reasoning skills it can already produce, restricting to learn more advanced capabilities. Prior works inject privileged reasoning traces from a stronger teacher policy to guide training, yet these traces are inherently out of distribution with respect to the student policy. We observe that this mismatch between on-policy and off-policy causes gradient clipping on semantically critical reasoning tokens, ultimately rewarding correct answers while leaving the reasoning that justifies them unlearned. Hence, we propose \textbf{Echo-GRPO}, a framework that lets the model reason in the words it speaks. Rather than imitating low-probability privileged traces from the teacher model, Echo-GRPO rewrites them into the student policy's own \textit{idiolect}, that is, its own characteristic vocabulary and expression patterns, while preserving their semantics via Dual-Reference Decoding. We instantiate this framework as \textbf{VideoEcho-R1} for video reasoning distillation, achieving consistent improvements across three multimodal LLM backbones and five benchmarks. Finally, we show that our idiolectal paraphrasing is a plug-in module that consistently improves both RL and supervised fine-tuning frameworks for reasoning distillation, demonstrating that policy-aligned supervision extends beyond GRPO.
Abstract（参考訳）: 近年の大規模言語モデルは,グループ相対政策最適化(GRPO)による強化学習が,自己生成軌道上でのモデル最適化の先駆的パラダイムとして出現する複雑な推論タスクにおいて,強力な性能を達成している。しかし、GRPOの政治上の性質は、モデルを既に生産できる推論スキルに縛り付け、より高度な能力を学ぶために制限する。先行研究は、より強力な教員政策から指導訓練まで、特権的推論の痕跡を注入するが、これらの痕跡は学生政策に関して本質的には分布外である。オンラインとオフ政治のこのミスマッチは、意味論的に重要な推論トークンの勾配クリッピングを引き起こし、最終的には正解を正当に保ちながら、正解を正解する。そこで,本研究では,その単語のモデル推論を可能にするフレームワークである「textbf{Echo-GRPO}」を提案する。教師モデルからの低確率特権トレースを模倣するのではなく、Echo-GRPOはそれらを学生ポリシーの独自の \textit{idiolect} に書き換える。我々は、このフレームワークを、ビデオ推論蒸留のための「textbf{VideoEcho-R1}」としてインスタンス化し、3つのマルチモーダルLCMバックボーンと5つのベンチマークで一貫した改善を実現した。最後に, 当社の慣用句言い換えは, 蒸留の推理のためのRLと微調整フレームワークの両方を一貫して改善するプラグインモジュールであり, 政策整合性がGRPOを超えて拡張されていることを示す。

関連論文リスト

RP-OPSD: Reasoning-Pivot-Guided On-Policy Self-Distillation for Multilingual Reasoning Transfer [31.19784811323349]
RP-OPSD (Reasoning-Pivot-Guided On-Policy Self-Distillation)。 RP-OPSDは, 推理制御および問題調整された状態更新トークンに特権蒸留を集中させることを示す。
論文参考訳（メタデータ） (2026-08-06T17:52:06Z)
WhisperRec: Latent Reasoning for Efficient Foundation Recommendation Models [51.88075626243057]
基礎推薦モデル(FRM)のための効率的な潜在推論フレームワークであるWhisperRecを提案する。 WhisperRecは教師生成のChain-of-Thought(CoT)を学習可能な潜在推論トークンに圧縮する。 WhisperRecは明示的なCoT法と従来のベースラインを一貫して上回ることを示す。
論文参考訳（メタデータ） (2026-07-29T08:48:35Z)
dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文参考訳（メタデータ） (2026-07-05T17:47:29Z)
Walk the Talk: Bridging the Reasoning-Action Gap for Thinking with Images via Multimodal Agentic Policy Optimization [89.68681087743876]
MLLM(Multimodal Large Language Models)は,マルチターン推論において視覚ツールを積極的に呼び出すことによって,イメージで考えるモデルにインセンティブを与えている。結果に基づく報酬を頼りにする一般的な強化学習の実践は、テキストの妥当性が経営幹部の失敗を隠蔽するという事実を無視します。マルチモーダルエージェントポリシー最適化(MAPO)を導入し、テキスト推論とモデルが生成する視覚行動のギャップを埋める。
論文参考訳（メタデータ） (2026-04-08T07:48:07Z)
Not All Tokens See Equally: Perception-Grounded Policy Optimization for Large Vision-Language Models [38.47027398567909]
Perception-Grounded Policy Optimization (PGPO)は、トークンレベルでのメリットを動的に再評価する、新しいきめ細かなクレジット割り当てフレームワークである。 PGPOは,言語的先行音からの勾配雑音を抑えつつ,視覚的に依存するトークンの学習信号を積極的に増幅することを示す。理論的および実証的な分析は、PGPOが勾配の分散を効果的に減少させ、訓練の崩壊を防ぎ、頑健で知覚的なマルチモーダル推論のための強力な正則化剤として機能することを確認する。
論文参考訳（メタデータ） (2026-04-02T09:53:20Z)
Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models [56.851611990473174]
動的ビジュアルコンテンツに対する推論は、大きな言語モデルにとって依然として中心的な課題である。本稿では,時間的精度と推論一貫性を両立させる強化学習手法を提案する。結果のモデルであるVideo R2は、複数のベンチマークでTAC、VAS、精度を一貫して向上させる。
論文参考訳（メタデータ） (2025-11-28T18:59:58Z)
Enhancing Spatial Reasoning in Vision-Language Models via Chain-of-Thought Prompting and Reinforcement Learning [0.42855555838080844]
本研究では,視覚言語モデル(VLM)の空間的推論能力について,Chain-of-Thoughtプロンプトと強化学習を通して検討した。モデルが解答の前に推論ステップを生成する単純なCoT形式は、モデルの本来の性能を損なう可能性がある。対照的に、シーングラフ(SceneGraph CoT)に基づく構造化マルチステージプロンプトは空間推論の精度を大幅に向上させる。
論文参考訳（メタデータ） (2025-07-06T10:51:12Z)
Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
論文参考訳（メタデータ） (2025-05-30T15:42:19Z)
GRIT: Teaching MLLMs to Think with Images [22.74533687444133]
Grounded Reasoning with Images and Texts (GRIT) はMLLMを画像で考えるための新しい手法である。 GRITは自然言語と明示的な境界ボックス座標をインターリーブする推論連鎖を生成する。 GRITは例外的なデータ効率を実現し、既存のデータセットから20のイメージクエスト・アンサートレットを必要とする。
論文参考訳（メタデータ） (2025-05-21T17:54:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。