論文の概要: Edit, Don't Imitate: Minimal-Edit On-Policy Distillation for Multimodal Reasoning

• arxiv url: http://arxiv.org/abs/2610.30231v1
• Date: Wed, 21 Oct 2026 17:59:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.090959
• Title: Edit, Don't Imitate: Minimal-Edit On-Policy Distillation for Multimodal Reasoning
• Title（参考訳）: 編集, 省略しない: マルチモーダル推論のための最小編集オンポリシィ蒸留
• Abstract要約: 視覚言語モデルが図を誤読すると、その後の推論は偽の前提から進行する。 我々は,最小限の編集正当性蒸留を提案する。 正しいロールアウトはタスク・リワード強化学習を受けます。
• 参考スコア（独自算出の注目度）: 38.244505945873165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual mathematical reasoning can fail before reasoning begins: when a vision-language model (VLM) misreads a diagram, subsequent reasoning proceeds from false premises. This perceptual bottleneck is especially pronounced in smaller models, while accurate textual descriptions can substantially narrow the gap to larger models. Because obtaining such descriptions at inference requires additional annotation or model calls, we propose minimal-edit corrective on-policy distillation. Using reference figure descriptions and verified reference solutions as training-only information, a teacher scores incorrect student rollouts under a minimal-edit objective, and only teacher-disfavored tokens contribute to the corrective loss. Correct rollouts receive task-reward reinforcement learning. This preserves on-policy supervision while avoiding full-response imitation. Across model scales, the method requires no descriptions at test time and meets or exceeds the corresponding base model supplied with a reference figure description at inference. It also improves perception-oriented performance, particularly low-level geometric perception, and transfers to external mathematics and perception benchmarks. Because the minimal-edit teacher evaluates corrections rather than generating its own solution, the method remains effective with a frozen same-size teacher, although its gains are smaller than with a larger teacher on most metrics.
• Abstract（参考訳）: 視覚言語モデル(VLM)が図を誤読すると、その後の推論は偽の前提から進む。 この知覚的ボトルネックは、特に小さなモデルでは顕著であり、正確なテキスト記述はより大きなモデルへのギャップを著しく狭める可能性がある。 このような記述を推論時に取得するには、追加のアノテーションやモデル呼び出しが必要であるため、最小限の編集によるオンライン蒸留を提案する。 教師は、基準図形記述と検証された基準解をトレーニング専用情報として使用し、最小限の目標の下で間違った学生のロールアウトをスコアし、教師に好ましくないトークンだけが正当性喪失に寄与する。 正しいロールアウトはタスク・リワード強化学習を受けます。 これは、フルレスポンスの模倣を避けながら、政治上の監督を保ちます。 モデルスケール全体にわたって、この方法はテスト時に記述を必要とせず、推論時に参照図記述が提供される対応するベースモデルに適合または超過する。 また、知覚指向のパフォーマンス、特に低レベルの幾何学的知覚を改善し、外部数学や知覚ベンチマークに転送する。 最小限の教師は、独自の解を生成するのではなく修正を評価するため、ほとんどの測定値においてより大きな教師よりも利益が小さいにもかかわらず、凍結した同サイズの教師では効果が保たれる。

関連論文リスト

• One Teacher, Many Views: Reducing Reference Sensitivity in On-Policy Self-Distillation [4.277471273303775]
  オンライン自己蒸留は、参照ソリューションに条件付けされた特権コピーから、高濃度のトークンレベルの監督を施した独自の軌道上でモデルをトレーニングすることで、推論を改善する。 問題と生徒の状態を固定しながら、有効な参照を別の参照に置き換えることで、教師の分布を著しく変化させることができることを示す。
  論文  参考訳（メタデータ） (2026-10-22T07:59:48Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• A Survey of On-Policy Distillation for Large Language Models [19.95776080082138]
  この調査は、大規模言語モデル(LLM)のオン・ポリシィ蒸留に関する最初の包括的概要を提供する。 オンラインのサンプルに対して$f$-divergenceフレームワークを導入し,emphfeedbackシグナル(ログベース,結果ベース,自己プレイ),emphteacherアクセス(ホワイトボックス,ブラックボックス,教師フリー),emphloss最小化(トケンレベル,シーケンスレベル,ハイブリッド)の3つの次元に沿ってランドスケープを整理する。
  論文  参考訳（メタデータ） (2026-04-01T08:32:34Z)
• Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
  本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。 P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。 複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
  論文  参考訳（メタデータ） (2026-01-15T04:40:45Z)
• SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction [89.56181323849512]
  SuperCorrectは、大きな教師モデルを使用して、より小さな学生モデルの推論と反映の両方を監督し、修正する新しい2段階のフレームワークである。 第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。 第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
  論文  参考訳（メタデータ） (2024-10-11T17:25:52Z)
• Clarify: Improving Model Robustness With Natural Language Corrections [59.041682704894555]
  モデルを教える標準的な方法は、大量のデータを提供することです。 このアプローチは、データ内の誤解を招く信号を拾うため、モデルに誤ったアイデアを教えることが多い。 モデル誤解をインタラクティブに修正するためのインターフェースと手法であるClarifyを提案する。
  論文  参考訳（メタデータ） (2024-02-06T05:11:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。