論文の概要: OPD-Aha: From Linguistic Momentum to Visual Reflection in Multimodal On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2609.16459v1
- Date: Tue, 15 Sep 2026 00:25:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.277659
- Title: OPD-Aha: From Linguistic Momentum to Visual Reflection in Multimodal On-Policy Distillation
- Title（参考訳）: OPD-Aha:多モードオンライン蒸留における言語モーメントから視覚反射へ
- Abstract要約: プリヴィレグドオン政治蒸留は、教師がリッチで訓練のみの視覚的証拠を用いて学生の軌跡を評価することによってマルチモーダル推論を改善する。
この誤解を招く合意の下では,教師の視覚的矯正的嗜好は失われないことがわかった。
我々は,この分離された視覚的嗜好から直接蒸留ターゲットを再構築するOPD-Ahaを紹介する。
- 参考スコア（独自算出の注目度）: 15.986808086256792
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Privileged on-policy distillation improves multimodal reasoning by allowing a teacher to evaluate student trajectories using rich, training-only visual evidence. Both models score these trajectories while conditioning on the same student-generated prefix. When a student misinterprets an image early in a response, this accumulating erroneous rationale eventually pulls the teacher away from its visual evidence. The teacher and student converge on the same hallucination, causing standard cross-model supervision to collapse precisely where correction is most needed. We find that the teacher's visual corrective preference is not lost under this misleading agreement. Comparing the predictions of the identical teacher given the real image and a visual null reveals that the privileged evidence still pushes the model toward the correct interpretation. We introduce OPD-Aha, which reconstructs the distillation target directly from this isolated visual preference rather than relying on the fragile teacher-student discrepancy. This reconstructed target aggressively suppresses continuations that contradict the image. Trained with this objective, students learn to naturally interrupt their own flawed reasoning with reflection tokens such as wait and actually. After reflection, subsequent generation relies less on the accumulated erroneous text and more on the visual evidence. Correcting these trajectories mid-generation fundamentally alters the reasoning process, yielding broad and consistent improvements across diverse fine-grained perception and complex multimodal reasoning benchmarks. Our code and models are available at https://github.com/Echochef/OPD-Aha.
- Abstract（参考訳）: プリヴィレグドオン政治蒸留は、教師がリッチで訓練のみの視覚的証拠を用いて学生の軌跡を評価することによってマルチモーダル推論を改善する。
どちらのモデルも、同じ学生生成プレフィックスを条件付けしながらこれらのトラジェクトリをスコアする。
学生が反応の早い段階でイメージを誤解釈すると、誤った根拠が蓄積され、最終的に教師はその視覚的証拠から引き離される。
教師と生徒は同じ幻覚に収束し、標準のクロスモデル監督は、修正がもっとも必要であるところを正確に崩壊させる。
この誤解を招く合意の下では,教師の視覚的矯正的嗜好は失われないことがわかった。
実像と視覚的ヌルが与えられた同一教師の予測を比較すると、特権的証拠が依然として正しい解釈に向かってモデルを押し進めていることが分かる。
我々は,この孤立した視覚的嗜好から蒸留目標を直接再構築するOPD-Ahaを導入する。
この再構成対象は、画像に矛盾する継続を積極的に抑制する。
この目的により、学生は自然に、待ちや実際のようなリフレクショントークンで、自分の欠点のある推論を中断することを学ぶ。
反射の後、その後の世代は蓄積された誤ったテキストに頼らず、視覚的証拠に頼っている。
これらの軌道の修正は、基本的に推論プロセスを変え、様々な微粒な知覚と複雑なマルチモーダル推論ベンチマークをまたいだ広範かつ一貫した改善をもたらす。
私たちのコードとモデルはhttps://github.com/Echochef/OPD-Aha.orgで公開されています。
関連論文リスト
- One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation [3.0867286767516937]
オンライン蒸留は、教師がトークンでトークンをスコアする間、自身の世代で言語モデルを訓練する。
教師はモデル自身であり、テスト時に生徒が持たない特権情報に基づいている。
初期の結果は有望であり、生成したトークンのごく一部で強化学習に匹敵する精度であった。
しかし、信号を生成するのと同じ非対称性もそれをバイアスする。
論文 参考訳（メタデータ） (2026-08-26T15:52:19Z) - VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation [46.347555076026964]
マルチモーダル・オン・ポリティクス蒸留は、生徒が生成した軌跡を教師に監督することで、きめ細かい視覚的知識を伝達する。
主な課題は、どの補正が、どのように蒸留するかだけでなく、視覚的証拠によって支えられているかを推定することである。
本稿では,教師の補正の視覚的帰属部分を推定する対物目標再構成アルゴリズムである視覚属性蒸留(VAD)を紹介する。
論文 参考訳（メタデータ） (2026-07-30T17:43:46Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Geometric Self-Distillation for Reasoning Generalization [12.38444431260744]
オンライン蒸留は、大規模言語モデルの訓練後の実践的なレシピである。
特権的内容の自己蒸留では、教師と学生は同じプレフィックスで条件付けられた同じモデルである。
我々は,このドリフトを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを紹介する。
論文 参考訳（メタデータ） (2026-07-07T23:16:19Z) - Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning [2.9029480541171107]
そこで我々は, 自己蒸留を推論するための効果的な新しい軸として, 適応型教師曝露を提案する。
適応型自己蒸留(ATESD)は, 競争力のある自己蒸留とRLベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-05-12T03:15:58Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z) - Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。
P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。
複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
論文 参考訳（メタデータ） (2026-01-15T04:40:45Z) - DualFete: Revisiting Teacher-Student Interactions from a Feedback Perspective for Semi-supervised Medical Image Segmentation [12.629975999398303]
本研究は,教師が学習するフレームワークにフィードバック機構を導入し,誤りの再確認に対処する。
この相互作用は、学生の更新をトリガーする擬似ラベルを指定するフィードバック属性と、このフィードバックをどこに適用すべきかを決定するフィードバックレシーバーの2つの重要な要素に基づいている。
これに基づいて、フィードバックループをよりダイナミックにし、より多くの利得を育むことができるデュアル教師フィードバックモデルがさらに提案されている。
論文 参考訳（メタデータ） (2025-11-12T13:29:24Z) - Learning to Focus: Causal Attention Distillation via Gradient-Guided Token Pruning [62.23671919314693]
大規模言語モデル (LLM) は文脈理解において著しく改善されている。
しかし、長いコンテキストの推論と生成の間に真に重要な情報に出席する能力は、まだペースの遅れています。
本稿では,2段階のフレームワークであるLearning to Focus(LeaF)を導入し,コンバウンディング要因を緩和する。
論文 参考訳（メタデータ） (2025-06-09T15:16:39Z) - SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction [89.56181323849512]
SuperCorrectは、大きな教師モデルを使用して、より小さな学生モデルの推論と反映の両方を監督し、修正する新しい2段階のフレームワークである。
第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。
第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
論文 参考訳（メタデータ） (2024-10-11T17:25:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。