論文の概要: OPD-V: Visual On-Policy Self-Distillation with Modality Balance

• arxiv url: http://arxiv.org/abs/2608.05131v1
• Date: Wed, 05 Aug 2026 17:53:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:44.069843
• Title: OPD-V: Visual On-Policy Self-Distillation with Modality Balance
• Title（参考訳）: OPD-V: モダリティバランスによる視覚的オンポリシィ自己蒸留
• Authors: Aniri, Jinhe Bi, Peng Liao, Zengjie Jin, Volker Tresp, Fei Shen, Yunpu Ma, Tat-Seng Chua,
• Abstract要約: On-Policy Self-Distillation (OPSD)は、大規模言語モデル(MLLM)における視覚的推論を改善するための訓練後の標準的なアプローチとなっている。 既存の方法は、様々な入力源から特権情報を引き出し、自己蒸留を誘導する。 我々は,視覚的OPSDパラダイムであるOPD-Vを紹介し,正の教師と負の教師を通してそのような情報をインスタンス化する。
• 参考スコア（独自算出の注目度）: 60.972871141106886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-Policy Self-Distillation (OPSD) has become a standard post-training approach for improving visual reasoning in multimodal large language models (MLLMs). Existing methods draw privileged information from diverse input sources to guide self-distillation. Yet these designs overlook Modality Imbalance, a challenge inherent to MLLM reasoning. When textual information dominates generation, the model cannot fully integrate its multimodal input. Consequently, carefully designed privileged information remains underused, limiting the effectiveness of OPSD. To examine this limitation, we construct a Positive Teacher with the Zoom-In Image and a Negative Teacher with the Mask Image, which exhibit different degrees of Modality Imbalance. Changes in their reasoning correctness and token logits reveal that Modality Balance can itself serve as privileged information. Motivated by this finding, we introduce OPD-V, a visual OPSD paradigm that instantiates such information through the Positive Teacher and Negative Teacher. Positive Modality-Balance Logits Margins define a Modality-Balance Trust Region that selects the on-policy tokens used for self-distillation. Experiments across 6 benchmarks, 4 MLLM backbones, and 5 post-training methods show that OPD-V consistently improves reasoning performance while reducing training cost.
• Abstract（参考訳）: On-Policy Self-Distillation (OPSD) はマルチモーダル大規模言語モデル(MLLM)における視覚的推論を改善するための訓練後の標準手法となっている。 既存の方法は、様々な入力源から特権情報を引き出し、自己蒸留を誘導する。 しかしこれらの設計は、MLLM推論に固有の課題であるモダリティ・インバランス(Modality Im Balance)を見落としている。 テキスト情報が生成を支配すると、モデルはマルチモーダル入力を完全に統合することができない。 したがって、慎重に設計された特権情報は未使用のままであり、OPSDの有効性を制限している。 この制限を検証するために、Zoom-In Imageの正の教師とマスクイメージの負の教師を構築し、異なるモダリティ不均衡の度合いを示す。 推論の正しさとトークンのロジットの変化は、Modality Balance自体が特権情報として機能できることを明らかにします。 この発見に触発されたOPSDパラダイムであるOPD-Vを導入する。 正のModality-Balance Logits Marginsは、自己蒸留に使用されるオンライントークンを選択するModality-Balance Trust Regionを定義する。 6つのベンチマーク、4つのMLLMバックボーン、5つのポストトレーニング手法による実験は、OPD-Vがトレーニングコストを削減しながら推論性能を一貫して改善していることを示している。

関連論文リスト

• Visual-Noise Guided In-Context Distillation for Multimodal Large Language Model Unlearning [25.860185076316508]
  MLLM(Multimodal Large Language Models)は、視覚言語タスクにおいて顕著な進歩を遂げている。 また、機密知識や制限された知識を記憶し、公開し、プライバシーやより広範な安全リスクへの懸念を喚起することもある。 MLLMアンラーニングのための蒸留フレームワークとして,視覚誘導型インコンテキスト蒸留(VGID)を提案する。
  論文  参考訳（メタデータ） (2026-05-26T12:49:34Z)
• EDGE-OPD: Internalizing Privileged Context with Evidence Guided On-Policy Distillation [5.310892696470208]
  On-Policy Distillation (OPD)はLLMポストトレーニングパラダイムとして広く注目を集めている。 このアプローチの課題は、特権情報によって、意図よりもモデル行動を変えることができることだ。 EviDence GuidEd On-Policy Distillation (EDGE-OPD)を提案する。
  論文  参考訳（メタデータ） (2026-05-22T10:55:15Z)
• Learn to Think: Improving Multimodal Reasoning through Vision-Aware Self-Improvement Training [82.17582358979884]
  多モーダル大規模言語モデル(MLLM)の推論能力を改善するために、明示的推論トレースを用いた後学習が一般的である。 MLLMのマルチモーダル推論を強化するための視覚対応型自己改善学習フレームワークであるVISTAを提案する。
  論文  参考訳（メタデータ） (2026-05-12T10:44:35Z)
• Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models [44.041109669153506]
  On-Policy Self-Distillation (OPSD) は、教師と学生の両方がひとつのモデルで、異なるコンテキストを条件付けして機能するフレームワークである。 複数の数学的推論ベンチマークにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2026-01-26T17:56:50Z)
• VOLD: Reasoning Transfer from LLMs to Vision-Language Models via On-Policy Distillation [67.98620973023709]
  VOLDは、テキストのみの教師モデルからVLMの学生モデルに推論機能を移行するためのフレームワークである。 VOLDはベースラインモデルよりも大幅に優れ,最先端技術よりもマージンが向上していることを示す。
  論文  参考訳（メタデータ） (2025-10-27T16:32:12Z)
• Prompt Highlighter: Interactive Control for Multi-Modal LLMs [50.830448437285355]
  本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。 本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。 推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
  論文  参考訳（メタデータ） (2023-12-07T13:53:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。