論文の概要: CT-OPD: Counterfactual Trace On-Policy Distillation for Diffusion Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.32781v1
• Date: Sat, 26 Sep 2026 16:56:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:24:05.625771
• Title: CT-OPD: Counterfactual Trace On-Policy Distillation for Diffusion Vision-Language Models
• Title（参考訳）: CT-OPD:拡散ビジョンランゲージモデルのための実測トレースオンポリシィ蒸留法
• Abstract要約: マスキングが完了した答えはコヒーレントな文脈と目標をもたらすが、所定のマスクはモデルの明確な決定を反映しない。 本稿では,教師の反応を現在の学生のトラジェクティブマスクと組み合わせたCT-OPD(Counterfactual Trace On-Policy Distillation)を提案する。 CT-OPDは、マルチモーダル理解と推論能力を一貫して強化し、9ベンチマーク平均で最大9.80ポイント向上した。
• 参考スコア（独自算出の注目度）: 36.44525582272473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion vision-language models generate answers by gradually resolving masked tokens, making accurate conditional prediction in partially resolved states central to post-training. Masking completed answers yields coherent contexts and targets, but prescribed masks do not reflect the model's reveal decisions. Its trajectories capture these decisions, yet their provisional visible tokens can conflict with the target response. Outcome-based reinforcement learning follows these trajectories but provides only response-level feedback, which loses contrast when sampled rewards tie. To align coherent token-level supervision with the model's reveal decisions, we introduce Counterfactual Trace On-Policy Distillation (CT-OPD), which combines completed teacher responses with trajectory masks from the current student. CT-OPD retokenizes each teacher response in the student's vocabulary and extracts unresolved-position masks at successive stages of the student's reverse process. For each mask, it discards provisional rollout values and reconstructs the partial state from the teacher endpoint, so the supervised positions follow the current trajectory while the visible context and targets remain consistent with the same response. The student is trained on these reconstructed states with its native categorical loss, and trajectories are refreshed as the model evolves. Across dense and sparse diffusion architectures, CT-OPD consistently enhances multimodal understanding and reasoning capabilities, with gains of up to 9.80 points on the nine-benchmark average. On the unified understanding-and-generation architecture, it also improves both visual understanding and image generation, showing that the same principle transfers across architectures and modalities. Ablations further attribute these gains to coherent reconstruction and current-model trajectory masks.
• Abstract（参考訳）: 拡散視覚言語モデルは、徐々にマスク付きトークンを解き、学習後の部分的に解決された状態において正確な条件予測を行う。 マスキングが完了した答えはコヒーレントな文脈と目標をもたらすが、所定のマスクはモデルの明確な決定を反映しない。 その軌道はこれらの決定を捉えるが、その暫定的な可視トークンはターゲットの応答と矛盾する可能性がある。 結果に基づく強化学習はこれらの軌道に従うが、応答レベルのフィードバックのみを提供する。 整合性トークンレベルの監督とモデルの明示的決定を整合させるため,既存の学生のトラジェクティブマスクと教師の反応を組み合わせたCT-OPD(Conserfactual Trace On-Policy Distillation)を導入する。 CT-OPDは、生徒の語彙における各教師の反応を再起動し、生徒の逆過程の連続的な段階において未解決のマスクを抽出する。 各マスクに対して、暫定的なロールアウト値を破棄し、教師のエンドポイントから部分的な状態を再構築する。 学生はこれらの再建された状態に固有のカテゴリー的損失を伴って訓練を受け、モデルが進化するにつれて軌道が更新される。 密度と疎拡散のアーキテクチャ全体にわたって、CT-OPDは一貫してマルチモーダル理解と推論能力を強化し、9ベンチマーク平均で最大9.80ポイントのゲインを得た。 統一された理解・世代アーキテクチャでは、視覚的理解と画像生成の両方を改善し、同じ原理がアーキテクチャやモダリティ間で伝達されることを示す。 アブレーションにより、これらの利得はコヒーレントな再構成と現在のモデル軌道マスクに帰着する。

関連論文リスト

• TTRSD: Test-Time Reinforcement Learning with Self-Distillation for Vision-Language Models [27.31606612106555]
  テスト時強化学習により、未ラベル入力を用いて視覚言語モデルに適応することができる。 我々は,多視点応答レベル自己蒸留と視覚的コントラストトークン選択を組み合わせたテスト時強化学習フレームワークTTRSDを提案する。
  論文  参考訳（メタデータ） (2026-09-27T09:49:39Z)
• GeoThreat: Transferable Targeted Adversarial Attacks on Large Vision-Language Models for Remote Sensing Image Interpretation [25.134254498593137]
  大規模視覚言語モデル(LVLM)に対する敵対的攻撃は、モーダルな意味理解において、その堅牢性を評価する効果的な手段となる。 リモートセンシング画像解釈のためのLVLMに対するトランスファー可能な対向攻撃法であるGeoThreatを提案する。
  論文  参考訳（メタデータ） (2026-07-23T08:16:56Z)
• A Survey of On-Policy Distillation for Large Language Models [19.95776080082138]
  この調査は、大規模言語モデル(LLM)のオン・ポリシィ蒸留に関する最初の包括的概要を提供する。 オンラインのサンプルに対して$f$-divergenceフレームワークを導入し,emphfeedbackシグナル(ログベース,結果ベース,自己プレイ),emphteacherアクセス(ホワイトボックス,ブラックボックス,教師フリー),emphloss最小化(トケンレベル,シーケンスレベル,ハイブリッド)の3つの次元に沿ってランドスケープを整理する。
  論文  参考訳（メタデータ） (2026-04-01T08:32:34Z)
• Molecular Identifier Visual Prompt and Verifiable Reinforcement Learning for Chemical Reaction Diagram Parsing [52.825281124618535]
  反応図解析(RxnDP)は、文献から化学合成情報を抽出するために重要である。 近年の視覚言語モデル(VLM)はこの複雑な視覚的推論タスクを自動化するための有望なパラダイムとして登場した。 この研究はVLMベースのRxnDPを2つの相補的視点、すなわち表現の促進と学習パラダイムから強化する。
  論文  参考訳（メタデータ） (2026-03-16T09:17:05Z)
• CL-MAE: Curriculum-Learned Masked Autoencoders [49.24994655813455]
  本稿では,自己指導型再建作業の複雑さを継続的に増大させるために,マスキング戦略を更新するカリキュラム学習手法を提案する。 我々は、ImageNet上でCL-MAE(Curriculum-Learned Masked Autoencoder)をトレーニングし、MAEよりも優れた表現学習能力を示すことを示す。
  論文  参考訳（メタデータ） (2023-08-31T09:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。