論文の概要: On-Policy Visual Evidence Distillation

• arxiv url: http://arxiv.org/abs/2609.36838v1
• Date: Tue, 29 Sep 2026 06:47:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.246689
• Title: On-Policy Visual Evidence Distillation
• Title（参考訳）: On-Policy Visual Evidence Distillation
• Abstract要約: 本稿では,視覚エージェントのオンライン蒸留法であるRe Reflection on Visual Evidence (ReVuE)を紹介する。 ReVuEは、同じクエリに対して複数の学生生成軌跡を比較し、観察された視覚的証拠を要約し、最初の失敗を診断する。 我々は,これらの反射が教師の予測にどの程度強く影響するかに応じて,トークンレベルの蒸留損失をグループ化し,再重み付けする。
• 参考スコア（独自算出の注目度）: 29.145226066460193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual agents solve problems by interleaving reasoning with image operations, and on-policy distillation (OPD) provides guidance from a strong teacher on student-generated interaction trajectories. However, image operations change the evidence available for subsequent reasoning, so local errors in evidence acquisition (Acquire), reading (Read), or answer grounding (Ground) can propagate through the trajectory and lead to incorrect answers. Existing multimodal OPD methods primarily construct or contrast auxiliary views of the original image to strengthen supervision, without explicitly modeling the connections between student actions, resulting observations, and subsequent reasoning. This limits their ability to provide corrections tailored to different failure stages. We introduce Reflection on Visual Evidence (ReVuE), an on-policy distillation method for visual agents. ReVuE compares multiple student-generated trajectories for the same query, summarizes the observed visual evidence, and diagnoses the first failure across the Acquire, Read, and Ground stages. The resulting reflections provide training-time context for the teacher. We group and reweight token-level distillation losses according to how strongly these reflections affect the teacher's predictions. This design translates trajectory-level evidence diagnosis into targeted token-level supervision, guiding students to improve their visual evidence acquisition and reasoning. Across 11 benchmarks spanning the Qwen2.5-VL and InternVL3.5 model families, ReVuE outperforms all evaluated OPD baselines in weighted-average scores for perception, mathematical reasoning, and general tasks. ReVuE also reduces redundancy in reasoning and tool calls while improving tool-call accuracy and task accuracy. Code is available at https://github.com/sylvain-wei/ReVuE
• Abstract（参考訳）: 視覚エージェントは画像操作と推論をインターリーブすることで問題を解決し、オンライン蒸留(OPD)は、学生が生み出す相互作用軌跡に関する強力な教師からの指導を提供する。 しかし、画像操作は、その後の推論のために利用可能な証拠を変更するため、証拠取得(Acquire)、読解(Read)、解答基盤(Ground)の局所的な誤りは、軌道を伝播し、誤った答えをもたらす。 既存のマルチモーダルPD手法は、学生行動間の関係を明示的にモデル化することなく、監督を強化するために、主にオリジナルのイメージの補助的なビューを構築したり、あるいはコントラストする。 これにより、異なる障害ステージに合わせた修正を提供する能力が制限される。 本稿では,視覚エージェントのオンライン蒸留法であるRe Reflection on Visual Evidence (ReVuE)を紹介する。 ReVuEは、同じクエリに対して複数の学生生成トラジェクトリを比較し、観察された視覚的証拠を要約し、取得、読み取り、地上のステージで最初の失敗を診断する。 結果として得られたリフレクションは、教師にトレーニングタイムのコンテキストを提供する。 我々は,これらの反射が教師の予測にどの程度強く影響するかに応じて,トークンレベルの蒸留損失をグループ化し,再重み付けする。 この設計は、軌跡レベルの証拠診断を目標トークンレベルの監視に変換し、学生に視覚的証拠の取得と推論を改善するよう指導する。 Qwen2.5-VLモデルファミリとInternVL3.5モデルファミリにまたがる11のベンチマークにおいて、ReVuEは認識、数学的推論、一般的なタスクの重み付き平均スコアで評価されたOPDベースラインを上回っている。 ReVuEはまた、推論とツールコールの冗長性を低減し、ツールコール精度とタスク精度を改善している。 コードはhttps://github.com/sylvain-wei/ReVuEで入手できる。

関連論文リスト

• Evidence-Aligned Multimodal On-Policy Self-Distillation for Fine-Grained Visual Understanding [18.19257629586049]
  我々は,エビデンス中心の作物に条件付けされた教師を用いて,学生が生成した軌跡に沿った原画像に条件付けされた学生を監督する。 学習の安定性は向上するが,学習者間のモデル状態のギャップが生じる。 収穫はタスク関連エビデンスを高めるが、視覚的コンテキストも失う。 Evidence-Aligned multimodal on-policy self-Distillation (EAD) を導入し、作物調和型教師を目標とするが、修正を重み付けするための別のエビデンスを構築する。
  論文  参考訳（メタデータ） (2026-09-28T09:06:19Z)
• Distilling Visual Reasoning into Text Space [78.35420007882202]
  Visual-to-Text Chain-of-Thought Distillation (V2T)は、LVLMが推論時に中間的な視覚表現を生成することなく、視覚的推論を内部化することを可能にするフレームワークである。 V2Tはまず,教師のLVLMを視覚的およびテキスト的思考の連鎖を用いて訓練し,その後,知識蒸留を用いて教師のロジットを用いて生徒のLVLMを訓練し,地道的テキスト的推論からクロスエントロピーを監督する。
  論文  参考訳（メタデータ） (2026-09-28T06:20:00Z)
• OPD-Aha: From Linguistic Momentum to Visual Reflection in Multimodal On-Policy Distillation [15.986808086256792]
  プリヴィレグドオン政治蒸留は、教師がリッチで訓練のみの視覚的証拠を用いて学生の軌跡を評価することによってマルチモーダル推論を改善する。 この誤解を招く合意の下では,教師の視覚的矯正的嗜好は失われないことがわかった。 我々は,この分離された視覚的嗜好から直接蒸留ターゲットを再構築するOPD-Ahaを紹介する。
  論文  参考訳（メタデータ） (2026-09-15T00:25:28Z)
• VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation [46.347555076026964]
  マルチモーダル・オン・ポリティクス蒸留は、生徒が生成した軌跡を教師に監督することで、きめ細かい視覚的知識を伝達する。 主な課題は、どの補正が、どのように蒸留するかだけでなく、視覚的証拠によって支えられているかを推定することである。 本稿では,教師の補正の視覚的帰属部分を推定する対物目標再構成アルゴリズムである視覚属性蒸留(VAD)を紹介する。
  論文  参考訳（メタデータ） (2026-07-30T17:43:46Z)
• Bridging Physical Reasoning and Task Generalization via Visual Action Outcome Reasoning Alignment [67.2775785848366]
  2つの重要な障害モードは、物理的現実と矛盾する幻覚的連鎖(CoT)推論と、モデルの推論と行動の不一致である。 両問題に直接対処する新たな報酬設計であるVAORAを提案する。 VAORAは2つの補完的な報酬を導入している: 視覚アライメント・リワード(Visual Alignment Reward) - VLM推論をエージェントアクション自体とは独立に視覚コンテキストに固定する。
  論文  参考訳（メタデータ） (2026-07-07T17:27:59Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)
• Reflective Instruction Tuning: Mitigating Hallucinations in Large Vision-Language Models [36.119299938503936]
  大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて有望な性能を示す。 幻覚に敏感であり、視覚内容や指示と不一致な出力を生成する。 本稿では,理科学習を視覚的指導調律に統合した反射的指導調律を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:32:45Z)
• Anticipating the Unseen Discrepancy for Vision and Language Navigation [63.399180481818405]
  視覚言語ナビゲーションでは、エージェントは特定のターゲットに到達するために自然言語命令に従う必要がある。 目に見える環境と目に見えない環境の間に大きな違いがあるため、エージェントがうまく一般化することは困難である。 本研究では,テストタイムの視覚的整合性を促進することによって,未知の環境への一般化を学習する,未知の離散性予測ビジョンと言語ナビゲーション(DAVIS)を提案する。
  論文  参考訳（メタデータ） (2022-09-10T19:04:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。