論文の概要: Evidence-Aligned Multimodal On-Policy Self-Distillation for Fine-Grained Visual Understanding

• arxiv url: http://arxiv.org/abs/2609.34672v1
• Date: Mon, 28 Sep 2026 09:06:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 11:24:30.386588
• Title: Evidence-Aligned Multimodal On-Policy Self-Distillation for Fine-Grained Visual Understanding
• Title（参考訳）: Evidence-Aligned Multimodal On-Policy Self-Distillation for Fine-Grained Visual Understanding (特集:情報ネットワーク)
• Abstract要約: 我々は,エビデンス中心の作物に条件付けされた教師を用いて,学生が生成した軌跡に沿った原画像に条件付けされた学生を監督する。 学習の安定性は向上するが,学習者間のモデル状態のギャップが生じる。 収穫はタスク関連エビデンスを高めるが、視覚的コンテキストも失う。 Evidence-Aligned multimodal on-policy self-Distillation (EAD) を導入し、作物調和型教師を目標とするが、修正を重み付けするための別のエビデンスを構築する。
• 参考スコア（独自算出の注目度）: 18.19257629586049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained visual understanding requires models to recognize small details within complex images. Multimodal on-policy self-distillation (OPSD) addresses this challenge by using a teacher conditioned on evidence-centered crops to supervise a student conditioned on original images along student-generated trajectories. Ideally, teacher corrections, the distributional changes from the student toward the privileged teacher, should be driven by task-relevant visual evidence. However, the designs that make the teacher effective also introduce other interference. Using a lagged or frozen teacher improves training stability but introduces a model-state gap from the evolving student, while cropping enhances task-relevant evidence but also loses the visual context. These two sources of interference make the teacher corrections not purely rely on the visual evidence. We introduce Evidence-Aligned multimodal on-policy self-Distillation (EAD), which retains the crop-conditioned teacher as the target but constructs a separate evidence reference for weighting the corrections. To exclude the effect of lagged model-state from this reference, EAD measures prediction changes using the current student. To avoid crop-induced context changes, EAD masks the evidence region in the original image while preserving the other visual context. The change from the student's masked-image prediction to its original-image prediction provides a controlled reference for the direction in which the visual evidence shifts the student's prediction. EAD weights each teacher correction by its cosine alignment with the reference, i.e., retaining aligned corrections and downweighting the rest. Retaining only 6\% of the supervision mass of dense OPSD, EAD consistently outperforms previous state-of-the-art methods.
• Abstract（参考訳）: きめ細かい視覚的理解には、複雑な画像内の小さな詳細を認識するモデルが必要である。 マルチモーダル・オン・ポリティシック・セルフ蒸留(OPSD)は、エビデンス中心の作物に条件付けされた教師を用いて、学生が生み出した軌跡に沿ったオリジナル画像に条件付けされた学生を監督することにより、この問題に対処する。 理想的には、生徒から特権教師への分配的変化である教師の修正は、タスク関連視覚的エビデンスによって推進されるべきである。 しかし、教師を効果的にさせるデザインは、他の干渉ももたらしている。 学習者は学習の安定性を向上するが,学習者からモデル状態のギャップを生じさせる一方,収穫は作業関連エビデンスを高め,視覚的コンテキストも失う。 これら2つの干渉の源泉は、教師の補正を純粋に視覚的証拠に頼らないようにする。 Evidence-Aligned multimodal on-policy self-Distillation (EAD) を導入し、作物調和型教師を目標とするが、修正を重み付けするための別のエビデンスを構築する。 この基準からラベル付きモデル状態の影響を排除するため、EADは現在の学生を用いて予測変化を測定する。 EADは、作物によって引き起こされるコンテキストの変化を避けるために、元の画像のエビデンス領域をマスクし、他の視覚的コンテキストを保存する。 学生の仮面画像予測からオリジナル画像予測への変化は、視覚的証拠が生徒の予測を変える方向の制御された参照を提供する。 EADは、各教師の補正をコサインアライメントによって重み付け、すなわち、アライメントされた修正を維持し、残りの修正を下降させる。 EADは、高密度OPSDの監督質量の6倍しか保持しないため、従来の最先端の手法を一貫して上回っている。

関連論文リスト

• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Calibrating Teacher--Student Discrepancy for On-Policy Distillation [8.81918848570085]
  bfCalibrated On-Policy Distillation (Cal-OPD)を導入する。 数学的推論ベンチマークの実験では、Cal-OPDは標準PDとモデルスケールのバリエーションを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-09-18T11:00:44Z)
• OPD-Aha: From Linguistic Momentum to Visual Reflection in Multimodal On-Policy Distillation [15.986808086256792]
  プリヴィレグドオン政治蒸留は、教師がリッチで訓練のみの視覚的証拠を用いて学生の軌跡を評価することによってマルチモーダル推論を改善する。 この誤解を招く合意の下では,教師の視覚的矯正的嗜好は失われないことがわかった。 我々は,この分離された視覚的嗜好から直接蒸留ターゲットを再構築するOPD-Ahaを紹介する。
  論文  参考訳（メタデータ） (2026-09-15T00:25:28Z)
• Teacher Should Think Ahead: Adaptive Continuations for Reliable On-Policy Distillation [29.726128117466956]
  不完全または低品質の学生接頭辞を条件にした場合,教師の指導は信頼できないことを示す。 本稿では,教師の継続を伴って学生のロールアウトに伴う情報伝達状態を増強する適応継続オン・ポリティ蒸留(AC-OPD)を提案する。
  論文  参考訳（メタデータ） (2026-09-06T07:08:41Z)
• Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation [97.02922768457239]
  Context-Matched Distillation (CMD) は、教師の監督と、各ターゲットが生成される際に利用可能な情報とを整合させる因果的MDDフレームワークである。 Prefix Corruptionは、このターゲットコンテキストアライメントを維持しながら、トレーニングの初期段階で生成された信頼性の低いプレフィックスを摂動することで、トレーニングを安定化させる。 ショートビデオとロングビデオの両方のベンチマークで、自己回帰手法における最先端の集約性能を実証した。
  論文  参考訳（メタデータ） (2026-08-13T15:51:31Z)
• VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation [46.347555076026964]
  マルチモーダル・オン・ポリティクス蒸留は、生徒が生成した軌跡を教師に監督することで、きめ細かい視覚的知識を伝達する。 主な課題は、どの補正が、どのように蒸留するかだけでなく、視覚的証拠によって支えられているかを推定することである。 本稿では,教師の補正の視覚的帰属部分を推定する対物目標再構成アルゴリズムである視覚属性蒸留(VAD)を紹介する。
  論文  参考訳（メタデータ） (2026-07-30T17:43:46Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• DualFete: Revisiting Teacher-Student Interactions from a Feedback Perspective for Semi-supervised Medical Image Segmentation [12.629975999398303]
  本研究は,教師が学習するフレームワークにフィードバック機構を導入し,誤りの再確認に対処する。 この相互作用は、学生の更新をトリガーする擬似ラベルを指定するフィードバック属性と、このフィードバックをどこに適用すべきかを決定するフィードバックレシーバーの2つの重要な要素に基づいている。 これに基づいて、フィードバックループをよりダイナミックにし、より多くの利得を育むことができるデュアル教師フィードバックモデルがさらに提案されている。
  論文  参考訳（メタデータ） (2025-11-12T13:29:24Z)
• Alternate Diverse Teaching for Semi-supervised Medical Image Segmentation [62.021828104757745]
  そこで我々は,教師-学生の枠組みにおける多様な教育手法であるAD-MTを提案する。 一人の生徒モデルと2つの訓練不可能な教師モデルがあり、それは定期的に、ランダムに、別の方法で、モーメントを更新する。
  論文  参考訳（メタデータ） (2023-11-29T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。