論文の概要: SCOPD: Sparse-Context On-Policy Self-Distillation for Efficient Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.34044v1
• Date: Mon, 28 Sep 2026 00:09:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:28:21.260612
• Title: SCOPD: Sparse-Context On-Policy Self-Distillation for Efficient Vision-Language Models
• Title（参考訳）: SCOPD:効率的なビジョンランゲージモデルのためのスパースコンテキストオンポリシィ自己蒸留
• Abstract要約: 視覚言語モデルの推論は、画像とビデオを視覚トークンの長いシーケンスとして処理し、推論を高価にする。 トレーニング不要なトークンプルーニングでは,このコストが削減されるが,アグレッシブ圧縮は性能を著しく低下させる可能性がある。 本稿では,学生がプルーニングされた視覚トークンから推論トラジェクトリを生成する,スパース・コンテクスト・オン・ポリティクス・セルフ蒸留フレームワークであるSCOPDを紹介する。
• 参考スコア（独自算出の注目度）: 55.58944962370152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning vision-language models (VLMs) process images and videos as long sequences of visual tokens, making inference expensive. Training-free token pruning reduces this cost, but aggressive compression can sharply degrade performance, often attributed to irreversible loss of task-relevant visual information. We show that this explanation is incomplete. In a fixed-context Pass@K analysis, repeated sampling from the same pruned visual representation recovers many examples missed by greedy decoding, indicating that useful visual evidence can remain accessible but be used unreliably. We call this the representation-utilization gap. Motivated by this observation, we introduce SCOPD, a sparse-context on-policy self-distillation framework in which a student generates reasoning trajectories from pruned visual tokens while a privileged full-context teacher supervises the same on-policy prefixes. SCOPD requires no ground-truth responses, architectural changes, or additional inference-time computation. We further introduce SCOPD+, which uses a small visual-budget intervention to identify visually sensitive response positions and selectively distill them. At 10% visual-token retention, the Vanilla model retains 86.37% of its unpruned performance across 13 benchmarks. SCOPD raises this to 90.49%, while SCOPD+ further improves it to 92.43%. Across token budgets, benchmarks, and pruning operators, our results show that efficient reasoning depends not only on which visual information survives pruning, but also on how reliably the model learns to use it.
• Abstract（参考訳）: 視覚言語モデル(VLM)の推論は、画像とビデオを視覚トークンの長いシーケンスとして処理し、推論を高価にする。 トレーニング不要のトークンプルーニングは、このコストを削減するが、アグレッシブ圧縮は、しばしばタスク関連視覚情報の不可逆的な損失に起因するパフォーマンスを著しく低下させる可能性がある。 この説明は不完全であることを示す。 固定コンテキストPass@K分析では、同じプルーニングされた視覚表現からの繰り返しサンプリングが、グリーディ復号によって欠落した多くの例を復元し、有用な視覚的証拠は引き続きアクセス可能であるが、信頼性が低いことを示唆している。 これを表現利用ギャップと呼ぶ。 この観察に動機づけられたSCOPD(Sparse-context on-policy self-distillation framework)は、学生がプルーニングされた視覚トークンから推論トラジェクトリを生成し、特権付きフルコンテクストの教師が同じオン-ポリシーの接頭辞を監督する、スパース・コンテクスト・オン・ポリシーの自己蒸留フレームワークである。 SCOPDは、根本的な応答、アーキテクチャの変更、追加の推論時間計算を必要としない。 さらに、視力に敏感な応答位置を識別し、選択的に蒸留するために、小さな視覚的予算介入を用いるSCOPD+を導入する。 10%の視覚的保持で、バニラモデルは13のベンチマークで86.37%のパフォーマンスを維持している。 SCOPD+は90.49%、SCOPD+は92.43%に改善している。 トークンの予算、ベンチマーク、プルーニング演算子全体にわたって、効率的な推論は、どの視覚情報がプルーニングを生き残るかだけでなく、モデルがどれだけ確実にそれを使うかにも依存することを示した。

関連論文リスト

• Just MLPs: Efficient Visual State Reconstruction for Multimodal Language Models [53.964810481070636]
  大規模言語モデル(MLLM)における計算オーバーヘッドのかなりの部分を占める長い視覚トークンシーケンス 既存のアプローチは、冗長な視覚トークンを刈り取ることでこのコストを削減するが、その後のレイヤで有用になる可能性のある視覚的証拠を永久に破棄する。 視覚トークンの繰り返しトランスフォーマー進化を軽量な低ランクアダプタに置き換える$-Visionを提案する。
  論文  参考訳（メタデータ） (2026-09-28T11:52:45Z)
• DIVE: Dynamic Iterative Visual Evidence Construction for Efficient Vision-Language Models [13.866355425347384]
  視覚言語モデルの視覚入力は、しばしばテキストよりもかなり長いトークンシーケンスに符号化される。 近年の手法では、トークンの重要度を判定し、低スコアのトークンを1回のパスでプルーニングすることで、このボトルネックに対処している。 この知見に触発されたDIVEは、動的エビデンス構築として視覚障害者のプルーニングをリキャストする、トレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2026-08-05T06:32:25Z)
• VisionPulse: Dynamic Visual Sparsity for Efficient Multimodal Reasoning [15.03674139835036]
  推論中に段階的に視覚的トークンを抽出するフレームワークであるVisionPulseを提案する。 VisionPulseは、推論中に視覚的間隔を強制することにより、関連する視覚的証拠を保持しながら冗長な視覚的コンテキストをフィルタリングし、推論トレースを自然に短縮する。
  論文  参考訳（メタデータ） (2026-05-29T15:51:12Z)
• Focus-then-Context: Subject-Centric Progressive Visual Token Reduction for Vision-Language Models [16.39553879497114]
  SPprunerは主題中心のプログレッシブ・リダクション・パラダイムである。 人間の視覚知覚システムのtextitFocus-then-Contextメカニズムをエミュレートする。 視覚入力の高忠実度表現を保証するために、包括的視覚被写体スペクトルを掘削することができる。
  論文  参考訳（メタデータ） (2026-05-20T09:37:53Z)
• ApET: Approximation-Error Guided Token Compression for Efficient VLMs [16.4657793751671]
  本稿では,近似エラーガイド付きToken圧縮フレームワークであるApETを紹介する。 ApETは、画像理解タスクのオリジナルパフォーマンスの95.2%を保持し、ビデオ理解タスクの100.4%を達成している。 ApETは無注意設計のため、FlashAttentionとシームレスに統合され、さらなる推論を可能にし、VLMのデプロイをより実用的なものにしている。
  論文  参考訳（メタデータ） (2026-02-23T14:15:37Z)
• Unleashing Perception-Time Scaling to Multimodal Reasoning Models [60.578179197783754]
  推論時間スケーリングの最近の進歩は、LVLM(Large Vision-Language Models)の推論能力を大幅に向上させた。 この成功に触発されて、同様の戦略がマルチモーダル推論に適用されたが、視覚的知覚への影響は未だ不明である。 本稿では,トークンに富む知覚を促進する新しいパラダイムである知覚時間スケーリング(PTS)を提案し,複雑な知覚問題を中間的抽出可能なサブプロブレムに分解する。
  論文  参考訳（メタデータ） (2025-10-10T03:17:52Z)
• A Glimpse to Compress: Dynamic Visual Token Pruning for Large Vision-Language Models [94.49953824684853]
  人間の認知に触発された動的刈り取りフレームワークGlimpsePruneを導入する。 データ駆動の 'glimpse' を受け取り、応答生成の前に単一のフォワードパスで無関係な視覚トークンをプルーンする。 強化されたGlimpsePrune+は、同様に高いプルーニング率を維持しながら、ベースライン性能の110%を達成する。
  論文  参考訳（メタデータ） (2025-08-03T02:15:43Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。