論文の概要: Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction

• arxiv url: http://arxiv.org/abs/2609.32353v2
• Date: Thu, 01 Oct 2026 14:20:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.374203
• Title: Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction
• Title（参考訳）: トーケンが少なかったこと, 自己教育: 極端視覚的トーケン低減のためのオン・ポリティィ自己蒸留
• Abstract要約: 視覚トークン削減はマルチモーダル大言語モデル(MLLM)の高速化に有効な方法である 本稿では,極端視覚力低下のためのトレーニングフレームワークであるLT-OPDを提案する。 LT-OPDは視力保持率を平均で68.6%から82.3%に引き上げた。
• 参考スコア（独自算出の注目度）: 42.885536490302655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual token reduction is an effective way to accelerate multimodal large language models (MLLMs), but performance deteriorates rapidly under extremely low token budgets. Existing work has explored both visual-token selection and training-based adaptation to reduced visual inputs. We take a step further by asking how a heavily compressed MLLM should learn from the states induced by its own generations. This setting naturally calls for on-policy self-distillation: a heavily compressed model is supervised on the states induced by its own generations, while its full-token counterpart serves as an information-rich teacher. Based on this insight, we propose LT-OPD, a training framework for extreme visual-token reduction. The student rolls out responses with only a small fraction of visual tokens, and a frozen full-token copy of the same MLLM provides distributional supervision along these student-generated trajectories. To stabilize on-policy learning when visual evidence is severely limited, we further introduce a budget-level curriculum that progressively decreases the token budget during training. Across nine benchmarks on Qwen3.5-4B, LT-OPD raises average retained performance under 5% visual-token retention from 68.6% to 82.3%, outperforming training-free, training-based, and reinforcement-learning baselines at the same budget. The gains transfer consistently to Qwen3.5-9B, GLM-4.6V-9B, and LLaVA-OV-1.5-4B. LT-OPD also reduces KV-cache usage by 85.2% and prefill FLOPs by 85.4% without additional inference overhead, demonstrating that on-policy learning can substantially recover capabilities lost to extreme visual-token reduction.
• Abstract（参考訳）: 視覚的トークン削減はマルチモーダル大言語モデル(MLLM)を高速化する有効な方法であるが、非常に低いトークン予算の下で性能が急速に低下する。 既存の研究は、視覚的な選択と、視覚的な入力を減らすためのトレーニングベースの適応の両方を探索してきた。 さらに、高度に圧縮されたMLLMは、その世代によって引き起こされる状態からどのように学習すべきかを尋ねる。 高度に圧縮されたモデルは、その世代によって誘導される州で管理され、フルトーケンの教師は情報豊富な教師として機能する。 この知見に基づいて,極端視覚力低下のためのトレーニングフレームワークであるLT-OPDを提案する。 学生は、ほんのわずかな視覚トークンで応答をロールアウトし、同じMLLMのフリーズされた完全なコピーは、これらの学生が生成した軌跡に沿って配布の監督を提供する。 視覚的エビデンスが著しく制限された場合のオンライン学習を安定させるために、トレーニング中のトークン予算を段階的に削減する予算レベルのカリキュラムも導入する。 Qwen3.5-4Bの9つのベンチマークで、LT-OPDは5%の視覚的保持率を68.6%から82.3%に引き上げ、トレーニングなし、トレーニングベース、強化学習ベースラインを同じ予算で上回っている。 ゲインは一貫してQwen3.5-9B、GLM-4.6V-9B、LLaVA-OV-1.5-4Bに移行する。 LT-OPDはまた、KV-cacheの使用量を85.2%削減し、追加の推論オーバーヘッドなしでFLOPを85.4%プリフィルする。

関連論文リスト

• Teach Yourself Where to Look: On-Policy Attention Self-Distillation for Reasoning [5.87050475730812]
  自衛隊の自衛隊は、認証されたソリューションにアクセス可能な特権教師からの密集したトークン配布指導を用いて、自衛隊の自衛隊のモデルを推論する。 我々は, トークンレベルの監視と, 溶液条件の注意蒸留を補完する, OPASD(On-Policy Attention Self-Distillation)を導入する。 OPASDはトークンのみのOPSDを一貫して上回り、平均精度は4.98から8.40ポイント向上した。
  論文  参考訳（メタデータ） (2026-09-27T04:38:41Z)
• Beyond Surrogate Gradients: Fully Differentiable Token Pruning for Vision-Language Models [8.48481119028537]
  本稿では,個別選択学習ではなく,トークン情報の連続制御としてプルーニングを再構成するDiffPruneを提案する。 10個のVLMベンチマークで、DiffPruneは96.5%の完全モデルの精度を維持し、LLMのプリフィルは2.85倍に加速し、推測オーバーヘッドはわずか0.69msである。
  論文  参考訳（メタデータ） (2026-05-27T06:52:08Z)
• DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference [14.714791872881397]
  DUET-VLMは汎用的なプラグアンドプレイデュアル圧縮フレームワークである。 精度を犠牲にすることなく、視覚的(イメージ/ビデオ)入力を小さくする堅牢な適応を可能にする。 本研究は,DUET-VLMによるエンドツーエンドトレーニングに焦点を当てた。
  論文  参考訳（メタデータ） (2026-02-21T14:22:49Z)
• PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
  本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。 提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。 LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
  論文  参考訳（メタデータ） (2026-02-04T15:33:10Z)
• ReGATE: Learning Faster and Better with Fewer Tokens in MLLMs [1.1834200163382398]
  ReGATE (Reference$-$Guided Adaptive Token Elision) はMLLMトレーニングを高速化するための適応トークンプルーニング手法である。 MVBenchの標準トレーニングのピーク精度は最大2$times$で、トークンの35%しか使用していない。
  論文  参考訳（メタデータ） (2025-07-29T01:07:09Z)
• Beyond Next Token Prediction: Patch-Level Training for Large Language Models [69.67438563485887]
  大規模言語モデル(LLM)に対するパッチレベルのトレーニングを導入する。 パッチレベルのトレーニングでは、言語モデルの短いパッチシーケンスをフィードし、次のパッチを予測するようにトレーニングします。 パッチレベルのトレーニングは、モデルのパフォーマンスを損なうことなく、全体のトレーニングコストを0.5$times$に削減できることを示す。
  論文  参考訳（メタデータ） (2024-07-17T15:48:39Z)
• FLM-101B: An Open LLM and How to Train It with $100K Budget [63.244403881531035]
  その結果,FLM-101Bは,予算1万ドルで成長戦略を訓練し,浮動小数点演算の10%に過ぎず,ベースラインのパフォーマンスの80%に達することがわかった。 先進的なトレーニングに関するさらなる研究は、コストを削減し、グリーンAIを促進することで、コミュニティに恩恵をもたらすと信じている。
  論文  参考訳（メタデータ） (2023-09-07T17:07:36Z)
• Accelerating Vision-Language Pretraining with Free Language Modeling [62.30042851111692]
  自由言語モデリング(FLM)は、任意の汚職率で100%予測レートを実現する。 FLMは、汚職率との整合性から予測率を解放する。 実験の結果、FLMは2.5倍の事前訓練時間短縮を達成できた。
  論文  参考訳（メタデータ） (2023-03-24T14:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。