論文の概要: Structured Redundancy Modeling for Efficient Visual Token Pruning in High-Resolution MLLMs
- arxiv url: http://arxiv.org/abs/2607.23046v1
- Date: Sat, 25 Jul 2026 05:08:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:14.981201
- Title: Structured Redundancy Modeling for Efficient Visual Token Pruning in High-Resolution MLLMs
- Title（参考訳）: 高分解能MLLMにおける効率的な視覚トーケンプルーニングのための構造的冗長性モデリング
- Abstract要約: 本稿では,スコアリング空間に直接冗長性制御を組み込む視覚トークンプルーニングの構造的再構成を提案する。
提案手法は,Qwen2.5-VLの512トークンにおいて,112.4msから2.5msまでのトークン選択プロセスを110msまで削減し,安定な選択コストを維持していることを示す。
- 参考スコア（独自算出の注目度）: 9.080169376642433
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent high-resolution Multimodal Large Language Models (MLLMs) generate thousands of visual tokens per input, leading to a visual token explosion that introduces severe latency bottlenecks. While token pruning mitigates this issue, state-of-the-art subset-optimization methods typically rely on iterative subset construction to jointly capture visual diversity and instruction relevance. As visual token counts scale, this sequential dependency introduces significant selection overhead, severely limiting the translation of theoretical FLOPs reductions into actual wall-clock speedups. To address this limitation, we propose Single-Forward Pruner (SFPruner), a structural reformulation of visual token pruning that embeds redundancy control directly into the scoring space, bypassing the need for iterative combinatorial optimization. Our non-iterative framework achieves redundancy-aware importance selection in a single forward pass through two complementary mechanisms. First, to attenuate redundancy at the covariance level, we introduce a semantics-guided ridge leverage scheme. By integrating instruction relevance and visual saliency, this mechanism suppresses dominant covariance directions and mitigates representation bias. Second, ranking-based directional masking resolves residual overlap through asymmetric similarity competition, where higher-scoring tokens explicitly suppress redundant lower-scoring alternatives via parallel tensor operations. Extensive evaluations demonstrate that our approach maintains stable selection costs, reducing the token selection process by up to 110 ms, from 112.4 ms to just 2.5 ms at 512 tokens in Qwen2.5-VL. This structural efficiency successfully translates theoretical token reductions into tangible inference speedups while preserving highly competitive performance against state-of-the-art techniques under aggressive compression.
- Abstract（参考訳）: 最近の高解像度のMultimodal Large Language Models (MLLM)は、入力毎に数千の視覚トークンを生成し、視覚トークンの爆発を引き起こす。
トークンプルーニングはこの問題を緩和するが、最先端のサブセット最適化手法は通常、視覚的多様性と命令の関連性を共同で捉えるために反復的なサブセット構造に依存している。
視覚トークンがスケールするにつれて、このシーケンシャルな依存は大きな選択オーバーヘッドをもたらし、理論的なFLOPの削減を実際のウォールクロックのスピードアップに変換するのを著しく制限する。
この制限に対処するために、反復組合せ最適化の必要性を回避し、冗長性制御を直接スコア空間に埋め込む視覚トークンプルーニングの構造改革であるSingle-Forward Pruner (SFPruner)を提案する。
我々の非定性フレームワークは、2つの相補的なメカニズムを通した1つの前方通過における冗長性を考慮した重要度選択を実現する。
まず、共分散レベルでの冗長性を軽減するために、セマンティクス誘導リッジレバレッジスキームを導入する。
このメカニズムは、命令の関連性と視覚的正当性を統合することで、支配的な共分散方向を抑え、表現バイアスを緩和する。
第二に、ランクベースの方向マスキングは非対称な類似性競争によって余剰重なりを解消し、高階のトークンは平行テンソル演算による冗長な低階の代替品を明示的に抑制する。
提案手法は,Qwen2.5-VLの512トークンにおいて,112.4msから2.5msまでのトークン選択過程を110msまで削減し,安定な選択コストを維持していることを示す。
この構造効率は、アグレッシブ圧縮下での最先端技術に対する高い競争性能を維持しながら、理論トークン還元を有形推論スピードアップに変換することに成功している。
関連論文リスト
- Accelerating Hierarchical Sparse Predictive Coding with Hybrid Amortized Inference [0.0]
また,LISTA型イニシャライザーと短い修正再発は,長時間の反復推論よりもはるかに高速でありながら,純粋なアモート化よりも改善することを示した。
以上の結果より,LISTA型イニシャライザーと短い補正再発は,長期反復推論よりもはるかに高速でありながら,純粋な償却よりも改善することが示唆された。
論文 参考訳（メタデータ） (2026-06-26T07:38:55Z) - Adaptive Tokenisation Via Temporal Redundancy Masking And Latent Inpainting [18.71433885255431]
適応的ビデオトークン化(Adaptive Video tokenisation)は、シーケンスの基盤となる視覚的複雑さに基づいて、トークンの予算を動的に割り当てる。
凍結連続ビデオトークンの潜伏空間は,直接利用可能な時間的冗長性を本質的に符号化していることを示す。
パラメータフリー適応トークン割り当て機構を導入し,時間-L1差分に対する固定しきい値を適用した。
論文 参考訳（メタデータ） (2026-06-04T13:31:12Z) - Where to Refine, When to Stop: Rethinking Redundancy via Latent Discrepancy for Efficient Visual Autoregressive Generation [50.139984798361375]
遅延不一致による冗長性を除去する学習自由フレームワークを提案する。
LD-Pruningは、Infinity-8Bの最大2.35倍のスピードアップを実現し、高い生成品質を維持しながら推論を大幅に削減する。
論文 参考訳（メタデータ） (2026-05-29T19:34:39Z) - Rethinking Token Reduction for Diffusion Models via Output-Similarity-Awareness [2.5966966127729454]
拡散変換器(DiT)はより優れた画像生成品質を実現するが、トークン数に対して2次計算の複雑さに悩まされる。
出力中心のトークン還元に焦点を移す新しいTRパラダイムであるDiToを提案する。
実験により、DiToは既存のTR法よりも1.6-3.9dB高いPSNRを同等のスピードアップで一貫して上回っていることが示された。
論文 参考訳（メタデータ） (2026-05-21T05:18:42Z) - Efficient-LVSM: Faster, Cheaper, and Better Large View Synthesis Model via Decoupled Co-Refinement Attention [105.11288339285154]
Efficient-LVSMは、インプットビューにビュー内自己アテンションを適用し、ターゲットビューに自己テーマ横断アテンションを適用するデュアルストリームアーキテクチャである。
2つの入力ビューを持つRealEstate10Kでは29.86dBのPSNRを実現し、LVSMを0.2dBで上回り、2倍高速なトレーニングコンバージェンスと4.4倍高速な推論速度を実現している。
論文 参考訳（メタデータ） (2026-02-06T08:11:58Z) - Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。
TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
論文 参考訳（メタデータ） (2025-12-10T01:54:57Z) - Repulsor: Accelerating Generative Modeling with a Contrastive Memory Bank [65.00301565190824]
mnameは、外部エンコーダを必要としない、プラグアンドプレイのトレーニングフレームワークである。
mnameは400kのステップでtextbf2.40 の最先端 FID を達成し、同等のメソッドを著しく上回っている。
論文 参考訳（メタデータ） (2025-12-09T14:39:26Z) - PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。
PT$2$-LLMを提案する。
その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文 参考訳（メタデータ） (2025-09-27T03:01:48Z) - MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
論文 参考訳（メタデータ） (2025-07-06T08:16:50Z) - PAR: Prompt-Aware Token Reduction Method for Efficient Large Multimodal Models [32.33892531885448]
MLLM(Multimodal large language model)は、視覚的タスクにまたがる強力なパフォーマンスを示す。
しかし、それらの効率は、マルチモーダル入力で長いコンテキストを処理することによる計算とメモリの要求によって妨げられている。
PAR(Prompt-Aware Token Reduction)は,モデルの性能を損なうことなく,視覚トークンを効率よく削減する新しい,プラグアンドプレイ方式である。
論文 参考訳（メタデータ） (2024-10-09T07:13:22Z) - TPC-ViT: Token Propagation Controller for Efficient Vision Transformer [6.341420717393898]
ビジョントランス (ViT) は様々なコンピュータビジョンタスクにおいて有望な結果を得た。
この課題に対処するために、段階的なトークン削減を採用する以前のアプローチでは、ひとつのレイヤにおけるトークンの冗長性は、以下のすべてのレイヤにおける冗長性を意味すると仮定されている。
本稿では、2つの異なるトークン分布を組み込んだ新しいトークン伝搬制御器(TPC)を提案する。
論文 参考訳（メタデータ） (2024-01-03T00:10:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。