論文の概要: Shallow to Deep: Aligning Token Pruning with Stage-wise Roles in LVLMs
- arxiv url: http://arxiv.org/abs/2609.25635v1
- Date: Tue, 22 Sep 2026 03:47:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.196587
- Title: Shallow to Deep: Aligning Token Pruning with Stage-wise Roles in LVLMs
- Title（参考訳）: 深度:LVLMにおけるステージワイドの役割を考慮したトーケンプルーニングの調整
- Abstract要約: STDは階層的なトークンプルーニングフレームワークであり、トークン選択機構を各ネットワークステージの機能的役割に適応させる。
STDはLLaVA-1.5-7Bで88.9%、LLaVA-NeXT-7Bで94.4%、プレフィル段階で3.9倍のスピードアップを実現している。
- 参考スコア（独自算出の注目度）: 22.53472747250859
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Vision-Language Models (LVLMs) incur high computational costs from redundant visual tokens. Although training-free attention-based multi-layer pruning in the vision encoder stage has been explored as an effective strategy, we find that pruning in shallow layers consistently degrades performance. In this paper, we aim to understand this problem and seek a solution. By analyzing attention patterns across network depth, we find that shallow layers primarily function as edge detectors with chaotic attention maps, while deeper layers transition through local subject recognition and unstable semantic aggregation. To address the misalignment between pruning strategies and network stages, we propose STD, a hierarchical token pruning framework that adapts token selection mechanisms to the functional role of each network stage. STD employs High-Frequency Spectral Analysis in shallow layers to deterministically preserve structural edges, uses Gaussian-Smoothed Attention in intermediate layers to maintain spatial coherence, and introduces a Stability-Adaptive Trigger in deep layers to execute pruning only during semantically stable phases. Extensive experiments show that STD outperforms state-of-the-art pruning methods by 1.1% on LLaVA-1.5-7B with 88.9% token reduction, while also being plug-and-play and highly effective when combined with other methods, and by 2.1% on LLaVA-NeXT-7B with 94.4% reduction, delivering a 3.9x speed-up in the prefilling stage. Our code will be released at https://github.com/Twilight03/STD.
- Abstract（参考訳）: LVLM(Large Vision-Language Models)は、冗長な視覚トークンから高い計算コストを発生させる。
視覚エンコーダの段階における学習不要な注意に基づく多層プルーニングは効果的な戦略として検討されてきたが,浅層でのプルーニングが常に性能を低下させることがわかった。
本稿では,この問題を理解し,解決を目指す。
ネットワーク奥行きの注意パターンを解析することにより、浅い層が主にエッジ検出器として機能し、より深い層が局所的な主観認識と不安定なセマンティックアグリゲーションを通して遷移することがわかった。
本稿では,各ネットワークステージの機能的役割にトークン選択機構を適応させる階層型トークンプルーニングフレームワークSTDを提案する。
STDは浅い層に高周波スペクトル分析を用いて構造エッジを決定論的に保存し、中間層にガウス・スムースド・アテンションを用いて空間コヒーレンスを維持し、深い層に安定適応トリガーを導入し、意味論的に安定なフェーズでのみプルーニングを実行する。
広範囲にわたる実験の結果、STDはLLaVA-1.5-7Bでは88.9%のトークン還元で1.1%、他の方法と組み合わせるとプラグ&プレイ性が高く、LLaVA-NeXT-7Bでは94.4%で2.1%、プレフィル段階では3.9倍のスピードアップを実現している。
私たちのコードはhttps://github.com/Twilight03/STD.comでリリースされます。
関連論文リスト
- Rethinking Attention Locality in Spiking Transformers [50.00501275379363]
スパイキングトランスフォーマーは、スパイク駆動計算による効率的なビジュアル処理のための有望なパラダイムを提供する。
彼らのSSA(Softmax-free Spiking Self-Attention)は、空間的に局所化されたトークン相互作用を確立するのに苦労している。
境界連続経路(SCLA-BCP)を用いた空間連続的局所的注意法を提案する。
当社のアプローチでは、2017年のCOCOではmAP@50が9.50%、ADE20KではmIoUが3.42%改善しています。
論文 参考訳（メタデータ） (2026-08-09T07:36:17Z) - Single-Stage Hierarchical Rectification for Weakly Supervised Histopathology Segmentation [0.9799637101641149]
既存の教師付きセマンティックセグメンテーション手法は、マルチステージパラダイムに依存している。
本稿では,Single-Stage Hierarchical Rectification (SSHR) フレームワークを提案する。
SSHRは前方通過時の中間特徴表現を積極的に浄化する。
論文 参考訳（メタデータ） (2026-06-18T14:01:58Z) - One Layer's Trash is Another Layer's Treasure: Adaptive Layer-wise Visual Token Selection in LVLMs [18.48496973561215]
LVLM(Large Vision-Language Models)は様々なマルチモーダルタスクにまたがって大きな成功を収めているが、その実際の展開は長い視覚トークンから生じる計算負担によって制約されている。
本稿では,従来の静的トークンプルーニングパラダイムから切り離された新しいフレームワークであるAdaptive Layer-wise Visual Token Selection (ALVTS)を提案する。
89%のトークン圧縮比で、ALVTSはオリジナルのモデルの96.7%の精度を維持しており、LVLM推論の効率と精度のトレードオフが優れている。
論文 参考訳（メタデータ） (2026-06-12T08:58:58Z) - RAPID: Layer-Wise Redundancy-Aware Pruning and Importance-Driven Token Merging for Efficient ViT [0.014257559724536567]
視覚変換器(ViT)は高い性能を実現するが、二次的な自己注意の複雑さにより高い計算コストを被る。
本稿では,トークン表現の層的特性に還元戦略を適用した深度対応型トークン還元フレームワークを提案する。
我々のフレームワークは、階層的特徴進化と縮小戦略を整合させることにより、視覚モデルを最適化するためのトレーニング不要のテンプレートを提供する。
論文 参考訳（メタデータ） (2026-06-06T13:13:02Z) - SAFE-Pruner: Semantic Attention-Guided Future-Aware Token Pruning for Efficient Vision-Language-Action Manipulation [71.91583446135651]
SAFE-Prunerはプラグアンドプレイのプルーニングフレームワークで、将来のレイヤーの注意手順をプルーニング決定に組み込む。
本手法は成功率を1.7%以下に抑えながら最大1.89倍の高速化を実現し,最先端の手法を最大1.9%向上させることを示した。
論文 参考訳（メタデータ） (2026-05-28T09:23:08Z) - Thinking in Scales: Accelerating Gigapixel Pathology Image Analysis via Adaptive Continuous Reasoning [52.41928980786654]
スライド画像全体に対してトークン効率のよいスケール空間連続推論を可能にするPathCTMを提案する。
PathCTMは診断推論を動的逐次情報追跡として定式化する。
必要な画像パッチの数を95.95%削減し、推論時間を約95.62%短縮し、AUCを劣化せずに維持する。
論文 参考訳（メタデータ） (2026-05-19T07:46:44Z) - Locate-then-Sparsify: Attribution Guided Sparse Strategy for Visual Hallucination Mitigation [68.41785694664011]
機能ステアリングのためのLate-Then-Sparsify(LTS-FS)と呼ばれるプラグアンドプレイフレームワークを提案する。
各層の幻覚関係に応じて操舵強度を制御する。
我々の枠組みは、強い性能を維持しながら幻覚を効果的に緩和する。
論文 参考訳（メタデータ） (2026-03-17T09:16:50Z) - Uncertainty-aware retinal layer segmentation in OCT through probabilistic signed distance functions [6.765624289092461]
オプティカルコヒーレンス・トモグラフィー(OCT)スキャンにおける不確実性認識網膜層セグメンテーションの新しいアプローチを提案する。
本手法は、レベルセットを介して網膜層形状を効果的にパラメータ化する符号付き距離関数(SDF)を予測することにより、セグメンテーションを洗練する。
これにより、あいまいな入力、撮像ノイズ、信頼できないセグメンテーションが存在する場合でも、網膜層の堅牢な表現が保証される。
論文 参考訳（メタデータ） (2024-12-06T10:44:11Z) - SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models [19.479746878680707]
レイヤプルーニングは、ネットワークサイズを削減し、計算効率を向上させるための強力なアプローチである。
大規模深層モデル圧縮のための類似性誘導高速層分割プルーニングを提案する。
本手法は精度と計算効率の両面で最先端の手法より優れている。
論文 参考訳（メタデータ） (2024-10-14T04:01:08Z) - Llama SLayer 8B: Shallow Layers Hold the Key to Knowledge Injection [73.06596715100859]
知識注入のための最適層範囲の探索における各層の重要性について検討する。
本研究では,浅層を選択的に強化し,有効でない深層を刈り取るための事前学習戦略であるS戦略を提案する。
この戦略に基づき,Llama Slayer-8BとLlama Slayer-8B-Instructを導入する。
論文 参考訳（メタデータ） (2024-10-03T09:28:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。