論文の概要: Centering before Pruning: Lightweight Geometry Correction for Diversity-Based Visual Token Pruning in LVLMs

• arxiv url: http://arxiv.org/abs/2608.30263v1
• Date: Mon, 31 Aug 2026 05:13:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.243555
• Title: Centering before Pruning: Lightweight Geometry Correction for Diversity-Based Visual Token Pruning in LVLMs
• Title（参考訳）: プルーニング前の中心:LVLMにおける多様性に基づく視覚的トーケンプルーニングのための軽量幾何補正
• Abstract要約: 生の視覚トークン間の類似性は、正の範囲に強く集中しており、非冗長トークンを識別する能力を制限する。 中心コサイン類似度を用いてサブセットの多様性を測定するtextbfCentered Geometry textbfPruner (Cen-Prune)を提案する。 Cen-Pruneは、既存の多様性ベースのプルーナー全体のパフォーマンスを堅牢に改善する。
• 参考スコア（独自算出の注目度）: 7.371189496638082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision-language models (LVLMs) incur substantial inference costs due to their long and highly redundant visual-token sequences. Diversity-based pruning mitigates this cost by selecting token subsets based on pairwise cosine similarity. We find, however, that similarities between raw visual tokens are strongly concentrated in the positive range, limiting their ability to distinguish non-redundant tokens. A natural way to improve this resolution is to center token features before computing cosine similarity. Centering indeed reveals a substantially richer pairwise structure, yet unexpectedly degrades pruning performance when used alone. We show that this apparent contradiction arises because the raw geometry does more than represent pairwise diversity: it also implicitly favors globally distinctive tokens, which tend to contain semantically informative content. Centering better resolves subset diversity but loses this useful token-wise preference, revealing that diversity and distinctiveness are entangled in the raw geometry. Based on this analysis, we propose the \textbf{Cen}tered Geometry \textbf{Prune}r (Cen-Prune), which measures subset diversity using centered cosine similarity while retaining raw-space distinctiveness as a complementary token-wise preference. This lightweight, plug-and-play correction leaves the underlying selection mechanism unchanged and incurs negligible computational overhead. Extensive experiments across multiple image- and video-understanding benchmarks and LVLM architectures demonstrate that Cen-Prune provides robust improvements in overall performance across existing diversity-based pruners.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)は、長い、非常に冗長な視覚トーケンシーケンスのため、かなりの推論コストを発生させる。 多様性に基づくプルーニングは、ペアワイズコサイン類似性に基づいてトークンサブセットを選択することで、このコストを軽減します。 しかしながら、生の視覚トークン間の類似性は、正の範囲に強く集中しており、非冗長トークンを識別する能力を制限することが判明した。 この解決法を改善する自然な方法は、コサイン類似性を計算する前にトークンの特徴を集中させることである。 センターリングは、実質的にはよりリッチなペアワイズ構造であるが、単独で使用するとプルーニング性能が低下する。 この明らかな矛盾は、生の幾何学が対の多様性を表す以上のものであるためであり、意味的な情報的内容を含む傾向にあるグローバルな特異なトークンも暗黙的に好んでいるためである。 部分集合の多様性をよく解決するが、この有用なトークン的な選好は失われ、多様性と特異性が生の幾何学に絡み合っていることが明らかになった。 そこで本研究では,コサイン類似度を中心とした部分集合の多様性を測り,原空間の特異性を相補的なトークン指向の選好として保持する。 この軽量でプラグアンドプレイの補正は、基礎となる選択機構をそのままにして、無視できる計算オーバーヘッドを発生させる。 複数の画像およびビデオに基づくベンチマークとLVLMアーキテクチャにわたる大規模な実験は、Cen-Pruneが既存のダイバーシティベースのプルーナー全体のパフォーマンスを堅牢に改善することを示した。

関連論文リスト

• ECOKV: Geometry-Aware KV Cache Eviction via Complementary Diversity Metrics [15.835203260282746]
  マルチモーダル大規模言語モデル(MLLM)は様々なタスクに優れていますが、そのスケーラビリティはKVキャッシュストレージのメモリと計算オーバーヘッドによって制限されています。 最近のKVキャッシュ消去アプローチでは、キーと値のペアを選択的に保持するために重要なメトリクスを持つコサイン類似性に基づく多様性指標が組み込まれている。 本稿では, ユークリッド距離とコサイン類似性を併用して, 相補的な視点からトークンの多様性を捉えた幾何学的複合計量を提案する。
  論文  参考訳（メタデータ） (2026-09-06T15:13:48Z)
• Moving Beyond Diversity: Visual Token Pruning as Subspace Reconstruction for Efficient VLMs [7.371189496638082]
  本稿では,カラムサブセット選択問題としてトークンプルーニングを再構成する部分空間再構成手法であるSPAREを紹介する。 SPAREはタスクに強い利得を伴い、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2026-06-17T04:45:10Z)
• MaskAlign: Token-Subset Representation Alignment for Efficient Diffusion Training [53.777757218665386]
  MaskAlignは、トレーニング中にランダムにサンプリングされたトークンサブセットにアライメントを適用するトークン-サブセット表現アライメント手法である。 我々は、MaskAlignが完全なトークン集合への配向の依存を減らし、トークン-サブセット摂動下でより安定な配向挙動を促進することを示す。
  論文  参考訳（メタデータ） (2026-06-07T19:11:22Z)
• Exploiting Discriminative Codebook Prior for Autoregressive Image Generation [54.14166700058777]
  トークンベースの自己回帰画像生成システムは、まずトークンインデックスのシーケンスをコードブックでトークン化し、次にこれらのシーケンスを自己回帰パラダイムでモデル化する。 自己回帰生成モデルはインデックス値のみに基づいて訓練されるが、豊富なトークン類似性情報を含むコードブックにエンコードされた前者は利用されない。 近年の研究では、トークン上に単純なk平均クラスタリングを行い、コードブックを減らした生成モデルのトレーニングを容易にすることで、これを先に組み込もうとしている。 k-meansの代替として、差別的コードブック先駆者(DCPE)を提案する。
  論文  参考訳（メタデータ） (2025-08-14T15:00:00Z)
• Training-Free Tokenizer Transplantation via Orthogonal Matching Pursuit [45.18582668677648]
  大規模言語モデルにおいて,トークン化剤を移植するためのトレーニング不要な手法を提案する。 それぞれの語彙外トークンを,共有トークンの疎線形結合として近似する。 我々は,OMPがベースモデルの性能を最良にゼロショット保存できることを示す。
  論文  参考訳（メタデータ） (2025-06-07T00:51:27Z)
• Multi-Cue Adaptive Visual Token Pruning for Large Vision-Language Models [85.51753014478315]
  本稿では,新しいプラグ・アンド・プレイ・トレーニングフリープルーニング手法であるAdaptPruneを紹介する。 空間距離とトークン類似性を適応的NMSアプローチと組み合わせることで、従来の注意に基づくプルーニングに基づいている。 当社のアプローチはトークンの重要性を総合的に評価することを保証するとともに,プルーニング決定を大幅に改善する。
  論文  参考訳（メタデータ） (2025-03-11T03:58:17Z)
• Unified Semantic and ID Representation Learning for Deep Recommenders [28.709935854073535]
  統一意味・ID表現学習フレームワークを提案する。 我々のフレームワークでは、IDトークンはユニークなアイテム属性をキャプチャし、セマンティックトークンは共有可能な、転送可能な特性を表す。 本フレームワークは,先行層におけるコサイン類似性と最終層におけるユークリッド距離を統合し,表現学習を最適化する。
  論文  参考訳（メタデータ） (2025-02-23T07:17:28Z)
• The Double-Ellipsoid Geometry of CLIP [4.013156524547072]
  対照的に、CLIP(Contrastive Language- Image Pre-Training)は機械学習アプリケーションにおいて非常に有効である。 テキストと画像は, 原点中心ではなく, 線形分離可能な楕円体殻上に存在することを示す。 インスタンスの任意の他のインスタンスに対する平均コサイン類似度を測定する、新しい整合性の概念が導入された。
  論文  参考訳（メタデータ） (2024-11-21T16:27:22Z)
• Token Fusion: Bridging the Gap between Token Pruning and Token Merging [71.84591084401458]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。 計算オーバーヘッドは、主に自己アテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイが困難になる。 トークンプルーニングとトークンマージの両方のメリットを両立させる手法であるToken Fusion(ToFu)を紹介する。
  論文  参考訳（メタデータ） (2023-12-02T04:29:19Z)
• Equivariant Similarity for Vision-Language Foundation Models [134.77524524140168]
  本研究は、主要な訓練目的だけでなく、下流タスクをサポートするためのコアデリバリであるマルチモーダル類似性関数に焦点を当てる。 一致した2組のトレーニングペアから効率よく計算できる正規化損失であるEqSimを提案する。 既存の評価セットと比較すると、EqBenは"視覚的最小限の変化"に最初に焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-25T13:22:56Z)
• Deep Diversity-Enhanced Feature Representation of Hyperspectral Images [87.47202258194719]
  トポロジを改良して3次元畳み込みを補正し,上行階の高次化を図る。 また、要素間の独立性を最大化するために特徴マップに作用する新しい多様性対応正規化(DA-Reg)項を提案する。 提案したRe$3$-ConvSetとDA-Regの優位性を実証するために,様々なHS画像処理および解析タスクに適用する。
  論文  参考訳（メタデータ） (2023-01-15T16:19:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。