論文の概要: Layer-Aware Position Embeddings for Visual Token Pruning in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2609.23715v1
• Date: Sun, 20 Sep 2026 15:46:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.945285
• Title: Layer-Aware Position Embeddings for Visual Token Pruning in Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルにおける視覚的トーケンプルーニングのための層認識位置埋め込み
• Abstract要約: トークンプルーニングはMLLMの推論コストを削減するための有望なアプローチとして登場した。 既存の方法は、通常、スパースまたは連続的な位置埋め込みを使用して、保持されたトークンに位置埋め込みを再割り当てする。 本研究では, 接地感性層において, 連続的な位置埋め込みを維持しつつ, 平滑な位置埋め込みに切り替える層認識型位置埋め込み戦略を提案する。
• 参考スコア（独自算出の注目度）: 35.80954367040369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) incur substantial computational overhead due to the reliance on hundreds of visual tokens to represent images. While token pruning has emerged as a promising approach to reduce the inference cost of MLLMs, existing methods typically reassign position embeddings to the retained tokens using either sparse or continuous position embeddings, each introducing distinct limitations. Sparse position embeddings tend to decrease the attention value allocated to visual tokens, thereby degrading the perception capability of MLLMs, whereas continuous position embeddings disrupt the original spatial correspondence of visual tokens, leading to weakened grounding capability. To mitigate this issue, we perform layer-wise analysis of the language decoder and observe that intermediate layers play a critical role for maintaining the grounding capability of MLLMs under token pruning. Based on this observation, we propose a layer-aware position embedding strategy, which switches to sparse position embeddings at grounding-sensitive layers while maintaining continuous position embeddings elsewhere. Extensive experiments across representative pruning methods and diverse benchmarks demonstrate that our approach improves the comprehensive multimodal performance of pruned MLLMs compared with standard sparse and continuous position embeddings.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、画像を表すために数百の視覚トークンに依存するため、かなりの計算オーバーヘッドを発生させる。 トークンプルーニングはMLLMの推論コストを削減するための有望なアプローチとして現れてきたが、既存の手法は、通常、スパースまたは連続的な位置埋め込みを使用して保持トークンに位置埋め込みを再割り当てし、それぞれ異なる制限を課している。 疎位置埋め込みは、視覚トークンに割り当てられた注意値を減少させ、MLLMの知覚能力を低下させる傾向があり、一方、連続位置埋め込みは、視覚トークンの本来の空間対応を阻害し、接地能力が低下する。 この問題を軽減するため,言語デコーダの層解析を行い,中間層がトークンプルーニングの下でMLLMの基底能力を維持する上で重要な役割を担っていることを観察する。 そこで本研究では, 接地感応性層において, 連続的な位置埋め込みを維持しつつ, 接地感応性層における疎い位置埋め込みに切り替える, 層認識型位置埋め込み戦略を提案する。 代表プルーニング法と多種多様なベンチマークによる広範囲な実験により,本手法は標準的なスパース法や連続的な位置埋め込み法と比較して,プルーニングMLLMの総合的マルチモーダル性能を向上させることが示された。

関連論文リスト

• Topology-Aware Layer Pruning for Large Vision-Language Models [21.06771347736129]
  LVLM(Large Vision-Language Models)は、計算とメモリのコストを大幅に削減する。 既存のレイヤプルーニングメソッドは、通常、ローカルな類似度メトリクスや静的プロキシ信号に依存する。 LVLMのためのトポロジ対応層プルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-14T14:36:53Z)
• From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs [50.185593677108436]
  マルチモーダル大言語モデル(MLLM)は、ピクセルレベルの視覚タスクにますます適用されているが、空間的理解の本質的な能力は理解されていない。 本稿では,MLLMパイプライン全体(ビジョンエンコーダ,アダプタ,LSM)の階層的線形探索によるセグメント化能力について検討する。
  論文  参考訳（メタデータ） (2026-03-18T00:22:15Z)
• Multimodal Continual Learning with MLLMs from Multi-scenario Perspectives [61.64550292163646]
  視覚理解における連続学習は,多モーダル大言語モデル(MLLM)における破滅的忘れに対処することを目的としている 我々は、4つの異なるシナリオと視点を含むマルチモーダル視覚理解データセット(MSVQA)を構築した。 MLLMを用いたmUltimodal coNtInual Learningを提案する。
  論文  参考訳（メタデータ） (2025-11-23T15:47:49Z)
• Positional Preservation Embedding for Multimodal Large Language Models [20.307929204794917]
  マルチモーダル言語モデル(LMLM)は視覚言語タスクにおいて高い性能を達成しているが、冗長な視覚トークンによってしばしば非効率に悩まされている。 本研究では,トークン圧縮時の空間保存構造を新規に符号化する手法を提案する。 PPEは、プログレッシブトークン圧縮戦略であるクラスタリングを効果的にサポートし、パフォーマンスの維持を向上できることを示す。
  論文  参考訳（メタデータ） (2025-10-27T02:40:02Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• Spatial-Aware Efficient Projector for MLLMs via Multi-Layer Feature Aggregation [10.468784974994465]
  マルチモーダル言語モデル(MLLM)におけるプロジェクタの役割 プロジェクタに関する現在の調査では、効率を改善するために視覚トークンの数を減らすことに重点を置いている。 この問題に対処するために空間認識効率プロジェクタ(SAEP)を提案する。
  論文  参考訳（メタデータ） (2024-10-14T09:25:09Z)
• Boosting Multimodal Large Language Models with Visual Tokens Withdrawal for Rapid Inference [59.91176945361035]
  高速推論のためにMLLMを高速化するプラグイン・アンド・プレイモジュールであるVisual Tokens Withdrawal (VTW)を紹介した。 VTWは、あるレイヤで視覚トークンを戦略的に取り除き、テキストトークンだけがその後のレイヤに関与できるようにする。 提案手法は,マルチモーダルタスクにおいて,性能を維持しながら計算オーバーヘッドを40%以上削減できる。
  論文  参考訳（メタデータ） (2024-05-09T14:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。