論文の概要: Attend, Transform, or Silence: Operator-Level Visual Skipping for Efficient Multimodal LLM Inference
- arxiv url: http://arxiv.org/abs/2606.31903v1
- Date: Tue, 30 Jun 2026 16:08:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.310493
- Title: Attend, Transform, or Silence: Operator-Level Visual Skipping for Efficient Multimodal LLM Inference
- Title（参考訳）: マルチモーダルLLM推論のための演算子レベルビジュアルスキッピング
- Abstract要約: 本研究は,解答可視的視点から視覚情報について検討し,解答可視的表現にはほとんど影響を与えず,後期視覚情報更新は大きいままであることを示す。
本稿では,余分な注意,FFN,あるいはその両方を選択的に回避しながら,完全な視覚情報シーケンスを保存する演算子レベルの視覚情報スキッピングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 13.079143204091705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal large language models (MLLMs) increasingly process long visual-token sequences, increasing the overall inference computation. Existing acceleration methods usually remove visual tokens or skip visual-token updates in entire layers, but these coarse strategies may discard fine-grained evidence or suppress useful operators together with redundant ones. In this paper, we study visual-token computation from an answer-observable perspective and find that late visual-token updates can remain large while having little effect on answer-token representations. Motivated by this answer-silent redundancy, we decompose each Transformer layer into attention and FFN operators and show that useful visual computation is often operator-dominant and layer-dependent. We propose an operator-level visual-token skipping framework that preserves the full visual-token sequence while selectively bypassing redundant attention, FFN, or both. Experiments across three MLLM architectures and 10 VQA benchmarks show that our method achieves strong efficiency-accuracy trade-offs, reducing \textbf{33.7\%} TFLOPs on Qwen3-VL while retaining \textbf{99.5\%} of the vanilla model performance.
- Abstract（参考訳）: マルチモーダルな大規模言語モデル(MLLM)は、より長い視覚的なシーケンスを処理し、全体的な推論計算を増加させる。
既存のアクセラレーションメソッドは、通常、視覚トークンを除去したり、レイヤ全体のビジュアルトークン更新をスキップするが、これらの粗い戦略はきめ細かい証拠を捨てたり、冗長なものと共に有用な演算子を抑圧する。
本稿では,解答可視的な視点から視覚情報処理について検討し,解答可視表現にはほとんど影響を与えず,後期視覚情報更新は大きいままであることを示す。
この応答のサイレントな冗長性によって、各トランスフォーマー層を注意とFFN演算子に分解し、有用なビジュアル計算が演算子に支配的かつ層依存的であることを示す。
本稿では,余分な注意,FFN,あるいはその両方を選択的に回避しながら,完全な視覚情報シーケンスを保存する演算子レベルの視覚情報スキッピングフレームワークを提案する。
3つのMLLMアーキテクチャと10のVQAベンチマークによる実験により,本手法は高い効率・精度のトレードオフを実現し,Qwen3-VL上でのTFLOPを削減し,バニラモデル性能の‘textbf{99.5\%’を維持した。
関連論文リスト
- Stage-adaptive Token Selection for Efficient Omni-modal LLMs [17.161087166882744]
om-LLMの層単位でのトークン依存性を解析する。
効率的なom-LLM推論のための訓練不要な段階適応トークン選択法を提案する。
論文 参考訳（メタデータ） (2026-05-19T15:55:16Z) - ReVision: Scaling Computer-Use Agents via Temporal Visual Redundancy Reduction [46.69118032596015]
ReVisionは、冗長な視覚的パッチを削除するトラジェクトリ上で、マルチモーダル言語モデルをトレーニングするために使用される。
ReVisionはトークン使用率を平均で46%削減し,無ドロップベースラインでの成功率を3%向上することを示した。
このことは、視覚史において一般的に見られる飽和は、過去の情報の有用性の制限によるものではなく、むしろ非効率なトークン表現の結果によるものであることを示唆している。
論文 参考訳（メタデータ） (2026-05-11T20:27:54Z) - Parallel Vision Token Scheduling for Fast and Accurate Multimodal LMMs Inference [68.4758228017823]
ParVTSは、ビジュアルトークンを被写体および非オブジェクトグループに分割し、それらを並列に処理し、それらのセマンティクスを疑問トークンに転送し、非オブジェクトパスミッド推論を破棄する。
実験の結果、ParVTSは最大88.9%の視覚トークンを出力し、最小性能が低下し、1.77倍のスピードアップと70%のFLOPが削減された。
論文 参考訳（メタデータ） (2025-11-24T08:29:36Z) - Don't Just Chase "Highlighted Tokens" in MLLMs: Revisiting Visual Holistic Context Retention [50.97683288777336]
MLLM(Multimodal Large Language Models)は、巨大な視覚トークンに依存するため、計算オーバーヘッドがかなり大きい。
近年の研究では、この問題を緩和するためにトークンプルーニングが検討されている。
本稿では,効率的な推論のためのビジュアルトークン・プルーニング・フレームワークであるHoloVを提案する。
論文 参考訳（メタデータ） (2025-10-03T11:33:40Z) - Variation-aware Vision Token Dropping for Faster Large Vision-Language Models [24.952668143243542]
大規模視覚言語モデル(LVLM)はマルチモーダル理解タスクにおいて顕著な機能を示した。
トーケン圧縮は、処理されるトークンの数を減らすことにより、計算効率を向上させることにより、直接的な解を提供する。
我々は,LVLM推論中に最小限の変動を伴う視覚トークンを段階的に除去する,変分認識型視覚トークンドロップ(textiti.e., textbfV$2$Drop)を提案する。
論文 参考訳（メタデータ） (2025-09-01T15:28:44Z) - VFlowOpt: A Token Pruning Framework for LMMs with Visual Information Flow-Guided Optimization [70.98122339799218]
LMM(Large Multimodal Models)は、多数の視覚トークンを微粒な視覚情報に活用することにより、視覚言語タスクに優れる。
推論中の視覚トークンを減らすことを目的とした以前の研究は、一般的に、視覚のみのトークンや視覚言語トークンの注意スコアから得られた重要マップを利用して、1つまたは複数のプルーニング段階にわたってトークンをプルーンする。
重要地図導出プロセスとリサイクル機構を備えたプログレッシブプルーニングモジュールを導入したトークンプルーニングフレームワークであるVFlowOptを提案する。
実験により、VFlowOptは、同等のパフォーマンスを維持しながら、90%のビジュアルトークンをプルークでき、KVキャッシュメモリが89%削減され、3.8になった。
論文 参考訳（メタデータ） (2025-08-07T09:47:21Z) - VisionThink: Smart and Efficient Vision Language Model via Reinforcement Learning [95.89543460132413]
視覚言語モデル(VLM)は、視覚トークンの数を増やすことで性能を改善した。
しかし、現実世界のシナリオの多くは、このような膨大な数の視覚トークンを必要としない。
視覚的トークン圧縮(VisionThink)のための新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2025-07-17T17:59:55Z) - Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
視覚言語モデル(LVLM)は、視覚入力をパッチレベルのトークンの密度の高いシーケンスとしてエンコードし、微細なセマンティクスをキャプチャする。
これまでは、大型言語モデル(LLM)の前か中のいずれかで、視覚トークンの削減を検討してきた。
トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。
論文 参考訳（メタデータ） (2025-06-27T14:55:40Z) - Generic Token Compression in Multimodal Large Language Models from an Explainability Perspective [6.258220461022373]
既存のMultimodal Large Language Models (MLLM) は多数の視覚トークンを処理し、計算コストと非効率性をもたらす。
トークン圧縮はLLMの入力段階では不可能な性能損失で実現可能であることを示す。
本稿では,第1のLCMレイヤのアテンションマップから説明結果へのマッピングを学習し,完全な推論パスの必要性を回避することを提案する。
論文 参考訳（メタデータ） (2025-06-01T17:44:16Z) - ST$^3$: Accelerating Multimodal Large Language Model by Spatial-Temporal Visual Token Trimming [14.937905258757635]
$textbfST3$は、再トレーニングせずにMLLM推論を高速化するように設計されたフレームワークである。
$textbfST3$は、既存のトレーニング済みMLLMにシームレスに統合できる。
論文 参考訳（メタデータ） (2024-12-28T10:17:29Z) - Accelerating Multimodal Large Language Models via Dynamic Visual-Token Exit and the Empirical Findings [66.04061083611863]
既存のMultimoal Large Language Models (MLLM) における視覚トークンの過剰使用は、しばしば明らかな冗長性を示し、非常に高価な計算をもたらす。
DyVTE(Dynamic visual-token exit)と呼ばれるMLLMの効率を改善するための簡易かつ効果的な手法を提案する。
DyVTEは軽量なハイパーネットワークを使用して、テキストトークンの状態を認識し、特定のレイヤの後にすべてのビジュアルトークンを削除する。
論文 参考訳（メタデータ） (2024-11-29T11:24:23Z) - PAR: Prompt-Aware Token Reduction Method for Efficient Large Multimodal Models [32.33892531885448]
MLLM(Multimodal large language model)は、視覚的タスクにまたがる強力なパフォーマンスを示す。
しかし、それらの効率は、マルチモーダル入力で長いコンテキストを処理することによる計算とメモリの要求によって妨げられている。
PAR(Prompt-Aware Token Reduction)は,モデルの性能を損なうことなく,視覚トークンを効率よく削減する新しい,プラグアンドプレイ方式である。
論文 参考訳（メタデータ） (2024-10-09T07:13:22Z) - VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。
提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
論文 参考訳（メタデータ） (2024-08-29T17:21:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。