論文の概要: FastAV: Efficient Token Pruning for Audio-Visual Large Language Model Inference
- arxiv url: http://arxiv.org/abs/2601.13143v1
- Date: Mon, 19 Jan 2026 15:24:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:22.951486
- Title: FastAV: Efficient Token Pruning for Audio-Visual Large Language Model Inference
- Title（参考訳）: FastAV: オーディオビジュアル大言語モデル推論のための効率的なトーケンプルーニング
- Authors: Chaeyoung Jung, Youngjoon Jang, Seungwoo Lee, Joon Son Chung,
- Abstract要約: トークンプルーニングは、標準大言語モデル(LLM)と視覚言語モデル(LVLM)で活発に研究されている。
我々は、オーディオ視覚大言語モデル(AV-LLM)に適した最初のトークンプルーニングフレームワークであるFastAVを紹介する。
- 参考スコア（独自算出の注目度）: 36.52166605489807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we present FastAV, the first token pruning framework tailored for audio-visual large language models (AV-LLMs). While token pruning has been actively explored in standard large language models (LLMs) and vision-language models (LVLMs), its application to AV-LLMs has received little attention, even though multimodal integration substantially increases their token demands. To address this gap, we introduce a pruning strategy that utilizes attention weights to identify tokens emphasized at different stages and estimates their importance. Building on this analysis, FastAV applies a two-stage pruning strategy: (1) global pruning in intermediate layers to remove broadly less influential tokens, and (2) fine pruning in later layers considering the impact on next token generation. Notably, our method does not rely on full attention maps, which makes it fully compatible with efficient attention mechanisms such as FlashAttention. Extensive experiments demonstrate that FastAV reduces FLOPs by more than 40% on two representative AV-LLMs, while preserving or even improving model performance.
- Abstract（参考訳）: 本稿では,音声-視覚的大言語モデル(AV-LLM)に適した最初のトークンプルーニングフレームワークであるFastAVを紹介する。
標準的な大規模言語モデル (LLMs) や視覚言語モデル (LVLMs) ではトークンプルーニングが盛んに行われているが、マルチモーダル統合はトークン要求を大幅に増加させるが、AV-LLMsへの応用はほとんど注目されていない。
このギャップに対処するために、注意重みを利用したプルーニング戦略を導入し、異なる段階で強調されたトークンを特定し、それらの重要性を推定する。
この分析に基づいてFastAVは、2段階のプルーニング戦略を適用している。(1) 中間層におけるグローバルプルーニングにより、広く影響の少ないトークンを除去し、(2) 次のトークン生成への影響を考慮した後層でのファインプルーニングである。
特に,本手法はフルアテンションマップに依存しないため,FlashAttentionなどの効率的なアテンション機構と完全に互換性がある。
大規模な実験により、FastAVは2つの代表的なAV-LLMにおいてFLOPを40%以上削減し、モデル性能を維持または改善することを示した。
関連論文リスト
- From Narrow to Panoramic Vision: Attention-Guided Cold-Start Reshapes Multimodal Reasoning [72.4876727619987]
推論性能は視覚注意スコア(VAS)と強く相関していることがわかった。
その因果的役割を検証するため、推論中の注意配分を直接調整する訓練不要な介入を設計する。
本研究では、視覚的アンコールデータ合成、注意誘導目的、視覚的アンコール報酬形成を統合した総合的なコールドスタートフレームワークである注意誘導視覚アンコールとリフレクションを提案する。
論文 参考訳（メタデータ） (2026-03-04T08:22:27Z) - IDPruner: Harmonizing Importance and Diversity in Visual Token Pruning for MLLMs [11.254129271889035]
視覚トークンのプルーニングはMLLM推論を加速させる重要な手法として登場した。
IDPrunerは最先端のパフォーマンスを実現し、様々なアーキテクチャやタスクにまたがる優れた一般化を実現している。
論文 参考訳（メタデータ） (2026-02-10T11:20:24Z) - Efficient Token Pruning for LLaDA-V [5.790228283932133]
LLaDA-Vのような拡散に基づく大規模マルチモーダルモデルは、視覚言語理解と生成において印象的な能力を示した。
我々は,自己回帰デコーダと異なり,LLaDA-Vは主に中間層から後期層に横断的な情報を集約する。
この観測により,我々はFastVに触発された構造化トークンプルーニング戦略を提案する。
論文 参考訳（メタデータ） (2026-01-28T02:03:03Z) - FastMMoE: Accelerating Multimodal Large Language Models through Dynamic Expert Activation and Routing-Aware Token Pruning [16.753299634529736]
マルチモーダル・大規模言語モデル (MLLM) は優れた性能を達成しているが、高解像度の視覚入力は視覚トークンの長いシーケンスと相当な推論遅延をもたらす。
冗長なビジュアルトークンの削減は、パフォーマンスを維持しながら計算/メモリの負担を軽減するために重要であり、リソース制約やレイテンシに敏感なシナリオでのMLLMデプロイメントを可能にする。
本稿では,Fast Multimodal Mixture-of-Experts (FastMMoE)を提案する。
論文 参考訳（メタデータ） (2025-11-22T02:25:00Z) - Don't Just Chase "Highlighted Tokens" in MLLMs: Revisiting Visual Holistic Context Retention [50.97683288777336]
MLLM(Multimodal Large Language Models)は、巨大な視覚トークンに依存するため、計算オーバーヘッドがかなり大きい。
近年の研究では、この問題を緩和するためにトークンプルーニングが検討されている。
本稿では,効率的な推論のためのビジュアルトークン・プルーニング・フレームワークであるHoloVを提案する。
論文 参考訳（メタデータ） (2025-10-03T11:33:40Z) - VScan: Rethinking Visual Token Reduction for Efficient Large Vision-Language Models [57.2662376527586]
VScanは2段階のビジュアルトークン削減フレームワークである。
1)グローバルスキャンとローカルスキャンを視覚的エンコーディング中にマージすることで,(2)言語モデルの中間層にプルーニングを導入する。
VScanはプリフィルの2.91$times$スピードアップとFLOPの10$times$ダウンを実現し、オリジナルのパフォーマンスの95.4%を維持した。
論文 参考訳（メタデータ） (2025-05-28T17:59:08Z) - Think Twice, Act Once: Token-Aware Compression and Action Reuse for Efficient Inference in Vision-Language-Action Models [30.7855782696894]
VLA(Vision-Language-Action)モデルは、自然言語による汎用ロボット制御の強力なパラダイムとして登場した。
VLAモデルにおけるアクション再利用を可能にする最初のトレーニングフリーかつプラグアンドプレイアクセラレーションフレームワークであるFlashVLAを提案する。
論文 参考訳（メタデータ） (2025-05-27T13:47:18Z) - iLLaVA: An Image is Worth Fewer Than 1/3 Input Tokens in Large Multimodal Models [24.0346607116299]
iLLaVAは、現在のLVLM(Large Vision-Language Models)にシームレスにデプロイできるシンプルな方法である。
iLLaVAは、冗長トークンを正確で高速なアルゴリズムで発見し、徐々にマージすることでこれを達成している。
単一イメージ、マルチイメージ、ビデオを含むさまざまな領域にわたるタスクにおいて、iLLaVAは一貫して有望な効率で強力な一般化性を示す。
論文 参考訳（メタデータ） (2024-12-09T07:22:19Z) - A Stitch in Time Saves Nine: Small VLM is a Precise Guidance for Accelerating Large VLMs [65.00970402080351]
大規模視覚言語モデル(VLM)を加速するための有望なアプローチは、特定のレイヤからの注意マップのような部分的な情報を使用してトークンの重要性を評価し、重要度を低く抑えることである。
i) 重要な視覚的トークンを正確に識別するには,部分的注意情報は不十分であり,特に低トークン保持率において,最適なパフォーマンスをもたらす。 (ii) 全層に集約された注目マップのようなグローバルな注意情報は,より効果的に重要なトークンを保存し,攻撃的プルーニングの下で同等のパフォーマンスを維持する。 (iii) 小さなVLMから集約されたグローバルな注意マップは,大きなVLMとよく似ている。
論文 参考訳（メタデータ） (2024-12-04T13:56:44Z) - Efficient Streaming Language Models with Attention Sinks [72.20260088848987]
StreamingLLMは、大規模言語モデルが微調整なしで無限のシーケンス長に一般化できる効率的なフレームワークである。
StreamingLLMはLlama-2, MPT, Falcon, Pythiaを最大400万のトークンで安定かつ効率的な言語モデリングを実現できることを示す。
論文 参考訳（メタデータ） (2023-09-29T17:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。