論文の概要: Dynamic Token Reduction during Generation for Vision Language Models

• arxiv url: http://arxiv.org/abs/2501.14204v1
• Date: Fri, 24 Jan 2025 03:20:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:58:10.427219
• Title: Dynamic Token Reduction during Generation for Vision Language Models
• Title（参考訳）: 視覚言語モデルにおける生成時の動的トークン削減
• Authors: Xiaoyu Liang, Chaofeng Guan, Jiaying Lu, Huiyao Chen, Huan Wang, Haoji Hu,
• Abstract要約: 視覚言語モデル(VLM)に適した動的プルーニング戦略を導入する。 提案手法は,注意分布に基づく刈り取り率の柔軟な調整を可能にする。 実験結果から,本手法は計算要求を低減させるだけでなく,応答の質も維持することが示された。
• 参考スコア（独自算出の注目度）: 11.376359442815986
• License:
• Abstract: Vision-Language Models (VLMs) have achieved notable success in multimodal tasks but face practical limitations due to the quadratic complexity of decoder attention mechanisms and autoregressive generation. Existing methods like FASTV and VTW have achieved notable results in reducing redundant visual tokens, but these approaches focus on pruning tokens in a single forward pass without systematically analyzing the redundancy of visual tokens throughout the entire generation process. In this paper, we introduce a dynamic pruning strategy tailored for VLMs, namedDynamic Rate (DyRate), which progressively adjusts the compression rate during generation. Our analysis of the distribution of attention reveals that the importance of visual tokens decreases throughout the generation process, inspiring us to adopt a more aggressive compression rate. By integrating a lightweight predictor based on attention distribution, our approach enables flexible adjustment of pruning rates based on the attention distribution. Our experimental results demonstrate that our method not only reduces computational demands but also maintains the quality of responses.
• Abstract（参考訳）: VLM(Vision-Language Models)は、マルチモーダルタスクにおいて顕著な成功を収めてきたが、デコーダの注意機構と自己回帰生成の二次的複雑さのために現実的な制限に直面している。 FASTVやVTWのような既存の手法は、冗長な視覚トークンを減らすことで顕著な成果を上げているが、これらのアプローチは、生成プロセス全体を通して視覚トークンの冗長性を体系的に分析することなく、単一の前方パスでトークンをプルーニングすることに焦点を当てている。 本稿では,VLMに適した動的プルーニング戦略であるDynamic Rate(DyRate)を紹介し,生成時の圧縮速度を段階的に調整する。 注意の分布を解析した結果、生成過程を通じて視覚トークンの重要性が低下し、より攻撃的な圧縮率を採用することが示唆された。 注意分布に基づく軽量な予測器を統合することにより,注意分布に基づくプルーニング率の柔軟な調整が可能となる。 実験結果から,本手法は計算要求を低減させるだけでなく,応答の質も維持することが示された。

関連論文リスト

• MINT: Mitigating Hallucinations in Large Vision-Language Models via Token Reduction [6.416957959150438]
  幻覚は、高い信頼性を必要とする領域におけるLVLM(Large Vision-Language Models)の適用を妨げる。 tokeN再帰による幻覚を緩和する訓練不要な復号法であるMINTを提案する。 提案手法は,従来のモデルに比べて知覚障害による幻覚の緩和効果が4%向上する。
  論文  参考訳（メタデータ） (2025-02-02T08:34:57Z)
• CAT Pruning: Cluster-Aware Token Pruning For Text-to-Image Diffusion Models [5.406829638216823]
  拡散モデルは、特にテキスト対画像合成の領域において、生成タスクに革命をもたらした。 しかし、反復的なデノゲーションプロセスは、かなりの計算資源を必要とする。 本稿では、トークンレベルのプルーニングとキャッシュ技術を統合して、この計算課題に対処する新しい加速戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-01T13:46:02Z)
• AdaFV: Rethinking of Visual-Language alignment for VLM acceleration [7.9213473377478865]
  偏りのあるVLMの自己アテンションに応じて視覚トークンを減らすいくつかのアプローチは、不正確な応答をもたらす。 本稿では,視覚的満足度とテキスト・ツー・イメージの類似性の有効性を動的に活用する,自己適応型クロスモーダリティ・アテンション・ミックス機構を提案する。 提案手法は,特に縮小速度が十分に大きい場合,最先端のトレーニング不要なVLM加速性能を実現する。
  論文  参考訳（メタデータ） (2025-01-16T13:34:33Z)
• VRVVC: Variable-Rate NeRF-Based Volumetric Video Compression [59.14355576912495]
  NeRFベースのビデオは、FVV(Photorealistic Free-Viewpoint Video)体験を提供することによって、ビジュアルメディアに革命をもたらした。 大量のデータボリュームは、ストレージと送信に重大な課題をもたらす。 ビデオ圧縮のための新しいエンドツーエンドの可変レートフレームワークであるVRVVCを提案する。
  論文  参考訳（メタデータ） (2024-12-16T01:28:04Z)
• VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
  我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。 提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
  論文  参考訳（メタデータ） (2024-08-29T17:21:58Z)
• Efficient Diffusion Transformer with Step-wise Dynamic Attention Mediators [83.48423407316713]
  本稿では,クエリとキーを別々に扱うために,追加の仲介者トークンを組み込んだ新しい拡散トランスフォーマーフレームワークを提案する。 本モデルでは, 正確な非曖昧な段階を呈し, 詳細に富んだ段階へと徐々に遷移する。 本手法は,最近のSiTと統合した場合に,最先端のFIDスコア2.01を達成する。
  論文  参考訳（メタデータ） (2024-08-11T07:01:39Z)
• Efficient Large Multi-modal Models via Visual Context Compression [23.966237939194514]
  本稿では,視覚トークンに関する冗長性の解析と,大規模言語モデルにおける効率的な訓練について述べる。 最初の実験では、単に平均プーリングによってテスト段階で最大70%の視覚トークンを除去することは、視覚的質問応答精度の最小3%の低下にしか至らないことが示された。 GQAベンチマークにビジュアルコンテキストを導入し、視覚トークンの数を減らし、性能を犠牲にすることなくトレーニングと推論効率を向上させる。
  論文  参考訳（メタデータ） (2024-06-28T17:57:14Z)
• Accelerating Vision Transformers Based on Heterogeneous Attention Patterns [89.86293867174324]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの分野で多くの注目を集めている。 層間における異種注意パターンの観測に基づく統合圧縮パイプラインを提案する。 実験的に、DGSSAとGLADの統合圧縮パイプラインは、最大121%のランタイムスループットを加速することができる。
  論文  参考訳（メタデータ） (2023-10-11T17:09:19Z)
• SmartTrim: Adaptive Tokens and Attention Pruning for Efficient Vision-Language Models [35.5601603013045]
  視覚言語モデル(VLM)のための適応加速度フレームワークであるSmartTrimを提案する。 軽量なモジュールを元のバックボーンに統合し、各レイヤ内で冗長なトークン表現とアテンションヘッドを特定し、実行します。 我々は,プレナードモデルの予測と完全容量との整合性を高めるための自己蒸留戦略を考案した。
  論文  参考訳（メタデータ） (2023-05-24T11:18:00Z)
• Perceiver-VL: Efficient Vision-and-Language Modeling with Iterative Latent Attention [100.81495948184649]
  本稿では,長いビデオやテキストなどの高次元マルチモーダル入力を効率的に処理する視覚・言語フレームワークPerceiver-VLを提案する。 我々のフレームワークは、多くの最先端のトランスフォーマーベースモデルで使用される自己注意の二次的な複雑さとは対照的に、線形複雑性でスケールする。
  論文  参考訳（メタデータ） (2022-11-21T18:22:39Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。