論文の概要: Efficient Inference of Vision Instruction-Following Models with Elastic Cache

• arxiv url: http://arxiv.org/abs/2407.18121v1
• Date: Thu, 25 Jul 2024 15:29:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 13:39:06.758557
• Title: Efficient Inference of Vision Instruction-Following Models with Elastic Cache
• Title（参考訳）: 弾性キャッシュを用いた視覚指示追従モデルの効率的な推論
• Authors: Zuyan Liu, Benlin Liu, Jiahui Wang, Yuhao Dong, Guangyi Chen, Yongming Rao, Ranjay Krishna, Jiwen Lu,
• Abstract要約: 我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
• 参考スコア（独自算出の注目度）: 76.44955111634545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of instruction-following large vision-language models (LVLMs), the efficient deployment of these models faces challenges, notably due to the high memory demands of their key-value (KV) caches. Conventional cache management strategies for LLMs focus on cache eviction, which often fails to address the specific needs of multimodal instruction-following models. Recognizing this gap, in this paper, we introduce Elastic Cache, a novel approach that benefits from applying distinct acceleration methods for instruction encoding and output generation stages. We investigate the metrics of importance in different stages and propose an importance-driven cache merging strategy to prune redundancy caches. Instead of discarding less important caches, our strategy identifies important key/value vectors as anchor points. Surrounding less important caches are then merged with these anchors, enhancing the preservation of contextual information in the KV caches while yielding an arbitrary acceleration ratio. For instruction encoding, we utilize the frequency to evaluate the importance of caches. Regarding output generation, we prioritize tokens based on their distance with an offset, by which both the initial and most recent tokens are retained. Results on a range of LVLMs demonstrate that Elastic Cache not only boosts efficiency but also notably outperforms existing pruning methods in language generation across various tasks. Code is available at https://github.com/liuzuyan/ElasticCache
• Abstract（参考訳）: 命令追従型大規模視覚言語モデル(LVLM)の分野では、これらのモデルの効率的なデプロイは、特にキー値(KV)キャッシュの高メモリ要求のため、課題に直面している。 LLMの従来のキャッシュ管理戦略はキャッシュの排除に重点を置いており、マルチモーダル命令追従モデルの特定のニーズに対処できないことが多い。 本稿では、このギャップを認識して、命令エンコーディングと出力生成の段階に異なるアクセラレーション手法を適用することによる、新しいアプローチであるElastic Cacheを紹介する。 異なる段階における重要度の測定値について検討し、冗長性キャッシュを創出するための重要度駆動型キャッシュマージ戦略を提案する。 重要でないキャッシュを捨てるのではなく、重要なキー/値ベクトルをアンカーポイントとして識別する。 その後、あまり重要でないキャッシュをこれらのアンカーにマージし、任意の加速度比を確保しながら、KVキャッシュ内のコンテキスト情報の保存を強化する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 出力生成に関しては、初期トークンと最新のトークンの両方が保持されるオフセットで、その距離に基づいてトークンを優先順位付けする。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、様々なタスクにわたる言語生成における既存のプルーニングメソッドよりも優れていることを示している。 コードはhttps://github.com/liuzuyan/ElasticCacheで入手できる。

関連論文リスト

• PQCache: Product Quantization-based KVCache for Long Context LLM Inference [27.523568511043273]
  キーバリューキャッシュ(KVCache)は、大規模言語モデル(LLM)において重要なコンポーネントである 現在の手法では、この問題に対処するためにLLMにおける自己注意に適したキーと値を選択的に決定する。 本稿では,KVCacheの管理にPQ(Product Quantization)を採用しているPQCacheを提案する。
  論文  参考訳（メタデータ） (2024-07-01T13:05:42Z)
• Efficient LLM Inference with Kcache [3.945956673130761]
  大規模言語モデル(LLM)はAIアプリケーションに大きな影響を与えている。 KVキャッシュ技術は業界で最も広く使われている技術の一つである。 本稿では,LLM 推論プロセスにおけるメモリボトルネック問題を軽減するため,新しい KCache 手法を提案する。
  論文  参考訳（メタデータ） (2024-04-28T03:11:42Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)
• SubGen: Token Generation in Sublinear Time and Memory [48.35076900702408]
  大規模言語モデル(LLM)はトークン生成に広範なメモリ要件を持つ。 本研究では,KVキャッシュの効率的な圧縮手法の開発に焦点をあてる。 我々は,キートークンにオンラインクラスタリングを導入し,値に$ell$をサンプリングする,サブ線形複雑性を持つ新しいキャッシング手法を考案した。 このアルゴリズムは、サブリニアメモリフットプリントとサブリニアタイムの複雑さを保証するだけでなく、我々のアプローチに厳密なエラーを課す。
  論文  参考訳（メタデータ） (2024-02-08T22:17:40Z)
• A Learning-Based Caching Mechanism for Edge Content Delivery [2.412158290827225]
  5GネットワークとIoT(Internet of Things)の台頭により、ネットワークのエッジはますます拡大している。 このシフトは、特に限られたキャッシュストレージとエッジにおける多様な要求パターンのために、ユニークな課題をもたらす。 HR-Cacheは、ハザードレート(HR)順序付けの原則に基づく学習ベースのキャッシュフレームワークである。
  論文  参考訳（メタデータ） (2024-02-05T08:06:03Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [86.98304577162465]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)
• Reinforcement Learning for Caching with Space-Time Popularity Dynamics [61.55827760294755]
  キャッシングは次世代ネットワークにおいて重要な役割を果たすと想定されている。 コンテンツをインテリジェントにプリフェッチし、保存するためには、キャッシュノードは、何といつキャッシュするかを学ばなければならない。 本章では、近似キャッシングポリシー設計のための多目的強化学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-19T01:23:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。