論文の概要: LLaVA-Zip: Adaptive Visual Token Compression with Intrinsic Image Information

• arxiv url: http://arxiv.org/abs/2412.08771v1
• Date: Wed, 11 Dec 2024 20:46:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:34:41.324311
• Title: LLaVA-Zip: Adaptive Visual Token Compression with Intrinsic Image Information
• Title（参考訳）: LLaVA-Zip:固有画像情報を用いた適応型視覚トーケン圧縮
• Authors: Ke Wang, Hong Xuan,
• Abstract要約: LLaVA-1.5に基づく動的特徴マップ削減(DFMR)を提案し、視覚的トークンオーバーロードの課題に対処する。 DFMRは視覚トークンを動的に圧縮し、トークン容量を解放する。 実験の結果, DFMRをLLaVA-1.5に統合することで, 各種視覚トークン長におけるLLaVAの性能が著しく向上することが示された。
• 参考スコア（独自算出の注目度）: 4.33464415015353
• License:
• Abstract: Multi-modal large language models (MLLMs) utilizing instruction-following data, such as LLaVA, have achieved great progress in the industry. A major limitation in these models is that visual tokens consume a substantial portion of the maximum token limit in large language models (LLMs), leading to increased computational demands and decreased performance when prompts include multiple images or videos. Industry solutions often mitigate this issue by increasing computational power, but this approach is less feasible in academic environments with limited resources. In this study, we propose Dynamic Feature Map Reduction (DFMR) based on LLaVA-1.5 to address the challenge of visual token overload. DFMR dynamically compresses the visual tokens, freeing up token capacity. Our experimental results demonstrate that integrating DFMR into LLaVA-1.5 significantly improves the performance of LLaVA in varied visual token lengths, offering a promising solution for extending LLaVA to handle multi-image and video scenarios in resource-constrained academic environments and it can also be applied in industry settings for data augmentation to help mitigate the scarcity of open-domain image-text pair datasets in the continued pretraining stage.
• Abstract（参考訳）: LLaVAのような命令追従データを利用したマルチモーダル大規模言語モデル(MLLM)は、業界において大きな進歩を遂げている。 これらのモデルにおける大きな制限は、視覚トークンが大きな言語モデル(LLM)の最大トークン制限のかなりの部分を消費していることである。 産業ソリューションはしばしば計算能力の増大によってこの問題を軽減するが、限られた資源を持つ学術環境では、このアプローチは実現不可能である。 本研究では,LLaVA-1.5に基づく動的特徴マップ削減(DFMR)を提案する。 DFMRは視覚トークンを動的に圧縮し、トークン容量を解放する。 実験の結果, DFMRをLLaVA-1.5に統合することにより, LLaVAを資源制約のある学術環境におけるマルチイメージ・ビデオシナリオに拡張するための有望なソリューションとして, LLaVAの性能が大幅に向上することが示された。

関連論文リスト

• Visual RAG: Expanding MLLM visual knowledge without fine-tuning [5.341192792319891]
  本稿では、文脈から学習するMLLMの機能と検索機構を相乗的に組み合わせたVisual RAGを紹介する。 このようにして、得られたシステムは、トレーニングデータから抽出した知識に限らず、微調整なしで、迅速かつ容易に更新できる。 モデル画像分類性能を改善するための計算コストを大幅に削減し、トレーニングされていない新しい視覚領域やタスクにモデル知識を拡大する。
  論文  参考訳（メタデータ） (2025-01-18T17:43:05Z)
• FOLDER: Accelerating Multi-modal Large Language Models with Enhanced Performance [7.889590793589825]
  視覚トークン列の長さを削減するために設計された,シンプルで効果的なプラグアンドプレイモジュールであるFOLDERを紹介する。 我々は、異なる還元戦略によってもたらされた情報損失を分析し、視覚的冗長性を取り除きながら鍵情報を保存するFOLDERを開発した。 FOLDERは、オリジナルのモデルと同等またはそれ以上のパフォーマンスを達成すると同時に、最大70%のビジュアルトークンを削除することで、複雑さを劇的に低減する。
  論文  参考訳（メタデータ） (2025-01-05T03:28:45Z)
• AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning [19.68349294206012]
  マルチモーダルLLMのための学習自由適応推論法を提案する。 最小限の設計により,本手法はビデオと画像の両方に応用できる。 同様の計算コストで,本手法は長いビデオ理解において最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2024-12-04T11:47:57Z)
• Efficient Multi-modal Large Language Models via Visual Token Grouping [55.482198808206284]
  高解像度の画像やビデオは、彼らの広く普及するための障壁となる。 MLLMにおける視覚トークンの圧縮は、推論コストを削減するための有望なアプローチとして現れている。 本稿では,事前学習した視覚エンコーダの能力を利用して類似画像セグメントをグループ化する,新たなグループ化機構であるVisToGを紹介する。
  論文  参考訳（メタデータ） (2024-11-26T09:36:02Z)
• LLaVA-MR: Large Language-and-Vision Assistant for Video Moment Retrieval [14.136397687227111]
  モーメント検索のためのLarge Language-and-Vision Assistant(LLaVA-MR)を提案する。 LLaVA-MRはマルチモーダル大言語モデル(MLLM)を用いたビデオにおける正確なモーメント検索と文脈グラウンド化を可能にする Charades-STAやQVHighlightsのようなベンチマークによる評価は、LLaVA-MRが11の最先端メソッドより優れていることを示している。
  論文  参考訳（メタデータ） (2024-11-21T09:34:23Z)
• Inference Optimal VLMs Need Only One Visual Token but Larger Models [54.01228554126122]
  視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。 VLMは、大量の入力トークンを処理するのに必要な計算量が多いため、推論中に高いレイテンシで制約されることが多い。 高いトークン圧縮設定に適したアプローチを構築するために、最初のステップを踏み出します。
  論文  参考訳（メタデータ） (2024-11-05T18:54:21Z)
• Treat Visual Tokens as Text? But Your MLLM Only Needs Fewer Efforts to See [37.7015406019386]
  MLLM(Multimodal Large Language Models)は、視覚エンコーダからの視覚トークンをテキストトークンとして扱う。 トークンの数が増加するにつれて、LLMにおける計算の2次スケーリングは効率のボトルネックをもたらす。 本研究では,LLaVAにおけるパラメータと計算パターンの両レベルでの視覚計算の冗長性について検討する。
  論文  参考訳（メタデータ） (2024-10-08T16:13:24Z)
• VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
  我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。 提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
  論文  参考訳（メタデータ） (2024-08-29T17:21:58Z)
• Dense Connector for MLLMs [89.50595155217108]
  Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。 この上に構築されたEfficient Dense Connectorは,視覚トークンの25%に過ぎず,LLaVA-v1.5に匹敵するパフォーマンスを実現する。 画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
  論文  参考訳（メタデータ） (2024-05-22T16:25:03Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
  視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。 本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T14:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。