論文の概要: FlashSloth: Lightning Multimodal Large Language Models via Embedded Visual Compression

• arxiv url: http://arxiv.org/abs/2412.04317v1
• Date: Thu, 05 Dec 2024 16:34:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:40:33.946617
• Title: FlashSloth: Lightning Multimodal Large Language Models via Embedded Visual Compression
• Title（参考訳）: FlashSloth: 組み込みビジュアル圧縮によるマルチモーダル大言語モデルの軽量化
• Authors: Bo Tong, Bokai Lai, Yiyi Zhou, Gen Luo, Yunhang Shen, Ke Li, Xiaoshuai Sun, Rongrong Ji,
• Abstract要約: マルチモーダルな大言語モデル(MLLM)は、実用的な用途において、スロットのように振る舞う。 近年の取り組みは、より効率よく小さなMLLMを構築することに集中しているが、視覚トークンの多さは、実際のスピードアップを制限している。 本稿ではFlashSlothと呼ばれる強力で高速な小型MLLMを提案する。
• 参考スコア（独自算出の注目度）: 76.01465333271229
• License:
• Abstract: Despite a big leap forward in capability, multimodal large language models (MLLMs) tend to behave like a sloth in practical use, i.e., slow response and large latency. Recent efforts are devoted to building tiny MLLMs for better efficiency, but the plethora of visual tokens still used limit their actual speedup. In this paper, we propose a powerful and fast tiny MLLM called FlashSloth. Different from previous efforts, FlashSloth focuses on improving the descriptive power of visual tokens in the process of compressing their redundant semantics. In particular, FlashSloth introduces embedded visual compression designs to capture both visually salient and instruction-related image information, so as to achieving superior multimodal performance with fewer visual tokens. Extensive experiments are conducted to validate the proposed FlashSloth, and a bunch of tiny but strong MLLMs are also comprehensively compared, e.g., InternVL2, MiniCPM-V2 and Qwen2-VL. The experimental results show that compared with these advanced tiny MLLMs, our FlashSloth can greatly reduce the number of visual tokens, training memory and computation complexity while retaining high performance on various VL tasks.
• Abstract（参考訳）: 能力の飛躍的な進歩にもかかわらず、マルチモーダルな大規模言語モデル(MLLM)は実用的にはスロットのように振る舞う傾向にある。 近年の取り組みは、より効率よく小さなMLLMを構築することに集中しているが、視覚トークンの多さは、実際のスピードアップを制限している。 本稿ではFlashSlothと呼ばれる強力で高速な小型MLLMを提案する。 以前の取り組みとは異なり、FlashSlothは冗長なセマンティクスを圧縮するプロセスにおいて、視覚トークンの記述力を改善することに重点を置いている。 特に、FlashSlothは視覚的に健全な画像情報と命令関連の画像情報の両方をキャプチャして、より少ない視覚トークンで優れたマルチモーダルパフォーマンスを実現するために、組み込みのビジュアル圧縮設計を導入している。 提案したFlashSlothを検証するために大規模な実験が行われ、他にもInternVL2、MiniCPM-V2、Qwen2-VLといった小さなMLLMが包括的に比較されている。 実験結果によると、これらの高度なMLLMと比較して、FlashSlothは様々なVLタスクで高いパフォーマンスを維持しながら、視覚トークンの数を大幅に削減し、記憶と計算の複雑さを訓練することができる。

関連論文リスト

• FOLDER: Accelerating Multi-modal Large Language Models with Enhanced Performance [7.889590793589825]
  視覚トークン列の長さを削減するために設計された,シンプルで効果的なプラグアンドプレイモジュールであるFOLDERを紹介する。 我々は、異なる還元戦略によってもたらされた情報損失を分析し、視覚的冗長性を取り除きながら鍵情報を保存するFOLDERを開発した。 FOLDERは、オリジナルのモデルと同等またはそれ以上のパフォーマンスを達成すると同時に、最大70%のビジュアルトークンを削除することで、複雑さを劇的に低減する。
  論文  参考訳（メタデータ） (2025-01-05T03:28:45Z)
• [CLS] Attention is All You Need for Training-Free Visual Token Pruning: Make VLM Inference Faster [26.025260449905577]
  大規模言語モデル(LLM)におけるテキスト・ビジュアル・クロスアテンションに基づく視覚トークンの重要性を評価する既存手法 我々は、視覚的トークンの重要性をより正確に評価する、トレーニング不要な視覚的トークンプルーニング手法であるFasterVLMを紹介した。 FasterVLMは、LLaVA-1.5-7Bの性能の90%を維持しながら、95%の視覚トークンをプルーする。
  論文  参考訳（メタデータ） (2024-12-02T18:57:40Z)
• Accelerating Multimodal Large Language Models via Dynamic Visual-Token Exit and the Empirical Findings [69.35226485836641]
  既存のMultimoal Large Language Models (MLLM) における視覚トークンの過剰使用は、しばしば明らかな冗長性を示し、非常に高価な計算をもたらす。 DyVTE(Dynamic visual-token exit)と呼ばれるMLLMの効率を改善するための簡易かつ効果的な手法を提案する。 DyVTEは軽量なハイパーネットワークを使用して、テキストトークンの状態を認識し、特定のレイヤの後にすべてのビジュアルトークンを削除する。
  論文  参考訳（メタデータ） (2024-11-29T11:24:23Z)
• Inference Optimal VLMs Need Only One Visual Token but Larger Models [54.01228554126122]
  視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。 VLMは、大量の入力トークンを処理するのに必要な計算量が多いため、推論中に高いレイテンシで制約されることが多い。 高いトークン圧縮設定に適したアプローチを構築するために、最初のステップを踏み出します。
  論文  参考訳（メタデータ） (2024-11-05T18:54:21Z)
• Spatial-Aware Efficient Projector for MLLMs via Multi-Layer Feature Aggregation [10.468784974994465]
  マルチモーダル言語モデル(MLLM)におけるプロジェクタの役割 プロジェクタに関する現在の調査では、効率を改善するために視覚トークンの数を減らすことに重点を置いている。 この問題に対処するために空間認識効率プロジェクタ(SAEP)を提案する。
  論文  参考訳（メタデータ） (2024-10-14T09:25:09Z)
• Treat Visual Tokens as Text? But Your MLLM Only Needs Fewer Efforts to See [37.7015406019386]
  MLLM(Multimodal Large Language Models)は、視覚エンコーダからの視覚トークンをテキストトークンとして扱う。 トークンの数が増加するにつれて、LLMにおける計算の2次スケーリングは効率のボトルネックをもたらす。 本研究では,LLaVAにおけるパラメータと計算パターンの両レベルでの視覚計算の冗長性について検討する。
  論文  参考訳（メタデータ） (2024-10-08T16:13:24Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)
• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
  視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。 本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T14:35:32Z)
• LION : Empowering Multimodal Large Language Model with Dual-Level Visual Knowledge [58.82222646803248]
  MLLM(Multimodal Large Language Models)は、マルチモーダル信号の知覚と理解が可能なLLMを提供する。 既存のMLLMの多くは、大まかに整列された画像テキストペアで事前訓練された視覚エンコーダを採用しており、視覚知識の抽出と推論が不十分である。 本稿では,2段階の視覚的知識を注入することによってMLLMを増強する,デュアルレベルvIsual knedgeOwl eNhanced Multimodal Large Language Model (LION)を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。