論文の概要: FlashSloth: Lightning Multimodal Large Language Models via Embedded Visual Compression

• arxiv url: http://arxiv.org/abs/2412.04317v1
• Date: Thu, 05 Dec 2024 16:34:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:40:33.946617
• Title: FlashSloth: Lightning Multimodal Large Language Models via Embedded Visual Compression
• Title（参考訳）: FlashSloth: 組み込みビジュアル圧縮によるマルチモーダル大言語モデルの軽量化
• Authors: Bo Tong, Bokai Lai, Yiyi Zhou, Gen Luo, Yunhang Shen, Ke Li, Xiaoshuai Sun, Rongrong Ji,
• Abstract要約: マルチモーダルな大言語モデル(MLLM)は、実用的な用途において、スロットのように振る舞う。 近年の取り組みは、より効率よく小さなMLLMを構築することに集中しているが、視覚トークンの多さは、実際のスピードアップを制限している。 本稿ではFlashSlothと呼ばれる強力で高速な小型MLLMを提案する。
• 参考スコア（独自算出の注目度）: 76.01465333271229
• License:
• Abstract: Despite a big leap forward in capability, multimodal large language models (MLLMs) tend to behave like a sloth in practical use, i.e., slow response and large latency. Recent efforts are devoted to building tiny MLLMs for better efficiency, but the plethora of visual tokens still used limit their actual speedup. In this paper, we propose a powerful and fast tiny MLLM called FlashSloth. Different from previous efforts, FlashSloth focuses on improving the descriptive power of visual tokens in the process of compressing their redundant semantics. In particular, FlashSloth introduces embedded visual compression designs to capture both visually salient and instruction-related image information, so as to achieving superior multimodal performance with fewer visual tokens. Extensive experiments are conducted to validate the proposed FlashSloth, and a bunch of tiny but strong MLLMs are also comprehensively compared, e.g., InternVL2, MiniCPM-V2 and Qwen2-VL. The experimental results show that compared with these advanced tiny MLLMs, our FlashSloth can greatly reduce the number of visual tokens, training memory and computation complexity while retaining high performance on various VL tasks.
• Abstract（参考訳）: 能力の飛躍的な進歩にもかかわらず、マルチモーダルな大規模言語モデル(MLLM)は実用的にはスロットのように振る舞う傾向にある。 近年の取り組みは、より効率よく小さなMLLMを構築することに集中しているが、視覚トークンの多さは、実際のスピードアップを制限している。 本稿ではFlashSlothと呼ばれる強力で高速な小型MLLMを提案する。 以前の取り組みとは異なり、FlashSlothは冗長なセマンティクスを圧縮するプロセスにおいて、視覚トークンの記述力を改善することに重点を置いている。 特に、FlashSlothは視覚的に健全な画像情報と命令関連の画像情報の両方をキャプチャして、より少ない視覚トークンで優れたマルチモーダルパフォーマンスを実現するために、組み込みのビジュアル圧縮設計を導入している。 提案したFlashSlothを検証するために大規模な実験が行われ、他にもInternVL2、MiniCPM-V2、Qwen2-VLといった小さなMLLMが包括的に比較されている。 実験結果によると、これらの高度なMLLMと比較して、FlashSlothは様々なVLタスクで高いパフォーマンスを維持しながら、視覚トークンの数を大幅に削減し、記憶と計算の複雑さを訓練することができる。

関連論文リスト

• Inference Optimal VLMs Need Only One Visual Token but Larger Models [54.01228554126122]
  視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。 VLMは、大量の入力トークンを処理するのに必要な計算量が多いため、推論中に高いレイテンシで制約されることが多い。 高いトークン圧縮設定に適したアプローチを構築するために、最初のステップを踏み出します。
  論文  参考訳（メタデータ） (2024-11-05T18:54:21Z)
• Spatial-Aware Efficient Projector for MLLMs via Multi-Layer Feature Aggregation [10.468784974994465]
  マルチモーダル言語モデル(MLLM)におけるプロジェクタの役割 プロジェクタに関する現在の調査では、効率を改善するために視覚トークンの数を減らすことに重点を置いている。 この問題に対処するために空間認識効率プロジェクタ(SAEP)を提案する。
  論文  参考訳（メタデータ） (2024-10-14T09:25:09Z)
• Treat Visual Tokens as Text? But Your MLLM Only Needs Fewer Efforts to See [37.7015406019386]
  MLLM(Multimodal Large Language Models)は、視覚エンコーダからの視覚トークンをテキストトークンとして扱う。 トークンの数が増加するにつれて、LLMにおける計算の2次スケーリングは効率のボトルネックをもたらす。 本研究では,LLaVAにおけるパラメータと計算パターンの両レベルでの視覚計算の冗長性について検討する。
  論文  参考訳（メタデータ） (2024-10-08T16:13:24Z)
• TokenPacker: Efficient Visual Projector for Multimodal LLM [37.1071749188282]
  ビジュアルプロジェクタは、ビジュアルエンコーダとLarge Language Model(LLM)の間に必須のブリッジとして機能する。 本稿では,密集した特徴を注入して凝縮した視覚トークンを生成するために,粗く細かなスキームを取り入れた新しいビジュアルプロジェクタを提案する。 我々のアプローチでは、ビジュアルトークンを75%89%圧縮し、多様なベンチマークで同等またはさらに優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-07-02T16:10:55Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)
• Dense Connector for MLLMs [89.50595155217108]
  Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。 この上に構築されたEfficient Dense Connectorは,視覚トークンの25%に過ぎず,LLaVA-v1.5に匹敵するパフォーマンスを実現する。 画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
  論文  参考訳（メタデータ） (2024-05-22T16:25:03Z)
• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
  視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。 本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T14:35:32Z)
• LION : Empowering Multimodal Large Language Model with Dual-Level Visual Knowledge [58.82222646803248]
  MLLM(Multimodal Large Language Models)は、マルチモーダル信号の知覚と理解が可能なLLMを提供する。 既存のMLLMの多くは、大まかに整列された画像テキストペアで事前訓練された視覚エンコーダを採用しており、視覚知識の抽出と推論が不十分である。 本稿では,2段階の視覚的知識を注入することによってMLLMを増強する,デュアルレベルvIsual knedgeOwl eNhanced Multimodal Large Language Model (LION)を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。