論文の概要: Quadratic Is Not What You Need For Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2410.06169v1
• Date: Tue, 8 Oct 2024 16:13:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:50:51.539697
• Title: Quadratic Is Not What You Need For Multimodal Large Language Models
• Title（参考訳）: マルチモーダルな大規模言語モデルには必要ではない
• Authors: Phu Pham, Wentian Zhao, Kun Wan, Yu-Jhe Li, Zeliang Zhang, Daniel Miranda, Ajinkya Kale, Chenliang Xu,
• Abstract要約: 本研究では,マルチモーダル大言語モデル(MLLM)の視覚成分の計算冗長性について検討する。 刈り取り後のLLMの計算量は、視覚トークンの増加に伴って2次ではなく、線形である。 この発見は、MLLMがより密集した視覚トークンを組み込む可能性を開く。
• 参考スコア（独自算出の注目度）: 36.83251602759295
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In the past year, the capabilities of Multimodal Large Language Models (MLLMs) have significantly improved across various aspects. However, constrained by the quadratic growth of computation in LLMs as the number of tokens increases, efficiency has become a bottleneck for further scaling MLLMs. Although recent efforts have been made to prune visual tokens or use more lightweight LLMs to reduce computation, the problem of quadratic growth in computation with the increase of visual tokens still persists. To address this, we propose a novel approach: instead of reducing the input visual tokens for LLMs, we focus on pruning vision-related computations within the LLMs. After pruning, the computation growth in the LLM is no longer quadratic with the increase of visual tokens, but linear. Surprisingly, we found that after applying such extensive pruning, the capabilities of MLLMs are comparable with the original one and even superior on some benchmarks with only 25% of the computation. This finding opens up the possibility for MLLMs to incorporate much denser visual tokens. Additionally, based on this finding, we further analyzed some architectural design deficiencies in existing MLLMs and proposed promising improvements. To the best of our knowledge, this is the first study to investigate the computational redundancy in the LLM's vision component of MLLMs. Code and checkpoints will be released soon.
• Abstract（参考訳）: この1年間で、MLLM(Multimodal Large Language Models)の能力は様々な面で大幅に改善された。 しかし,トークン数の増加に伴い,LSMにおける計算の二次的成長に制約され,MLLMのさらなるスケーリングのボトルネックとなっている。 近年,視覚的トークンの創出や,より軽量なLCMによる計算の削減が試みられているが,視覚的トークンの増加に伴う計算の二次的成長の問題はまだ残っている。 そこで我々は,LLMの入力された視覚トークンを減らす代わりに,LLM内の視覚関連計算を抽出することに焦点をあてる,新しい手法を提案する。 刈り取り後のLLMの計算量は、視覚トークンの増加に伴って2次ではなく、線形である。 驚くべきことに、このような広範囲のプルーニングを適用した後、MLLMの能力は元のものと同等であり、計算の25%しか持たないベンチマークよりも優れていることがわかった。 この発見は、MLLMがより密集した視覚トークンを組み込む可能性を開く。 さらに, この知見に基づいて, 既存のMLLMのアーキテクチャ設計上の欠陥を解析し, 将来的な改善を提案する。 我々の知る限り、MLLMの視覚成分の計算冗長性を調べる最初の研究である。 コードとチェックポイントはまもなくリリースされる予定だ。

関連論文リスト

• [CLS] Token Tells Everything Needed for Training-free Efficient MLLMs [66.5266435598799]
  MLLM(Multi- Language Large Language Models)は、最近、広範囲の視覚タスクにおいて強力なパフォーマンスを示した。 しかし、その効率的なデプロイメントは、高い計算コストとメモリ要求のため、依然として大きな課題である。 本稿では,VTC圧縮という,列車不要の視覚圧縮のための簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-12-08T05:29:39Z)
• Accelerating Multimodal Large Language Models via Dynamic Visual-Token Exit and the Empirical Findings [69.35226485836641]
  既存のMultimoal Large Language Models (MLLM) における視覚トークンの過剰使用は、しばしば明らかな冗長性を示し、非常に高価な計算をもたらす。 DyVTE(Dynamic visual-token exit)と呼ばれるMLLMの効率を改善するための簡易かつ効果的な手法を提案する。 DyVTEは軽量なハイパーネットワークを使用して、テキストトークンの状態を認識し、特定のレイヤの後にすべてのビジュアルトークンを削除する。
  論文  参考訳（メタデータ） (2024-11-29T11:24:23Z)
• Efficient Multi-modal Large Language Models via Visual Token Grouping [55.482198808206284]
  高解像度の画像やビデオは、彼らの広く普及するための障壁となる。 MLLMにおける視覚トークンの圧縮は、推論コストを削減するための有望なアプローチとして現れている。 本稿では,事前学習した視覚エンコーダの能力を利用して類似画像セグメントをグループ化する,新たなグループ化機構であるVisToGを紹介する。
  論文  参考訳（メタデータ） (2024-11-26T09:36:02Z)
• Sparsity Meets Similarity: Leveraging Long-Tail Distribution for Dynamic Optimized Token Representation in Multimodal Large Language Models [6.467840081978855]
  マルチモーダル大言語モデル(MM-LLM)は様々なタスクで大きな成功を収めた。 主な計算負担は、処理されたテキストと視覚トークンから生じる。 視覚的CLSトークン類似度曲線の屈折点を同定する動的プルーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-02T10:49:10Z)
• VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
  我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。 提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
  論文  参考訳（メタデータ） (2024-08-29T17:21:58Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)
• Boosting Multimodal Large Language Models with Visual Tokens Withdrawal for Rapid Inference [59.91176945361035]
  高速推論のためにMLLMを高速化するプラグイン・アンド・プレイモジュールであるVisual Tokens Withdrawal (VTW)を紹介した。 VTWは、あるレイヤで視覚トークンを戦略的に取り除き、テキストトークンだけがその後のレイヤに関与できるようにする。 提案手法は,マルチモーダルタスクにおいて,性能を維持しながら計算オーバーヘッドを40%以上削減できる。
  論文  参考訳（メタデータ） (2024-05-09T14:38:53Z)
• LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models [35.88374542519597]
  大規模マルチモーダルモデル(LMM)は、視覚エンコーダと大きな言語モデルとを接続することで、視覚的推論能力を示す。 近年のLMMには、高解像度の画像やビデオなど、より複雑な視覚入力が組み込まれており、視覚トークンの数が大幅に増加する。 我々は,LMMの性能を損なうことなく,視覚トークンの数を著しく削減する適応型視覚トークン削減戦略であるPruMergeを提案する。
  論文  参考訳（メタデータ） (2024-03-22T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。