論文の概要: Treat Visual Tokens as Text? But Your MLLM Only Needs Fewer Efforts to See

• arxiv url: http://arxiv.org/abs/2410.06169v2
• Date: Fri, 15 Nov 2024 18:43:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:36:01.276701
• Title: Treat Visual Tokens as Text? But Your MLLM Only Needs Fewer Efforts to See
• Title（参考訳）: テキストとしてビジュアルトークンを扱う? でもMLLMは、見る努力が少なすぎるだけ
• Authors: Zeliang Zhang, Phu Pham, Wentian Zhao, Kun Wan, Yu-Jhe Li, Jianing Zhou, Daniel Miranda, Ajinkya Kale, Chenliang Xu,
• Abstract要約: MLLM(Multimodal Large Language Models)は、視覚エンコーダからの視覚トークンをテキストトークンとして扱う。 トークンの数が増加するにつれて、LLMにおける計算の2次スケーリングは効率のボトルネックをもたらす。 本研究では,LLaVAにおけるパラメータと計算パターンの両レベルでの視覚計算の冗長性について検討する。
• 参考スコア（独自算出の注目度）: 37.7015406019386
• License:
• Abstract: By treating visual tokens from visual encoders as text tokens, Multimodal Large Language Models (MLLMs) have achieved remarkable progress across diverse visual understanding tasks, leveraging the robust architectures of Large Language Models (LLMs). However, as token counts grow, the quadratic scaling of computation in LLMs introduces a significant efficiency bottleneck, impeding further scalability. Although recent approaches have explored pruning visual tokens or employing lighter LLM architectures, the computational overhead from an increasing number of visual tokens remains a substantial challenge. In this study, we investigate the redundancy in visual computation at both the parameter and computational pattern levels within LLaVA, a representative MLLM, and introduce a suite of streamlined strategies to enhance efficiency. These include neighbor-aware visual token attention, pruning of inactive visual attention heads, and selective layer dropping for visual computations. By implementing these strategies in LLaVA, we achieve a reduction in computational demands of 88% while maintaining model performance across key benchmarks. Additionally, we validate the existence of visual computational redundancy in other MLLMs, such as Qwen2-VL-7B and InternVL-2.0-4B/8B/26B. These results present a novel pathway for MLLMs to handle dense visual tokens with minimal computational costs. Code and model checkpoints will be released to support further research.
• Abstract（参考訳）: 視覚的エンコーダからの視覚的トークンをテキストトークンとして扱うことで、MLLM(Multimodal Large Language Models)は、大規模言語モデル(LLM)の堅牢なアーキテクチャを活用しながら、様々な視覚的理解タスクにおいて顕著な進歩を遂げた。 しかし、トークンの数が増加するにつれて、LLMにおける計算の2次スケーリングは大幅な効率のボトルネックをもたらし、さらなるスケーラビリティを阻害する。 近年のアプローチでは、より軽量なLCMアーキテクチャのプルーニングや、より軽量なLCMアーキテクチャの導入が検討されているが、多くのビジュアルトークンからの計算オーバーヘッドは依然として大きな課題である。 本研究では,代表的MLLMであるLLaVAにおけるパラメータと計算パターンの両レベルでの視覚計算の冗長性について検討し,効率を高めるための一連の合理化戦略を提案する。 これには、隣接する視覚トークンの注意、非アクティブな視覚アテンションヘッドのプルーニング、視覚計算のための選択層ドロップが含まれる。 LLaVAでこれらの戦略を実装することで、主要なベンチマークにおけるモデル性能を維持しながら、計算要求の88%を削減できる。 さらに、Qwen2-VL-7BやInternVL-2.0-4B/8B/26Bといった他のMLLMにおける視覚的冗長性の存在を検証する。 これらの結果は、MLLMが最小の計算コストで高密度な視覚トークンを扱うための新しい経路を示す。 コードとモデルチェックポイントは、さらなる研究をサポートするためにリリースされる。

関連論文リスト

• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [70.19607283302712]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 具体的には,l-MLLMとs-MLLMの視覚的テキスト出力分布のばらつきを最小限に抑えるために,MDist(Multimodal Distillation)を導入する。 また,S-MLLMの可能性を完全に活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• Skipping Computations in Multimodal LLMs [63.29737699997859]
  本研究では,マルチモーダル大言語モデル(MLLM)における推論時の冗長性について検討する。 ブロック全体,FFN,自己保持層をスキップするなど,計算をスキップするさまざまな手法を提案する。 本研究は,推定時に大量の計算を回避できることを実証した。
  論文  参考訳（メタデータ） (2024-10-12T09:21:45Z)
• Decoding with Limited Teacher Supervision Requires Understanding When to Trust the Teacher [11.136112399898481]
  小規模大規模言語モデル(LLM)は、LLMの監督を効果的に活用して、その生成品質を向上するにはどうすればよいのか? 我々は,初期トークン上でのLLMおよびLLM予測を効果的に集約するアルゴリズムを開発した。 提案手法は,従来の復号法よりも一貫した手法であることを示す。
  論文  参考訳（メタデータ） (2024-06-26T01:16:12Z)
• Dense Connector for MLLMs [89.50595155217108]
  Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。 画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
  論文  参考訳（メタデータ） (2024-05-22T16:25:03Z)
• Efficient Multimodal Large Language Models: A Survey [60.7614299984182]
  MLLM(Multimodal Large Language Models)は、視覚的質問応答、視覚的理解、推論などのタスクにおいて顕著な性能を示す。 モデルサイズと高いトレーニングと推論コストが、MLLMのアカデミックや産業への応用を妨げている。 本調査は,効率的なMLLMの現状を包括的かつ体系的に概観するものである。
  論文  参考訳（メタデータ） (2024-05-17T12:37:10Z)
• IntactKV: Improving Large Language Model Quantization by Keeping Pivot Tokens Intact [46.32830393597601]
  大規模言語モデル(LLM)は自然言語処理に優れるが、集中的な計算を必要とする。 本稿では,LLMにおける従来見過ごされていた外れ値について紹介する。 IntactKVを提案することで、完全精度モデルからピボットトークンのKVキャッシュを損失なく生成する。
  論文  参考訳（メタデータ） (2024-03-02T16:05:26Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。