論文の概要: LLaVolta: Efficient Multi-modal Models via Stage-wise Visual Context Compression

• arxiv url: http://arxiv.org/abs/2406.20092v1
• Date: Fri, 28 Jun 2024 17:57:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 16:01:13.049717
• Title: LLaVolta: Efficient Multi-modal Models via Stage-wise Visual Context Compression
• Title（参考訳）: LLaVolta: 段階的視覚コンテキスト圧縮による効率的なマルチモーダルモデル
• Authors: Jieneng Chen, Luoxin Ye, Ju He, Zhao-Yang Wang, Daniel Khashabi, Alan Yuille,
• Abstract要約: 本稿では,視覚トークンに関する冗長性の解析と,大規模多言語モデルにおける効率的なトレーニングについて述べる。 最初の実験では、単に平均プーリングによってテスト段階で最大70%の視覚トークンを除去することは、視覚的質問応答精度の最小3%の低下にしか至らないことが示された。 トレーニング中の視覚トークンの数を削減し、パフォーマンスを犠牲にすることなく、トレーニング効率を向上させる。
• 参考スコア（独自算出の注目度）: 23.966237939194514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While significant advancements have been made in compressed representations for text embeddings in large language models (LLMs), the compression of visual tokens in large multi-modal models (LMMs) has remained a largely overlooked area. In this work, we present the study on the analysis of redundancy concerning visual tokens and efficient training within these models. Our initial experiments show that eliminating up to 70% of visual tokens at the testing stage by simply average pooling only leads to a minimal 3% reduction in visual question answering accuracy on the GQA benchmark, indicating significant redundancy in visual context. Addressing this, we introduce Visual Context Compressor, which reduces the number of visual tokens during training to enhance training efficiency without sacrificing performance. To minimize information loss caused by the compression on visual tokens while maintaining training efficiency, we develop LLaVolta as a lite training scheme. LLaVolta incorporates stage-wise visual context compression to progressively compress the visual tokens from heavily to lightly, and finally no compression at the end of training, yielding no loss of information when testing. Extensive experiments demonstrate that our approach enhances the performance of MLLMs in both image-language and video-language understanding, while also significantly cutting training costs. Code is available at https://github.com/Beckschen/LLaVolta
• Abstract（参考訳）: 大規模言語モデル(LLM)におけるテキスト埋め込みの圧縮表現において顕著な進歩が見られたが、大規模マルチモーダルモデル(LMM)における視覚トークンの圧縮はほとんど見落とされた領域のままである。 本研究では,視覚的トークンに関する冗長性の解析と,これらのモデルにおける効率的なトレーニングについて述べる。 最初の実験では、単に平均プーリングによってテスト段階で最大70%の視覚トークンを除去することは、GQAベンチマークにおける視覚質問応答精度の最小3%の低下にしか至らず、視覚的コンテキストにおける有意な冗長性を示している。 これにより、トレーニング中の視覚トークンの数を削減し、パフォーマンスを犠牲にすることなく、トレーニング効率を向上させることができる。 トレーニング効率を保ちながら、視覚トークンの圧縮による情報損失を最小限に抑えるため、LLaVoltaをライトトレーニングスキームとして開発する。 LLaVoltaは段階的な視覚的コンテキスト圧縮を導入し、視覚的トークンを大きくから軽く、最終的にトレーニング終了時に圧縮することなく、テスト時に情報を失うことなく、段階的に圧縮する。 画像言語とビデオ言語の両方におけるMLLMの性能を向上させるとともに,トレーニングコストを大幅に削減する。 コードはhttps://github.com/Beckschen/LLaVoltaで入手できる。

関連論文リスト

• VoCo-LLaMA: Towards Vision Compression with Large Language Models [56.20788367278211]
  VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて顕著な成功を収めている。 LLMを用いて視覚トークンを圧縮する最初の方法であるVoCo-LLaMAを提案する。 提案手法は, 576$times$の圧縮比で最小性能損失を達成し, 最大94.8$%のFLOPと69.6$%の高速化を実現した。
  論文  参考訳（メタデータ） (2024-06-18T05:05:12Z)
• Vision Model Pre-training on Interleaved Image-Text Data via Latent Compression Learning [78.19528555505961]
  本稿では,LCL(Latent Compression Learning)と呼ばれる視覚モデル事前学習手法を提案する。 学習対象は,1)視覚表現と先行文脈の対比学習,2)視覚表現に基づく後続テキストの生成という2つの基本課題に分解することができる。 実験により,本手法は,ペア付き事前学習データセット上でのCLIPの性能に適合するだけでなく,インターリーブ付き事前学習データの活用も可能であることが示された。
  論文  参考訳（メタデータ） (2024-06-11T17:59:35Z)
• Incorporating Visual Experts to Resolve the Information Loss in Multimodal Large Language Models [121.83413400686139]
  本稿では,MLLMの視覚知覚能力を向上させるために,知識の混合強化機構を提案する。 本稿では,マルチタスクエンコーダとビジュアルツールを既存のMLLM訓練と推論パイプラインに組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T02:02:34Z)
• VILA: On Pre-training for Visual Language Models [74.08039416548209]
  ステップ・バイ・ステップ制御可能な比較によるVLM事前学習の設計オプションについて検討した。 私たちは、最先端のモデルよりも一貫して優れたVisual LanguageモデルファミリであるVILAを構築します。
  論文  参考訳（メタデータ） (2023-12-12T18:58:18Z)
• PerceptionGPT: Effectively Fusing Visual Perception into LLM [31.34127196055722]
  視覚入力と大言語モデル(LLM)の統合は、多モーダル機能において顕著な進歩をもたらし、視覚的大言語モデル(VLLM)がもたらされた。 本稿では,視覚的知覚能力を持つVLLMを効率よく装備するPerceptionGPTという新しいエンドツーエンドフレームワークを提案する。 本手法は,視覚出力を離散トークンとして定式化する従来の手法によるトレーニングの難しさを著しく軽減する。
  論文  参考訳（メタデータ） (2023-11-11T16:59:20Z)
• Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
  $textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。 提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T03:40:06Z)
• BUS:Efficient and Effective Vision-language Pre-training with Bottom-Up Patch Summarization [89.52943129132217]
  本稿では,BUS という名前のボトムアップ・パッチ・サマリゼーション手法を提案し,視覚的トークン列の簡潔な要約を効率的に学習する。 テキスト・セマンティックス・アウェア・パッチセレクタ(TSPS)をViTバックボーンに組み込んで粗い粒度のビジュアルトークン抽出を行う。 このボトムアップコラボレーションによって、BUSは高いトレーニング効率を得られると同時に、効率性を維持したり、改善したりすることができます。
  論文  参考訳（メタデータ） (2023-07-17T14:08:17Z)
• Prompting Visual-Language Models for Efficient Video Understanding [28.754997650215486]
  本稿では,事前学習した1つの視覚言語モデルを,最小限のトレーニングで新しいタスクに効果的に適応させる方法を提案する。 静的画像とビデオのギャップを埋めるために、フレームワイドの視覚的特徴の上に軽量なトランスフォーマーを積み重ねたテンポラリな情報をエンコードする。
  論文  参考訳（メタデータ） (2021-12-08T18:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。