論文の概要: mPLUG-Owl3: Towards Long Image-Sequence Understanding in Multi-Modal Large Language Models

• arxiv url: http://arxiv.org/abs/2408.04840v2
• Date: Tue, 13 Aug 2024 08:10:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 19:48:49.136959
• Title: mPLUG-Owl3: Towards Long Image-Sequence Understanding in Multi-Modal Large Language Models
• Title（参考訳）: mPLUG-Owl3:マルチモーダル大言語モデルにおける長い画像系列理解を目指して
• Authors: Jiabo Ye, Haiyang Xu, Haowei Liu, Anwen Hu, Ming Yan, Qi Qian, Ji Zhang, Fei Huang, Jingren Zhou,
• Abstract要約: 本稿では,多目的なマルチモーダル大言語モデルであるmPLUG-Owl3を提案する。 具体的には、視覚と言語を共通の言語誘導意味空間に効率的に統合する新しいハイパーアテンションブロックを提案する。
• 参考スコア（独自算出の注目度）: 71.40705814904898
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal Large Language Models (MLLMs) have demonstrated remarkable capabilities in executing instructions for a variety of single-image tasks. Despite this progress, significant challenges remain in modeling long image sequences. In this work, we introduce the versatile multi-modal large language model, mPLUG-Owl3, which enhances the capability for long image-sequence understanding in scenarios that incorporate retrieved image-text knowledge, interleaved image-text, and lengthy videos. Specifically, we propose novel hyper attention blocks to efficiently integrate vision and language into a common language-guided semantic space, thereby facilitating the processing of extended multi-image scenarios. Extensive experimental results suggest that mPLUG-Owl3 achieves state-of-the-art performance among models with a similar size on single-image, multi-image, and video benchmarks. Moreover, we propose a challenging long visual sequence evaluation named Distractor Resistance to assess the ability of models to maintain focus amidst distractions. Finally, with the proposed architecture, mPLUG-Owl3 demonstrates outstanding performance on ultra-long visual sequence inputs. We hope that mPLUG-Owl3 can contribute to the development of more efficient and powerful multimodal large language models.
• Abstract（参考訳）: MLLM(Multi-modal Large Language Models)は、様々な単一画像タスクの命令を実行する際、顕著な機能を示す。 この進歩にもかかわらず、長い画像列のモデリングには大きな課題が残っている。 本研究では、検索した画像テキスト知識、インターリーブされた画像テキスト、長大なビデオを含むシナリオにおいて、長い画像系列理解能力を高める多機能なマルチモーダル大言語モデルであるmPLUG-Owl3を導入する。 具体的には,視覚と言語を共通言語指導型セマンティック空間に効率的に統合し,拡張されたマルチイメージシナリオの処理を容易にする,新しいハイパーアテンションブロックを提案する。 大規模な実験結果から,mPLUG-Owl3はシングルイメージ,マルチイメージ,ビデオベンチマークに類似した大きさのモデル間で,最先端の性能を実現することが示唆された。 さらに,トラクタ抵抗 (Distractor resistance) という長めの視覚的シーケンス評価手法を提案する。 最後に、提案したアーキテクチャにより、mPLUG-Owl3は超長めの視覚的シーケンス入力において優れた性能を示す。 我々は、mPLUG-Owl3がより効率的で強力なマルチモーダルな大規模言語モデルの開発に寄与することを期待している。

関連論文リスト

• MaVEn: An Effective Multi-granularity Hybrid Visual Encoding Framework for Multimodal Large Language Model [49.931663904599205]
  MaVEnは、マルチモーダル大言語モデル(MLLM)のマルチモーダル推論能力を高めるために設計された革新的なフレームワークである。 MaVEnは複雑なマルチイメージのシナリオにおけるMLLMの理解を著しく向上するとともに,単一イメージのコンテキストにおけるパフォーマンスも向上することを示す。
  論文  参考訳（メタデータ） (2024-08-22T11:57:16Z)
• SEED-Story: Multimodal Long Story Generation with Large Language Model [66.37077224696242]
  SEED-Storyは、MLLM(Multimodal Large Language Model)を利用して拡張マルチモーダルストーリーを生成する新しい手法である。 マルチモーダルアテンションシンク機構を提案し,最大25個のストーリー(トレーニング用10個)を高い効率で自動回帰的に生成する。 本稿では,大規模かつ高解像度なStoryStreamというデータセットを提案する。
  論文  参考訳（メタデータ） (2024-07-11T17:21:03Z)
• MammothModa: Multi-Modal Large Language Model [17.98445238232718]
  MammothModaは、Multi-modal large language model(MLLM)である。 MammothModaは、例えばLLaVAシリーズのような最先端のモデルを、ベルやホイッスルのない主要な実世界のビジュアル言語ベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2024-06-26T09:17:27Z)
• From Text to Pixel: Advancing Long-Context Understanding in MLLMs [70.78454154014989]
  本稿では,この問題に対処するために設計された多モーダル大規模言語モデルであるSEEKERを紹介する。 SEEKERは、画像を介してテキストシーケンスを視覚ピクセル空間に圧縮することで、長文のコンパクトエンコーディングを最適化することを目的としている。 6つの長文マルチモーダルタスクに関する実験により、SEEKERは、OCRベースの手法と比較して、同じ量のテキスト情報を伝達するために、少ない画像トークンを利用できることを示した。
  論文  参考訳（メタデータ） (2024-05-23T06:17:23Z)
• Veagle: Advancements in Multimodal Representation Learning [0.0]
  本稿では,既存モデルのマルチモーダル能力を向上するための新しいアプローチを提案する。 提案したモデルであるVeagleは、以前の作品の成功と洞察にインスパイアされたユニークなメカニズムを取り入れています。 以上の結果から,Veagleは既存のモデルよりも優れた性能を示し,性能は5-6%向上した。
  論文  参考訳（メタデータ） (2024-01-18T12:45:25Z)
• mPLUG-Owl2: Revolutionizing Multi-modal Large Language Model with Modality Collaboration [74.31268379055201]
  mPLUG-Owl2は多目的なマルチモーダル言語モデルである。 効果的にモダリティのコラボレーションを活用して、テキストとマルチモーダルの両方のパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-11-07T14:21:29Z)
• Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning [115.50132185963139]
  CM3Leonはデコーダのみのマルチモーダル言語モデルであり、テキストと画像の両方を生成および埋め込むことができる。 これは、テキストのみの言語モデルに適応したレシピで訓練された最初のマルチモーダルモデルである。 CM3Leonは、同等の手法よりも5倍少ないトレーニング計算で、テキストから画像生成における最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-09-05T21:27:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。