論文の概要: A Survey of Multimodal Large Language Model from A Data-centric Perspective

• arxiv url: http://arxiv.org/abs/2405.16640v1
• Date: Sun, 26 May 2024 17:31:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 20:09:48.129038
• Title: A Survey of Multimodal Large Language Model from A Data-centric Perspective
• Title（参考訳）: データ中心から見たマルチモーダル大言語モデルの検討
• Authors: Tianyi Bai, Hao Liang, Binwang Wan, Ling Yang, Bozhou Li, Yifan Wang, Bin Cui, Conghui He, Binhang Yuan, Wentao Zhang,
• Abstract要約: マルチモーダルな大言語モデル(MLLM)は、従来の大言語モデルの能力を高める。 データはこれらのモデルの開発と改良において重要な役割を担います。
• 参考スコア（独自算出の注目度）: 41.30416121015539
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human beings perceive the world through diverse senses such as sight, smell, hearing, and touch. Similarly, multimodal large language models (MLLMs) enhance the capabilities of traditional large language models by integrating and processing data from multiple modalities including text, vision, audio, video, and 3D environments. Data plays a pivotal role in the development and refinement of these models. In this survey, we comprehensively review the literature on MLLMs from a data-centric perspective. Specifically, we explore methods for preparing multimodal data during the pretraining and adaptation phases of MLLMs. Additionally, we analyze the evaluation methods for datasets and review benchmarks for evaluating MLLMs. Our survey also outlines potential future research directions. This work aims to provide researchers with a detailed understanding of the data-driven aspects of MLLMs, fostering further exploration and innovation in this field.
• Abstract（参考訳）: 人間は視覚、嗅覚、聴覚、触覚といった様々な感覚を通じて世界を認識する。 同様に、マルチモーダルな大言語モデル(MLLM)は、テキスト、ビジョン、オーディオ、ビデオ、および3D環境を含む複数のモダリティからのデータの統合と処理によって、従来の大言語モデルの能力を高める。 データはこれらのモデルの開発と改良において重要な役割を担います。 本稿では,データ中心の観点からMLLMに関する文献を概観的にレビューする。 具体的には,MLLMの事前学習および適応段階におけるマルチモーダルデータ作成手法について検討する。 さらに,MLLMの評価のためのデータセットの評価手法とベンチマークについて分析する。 今後の研究の方向性についても概説する。 この研究は、MLLMのデータ駆動的な側面の詳細な理解を研究者に提供することを目的としており、この分野におけるさらなる探索と革新を促進することを目的としている。

関連論文リスト

• The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective [53.48484062444108]
  モデルとデータの開発は2つの別々のパスではなく、むしろ相互接続であることがわかった。 一方,MLLMの性能向上には,大規模かつ高品質なデータが寄与する一方,MLLMはデータの開発を促進することができる。 MLLMコミュニティにおけるデータモデル共同開発を促進するために,データモデル共同開発の観点からMLLMに関連する既存の研究を体系的にレビューする。
  論文  参考訳（メタデータ） (2024-07-11T15:08:11Z)
• Tracking the perspectives of interacting language models [11.601000749578647]
  大規模言語モデル(LLM)は前例のない速度で高品質な情報を生成することができる。 これらのモデルが社会に浸透し続ければ、それらが生み出すコンテンツはますますデータベースに浸透していくだろう。
  論文  参考訳（メタデータ） (2024-06-17T17:20:16Z)
• LLMs Meet Multimodal Generation and Editing: A Survey [89.76691959033323]
  本調査では,画像,ビデオ,3D,オーディオなど,さまざまな領域にわたるマルチモーダル生成と編集について詳述する。 これらの分野でのマイルストーンの成果を要約し、これらの研究をLLM法とCLIP/T5法に分類する。 我々は、既存の生成モデルを人間とコンピュータの相互作用に活用できるツール強化マルチモーダルエージェントを掘り下げる。
  論文  参考訳（メタデータ） (2024-05-29T17:59:20Z)
• Data Augmentation using Large Language Models: Data Perspectives, Learning Paradigms and Challenges [47.45993726498343]
  データ強化(DA)は、データ収集を必要とせずにトレーニング例を多様化することにより、モデルパフォーマンスを向上させる重要な手法として登場した。 本調査では,大規模言語モデル(LLM)がDAに与える影響,特に自然言語処理(NLP)以降の文脈において,それらが持つ固有の課題と機会に対処する。
  論文  参考訳（メタデータ） (2024-03-05T14:11:54Z)
• Large Language Models for Data Annotation: A Survey [49.8318827245266]
  LLM(Advanced Large Language Models)の出現は、データアノテーションの複雑なプロセスを自動化する前例のない機会を提供する。 この調査には、LLMが注釈付けできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションにLLMを使用する際の主な課題と制限に関する詳細な議論が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• Exploring the Frontier of Vision-Language Models: A Survey of Current Methodologies and Future Directions [11.786387517781328]
  VLM(Vision-Language Models)は、画像キャプションや視覚的質問応答といった複雑なタスクに対処できる高度なモデルである。 我々の分類では、VLMを視覚言語理解専用のモデル、マルチモーダル入力を処理するモデル、マルチモーダル入力とアウトプットの両方を受け付け、生成するモデルという3つのカテゴリに分類する。 我々は各モデルを慎重に識別し、基礎となるアーキテクチャ、データソースのトレーニング、および可能な限りの強度と限界を広範囲に分析する。
  論文  参考訳（メタデータ） (2024-02-20T18:57:34Z)
• The Revolution of Multimodal Large Language Models: A Survey [46.84953515670248]
  MLLM(Multimodal Large Language Models)は、視覚とテキストのモダリティをシームレスに統合することができる。 本稿では,近年の視覚的MLLMのレビュー,アーキテクチャ選択,マルチモーダルアライメント戦略,トレーニング手法について述べる。
  論文  参考訳（メタデータ） (2024-02-19T19:01:01Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。