論文の概要: LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark

• arxiv url: http://arxiv.org/abs/2306.06687v3
• Date: Mon, 6 Nov 2023 07:02:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 22:04:07.807828
• Title: LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark
• Title（参考訳）: LAMM: 言語支援マルチモーダル命令-チューニングデータセット、フレームワーク、ベンチマーク
• Authors: Zhenfei Yin, Jiong Wang, Jianjian Cao, Zhelun Shi, Dingning Liu, Mukai Li, Lu Sheng, Lei Bai, Xiaoshui Huang, Zhiyong Wang, Jing Shao, Wanli Ouyang
• Abstract要約: 本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 81.42376626294812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models have emerged as a promising approach towards achieving general-purpose AI agents. The thriving open-source LLM community has greatly accelerated the development of agents that support human-machine dialogue interaction through natural language processing. However, human interaction with the world extends beyond only text as a modality, and other modalities such as vision are also crucial. Recent works on multi-modal large language models, such as GPT-4V and Bard, have demonstrated their effectiveness in handling visual modalities. However, the transparency of these works is limited and insufficient to support academic research. To the best of our knowledge, we present one of the very first open-source endeavors in the field, LAMM, encompassing a Language-Assisted Multi-Modal instruction tuning dataset, framework, and benchmark. Our aim is to establish LAMM as a growing ecosystem for training and evaluating MLLMs, with a specific focus on facilitating AI agents capable of bridging the gap between ideas and execution, thereby enabling seamless human-AI interaction. Our main contribution is three-fold: 1) We present a comprehensive dataset and benchmark, which cover a wide range of vision tasks for 2D and 3D vision. Extensive experiments validate the effectiveness of our dataset and benchmark. 2) We outline the detailed methodology of constructing multi-modal instruction tuning datasets and benchmarks for MLLMs, enabling rapid scaling and extension of MLLM research to diverse domains, tasks, and modalities. 3) We provide a primary but potential MLLM training framework optimized for modality extension. We also provide baseline models, comprehensive experimental observations, and analysis to accelerate future research. Our baseline model is trained within 24 A100 GPU hours, framework supports training with V100 and RTX3090 is available thanks to the open-source society.
• Abstract（参考訳）: 汎用AIエージェントを達成するための有望なアプローチとして、大規模な言語モデルが登場した。 オープンソースのllmコミュニティは、自然言語処理を通じて人間と機械の対話をサポートするエージェントの開発を大いに加速させた。 しかし、世界との人間の相互作用は、モダリティとしてのテキストだけでなく、視覚などの他のモダリティも重要である。 gpt-4vやbardといったマルチモーダル大規模言語モデルに関する最近の研究は、視覚モダリティの処理における効果を実証している。 しかし、これらの作品の透明性は限られており、学術研究を支援するには不十分である。 我々の知る限り、言語支援型マルチモーダル命令チューニングデータセット、フレームワーク、ベンチマークを含む、この分野における最初のオープンソース取り組みの1つであるLAMMを紹介します。 我々の目標は、MLLMのトレーニングと評価のエコシステムとしてLAMMを確立することであり、アイデアと実行のギャップを埋めることのできるAIエージェントを促進することに集中することで、シームレスな人間とAIのインタラクションを可能にすることです。 私たちの主な貢献は3倍です。 1) 2次元ビジョンと3次元ビジョンの幅広いビジョンタスクをカバーする包括的なデータセットとベンチマークを提案する。 広範な実験によって、データセットとベンチマークの有効性が検証されます。 2)MLLMのマルチモーダル・チューニング・データセットとベンチマークを構築するための詳細な方法論を概説し,MLLM研究を多様な領域,タスク,モダリティに迅速に拡張する方法について述べる。 3)モダリティ拡張に最適化されたMLLMトレーニングフレームワークを提供する。 また、今後の研究を加速するために、ベースラインモデル、総合的な実験観測、分析も提供する。 私たちのベースラインモデルは24 a100 gpu時間以内にトレーニングされ、フレームワークはv100でトレーニングをサポートし、rtx3090はオープンソースソサエティによって利用可能です。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
  OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論するモデルの能力を厳格に評価するために設計された新しいベンチマークである。 本研究の主目的は,ほとんどのOLMが3モーダル文脈における指示追従能力と推論能力に限界があることである。 このギャップに対処するため、84.5KのトレーニングサンプルであるOmniInstructの命令チューニングデータセットをキュレートし、OLMをマルチモーダルなコンテキストに適応させる。
  論文  参考訳（メタデータ） (2024-09-23T17:59:05Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• Exploring the Frontier of Vision-Language Models: A Survey of Current Methodologies and Future Directions [11.786387517781328]
  VLM(Vision-Language Models)は、画像キャプションや視覚的質問応答といった複雑なタスクに対処できる高度なモデルである。 我々の分類では、VLMを視覚言語理解専用のモデル、マルチモーダル入力を処理するモデル、マルチモーダル入力とアウトプットの両方を受け付け、生成するモデルという3つのカテゴリに分類する。 我々は各モデルを慎重に識別し、基礎となるアーキテクチャ、データソースのトレーニング、および可能な限りの強度と限界を広範囲に分析する。
  論文  参考訳（メタデータ） (2024-02-20T18:57:34Z)
• Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
  マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。 我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。 強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-01-16T08:44:29Z)
• ModaVerse: Efficiently Transforming Modalities with LLMs [25.49713745405194]
  ModaVerseはマルチモーダルな大規模言語モデルで、様々なモダリティにまたがってコンテンツを解釈・変換できる。 自然言語のレベルで直接動作する新しい入出力(I/O)アライメント機構を提案する。
  論文  参考訳（メタデータ） (2024-01-12T06:28:54Z)
• u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model [17.3535277338312]
  u-LLaVAは、MLLMの知覚能力を改善するためにピクセル、地域、グローバル機能を統合する革新的な統合マルチタスクフレームワークである。 この研究は、277Kサンプルからなるマスクベースの新しいマルチタスクデータセットに貢献し、MLLMの微粒化知覚能力に挑戦し評価する。
  論文  参考訳（メタデータ） (2023-11-09T13:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。