論文の概要: A Review of Multi-Modal Large Language and Vision Models

• arxiv url: http://arxiv.org/abs/2404.01322v1
• Date: Thu, 28 Mar 2024 15:53:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 21:16:45.252469
• Title: A Review of Multi-Modal Large Language and Vision Models
• Title（参考訳）: マルチモーダル大言語と視覚モデルの検討
• Authors: Kilian Carolan, Laura Fennelly, Alan F. Smeaton,
• Abstract要約: 大規模言語モデル(LLM)が研究と応用の焦点として登場した。 近年、LLMはマルチモーダル大言語モデル(MM-LLM)に拡張されている。 本稿では,近年のMM-LLMとともに,マルチモーダル機能を有するLLMの現状を概観する。
• 参考スコア（独自算出の注目度）: 1.9685736810241874
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have recently emerged as a focal point of research and application, driven by their unprecedented ability to understand and generate text with human-like quality. Even more recently, LLMs have been extended into multi-modal large language models (MM-LLMs) which extends their capabilities to deal with image, video and audio information, in addition to text. This opens up applications like text-to-video generation, image captioning, text-to-speech, and more and is achieved either by retro-fitting an LLM with multi-modal capabilities, or building a MM-LLM from scratch. This paper provides an extensive review of the current state of those LLMs with multi-modal capabilities as well as the very recent MM-LLMs. It covers the historical development of LLMs especially the advances enabled by transformer-based architectures like OpenAI's GPT series and Google's BERT, as well as the role of attention mechanisms in enhancing model performance. The paper includes coverage of the major and most important of the LLMs and MM-LLMs and also covers the techniques of model tuning, including fine-tuning and prompt engineering, which tailor pre-trained models to specific tasks or domains. Ethical considerations and challenges, such as data bias and model misuse, are also analysed to underscore the importance of responsible AI development and deployment. Finally, we discuss the implications of open-source versus proprietary models in AI research. Through this review, we provide insights into the transformative potential of MM-LLMs in various applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間のような品質のテキストを理解・生成する前例のない能力によって、研究と応用の焦点として最近登場した。 さらに最近では、LLMはマルチモーダルな大言語モデル(MM-LLM)に拡張され、テキストに加えて、画像、ビデオ、オーディオ情報を扱う能力を拡張している。 これにより、テキスト・トゥ・ビデオ生成、画像キャプション、テキスト・トゥ・スペルなどのアプリケーションがオープンになり、マルチモーダル機能を備えたLLMのレトロフィットや、スクラッチからMM-LLMを構築することで実現される。 本稿では,近年のMM-LLMとともに,マルチモーダル機能を有するLLMの現状を概観する。 LLMの歴史的発展、特にOpenAIのGPTシリーズやGoogleのBERTのようなトランスフォーマーベースのアーキテクチャによって実現された進歩、およびモデルパフォーマンスの向上における注意機構の役割をカバーしている。 本論文では,LLM と MM-LLM の主要および最も重要な機能について紹介するとともに,特定のタスクやドメインに事前学習したモデルをカスタマイズするファインチューニングやプロンプトエンジニアリングなど,モデルチューニングのテクニックについても紹介する。 データバイアスやモデル誤用といった倫理的考察や課題も、責任あるAI開発とデプロイメントの重要性を明らかにするために分析されている。 最後に、AI研究におけるオープンソースとプロプライエタリモデルの影響について論じる。 本稿では,様々なアプリケーションにおけるMM-LLMの変換可能性について考察する。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
  MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。 本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
  論文  参考訳（メタデータ） (2024-08-02T15:14:53Z)
• The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective [53.48484062444108]
  モデルとデータの開発は2つの別々のパスではなく、むしろ相互接続であることがわかった。 一方,MLLMはデータ開発に役立てることができるため,MLLMの性能向上に寄与する。 MLLMコミュニティにおけるデータモデル共同開発を促進するために,データモデル共同開発の観点からMLLMに関連する既存の研究を体系的にレビューする。
  論文  参考訳（メタデータ） (2024-07-11T15:08:11Z)
• LLMs Meet Multimodal Generation and Editing: A Survey [89.76691959033323]
  本調査では,画像,ビデオ,3D,オーディオなど,さまざまな領域にわたるマルチモーダル生成と編集について詳述する。 これらの分野でのマイルストーンの成果を要約し、これらの研究をLLM法とCLIP/T5法に分類する。 我々は、既存の生成モデルを人間とコンピュータの相互作用に活用できるツール強化マルチモーダルエージェントを掘り下げる。
  論文  参考訳（メタデータ） (2024-05-29T17:59:20Z)
• UniRAG: Universal Retrieval Augmentation for Multi-Modal Large Language Models [76.30799731147589]
  そこで,UniRAGというプラグイン・アンド・プレイ技術を紹介した。 一般のエンティティを用いたMSCOCOデータセットによる評価結果から,GPT-4oやGemini-Proといったプロプライエタリモデルも,UniIRモデルのようなMMレトリバーが取得した関連情報を用いて入力プロンプトを拡張した場合,生成品質を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-16T17:58:45Z)
• Exploring the Frontier of Vision-Language Models: A Survey of Current Methodologies and Future Directions [11.786387517781328]
  VLM(Vision-Language Models)は、画像キャプションや視覚的質問応答といった複雑なタスクに対処できる高度なモデルである。 我々の分類では、VLMを視覚言語理解専用のモデル、マルチモーダル入力を処理するモデル、マルチモーダル入力とアウトプットの両方を受け付け、生成するモデルという3つのカテゴリに分類する。 我々は各モデルを慎重に識別し、基礎となるアーキテクチャ、データソースのトレーニング、および可能な限りの強度と限界を広範囲に分析する。
  論文  参考訳（メタデータ） (2024-02-20T18:57:34Z)
• Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback [38.708690624594794]
  ビデオとテキストのマルチモーダルアライメントは、主にマルチモーダル命令・チューンデータのボリュームと品質が不足しているため、依然として困難である。 本稿では,AIフィードバックからの強化学習(Reinforcement Learning from AI Feedback, RLAIF)と呼ばれる,マルチモーダルAIシステムを用いた新たなアライメント戦略を提案する。 具体的には、嗜好フィードバックの生成中に、詳細な映像記述を文脈として提供することによって、文脈対応報酬モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-06T06:27:40Z)
• A Survey on Multimodal Large Language Models [71.63375558033364]
  GPT-4Vで表されるマルチモーダル大言語モデル(MLLM)は、新たな研究ホットスポットとなっている。 本稿では,MLLMの最近の進歩を追跡・要約することを目的とする。
  論文  参考訳（メタデータ） (2023-06-23T15:21:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。