論文の概要: A Survey of Generative Categories and Techniques in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2506.10016v2
• Date: Fri, 13 Jun 2025 20:56:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 15:15:31.69042
• Title: A Survey of Generative Categories and Techniques in Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルにおける生成カテゴリと手法の検討
• Authors: Longzhen Han, Awes Mubarak, Almas Baimagambetov, Nikolaos Polatidis, Thar Baker,
• Abstract要約: MLLM(Multimodal Large Language Models)はテキスト生成を超えて急速に進化してきた。 本調査では,6つの主要な生成モダリティを分類し,基礎技術がクロスモーダル機能を実現する方法について検討する。
• 参考スコア（独自算出の注目度）: 3.7507324448128876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have rapidly evolved beyond text generation, now spanning diverse output modalities including images, music, video, human motion, and 3D objects, by integrating language with other sensory modalities under unified architectures. This survey categorises six primary generative modalities and examines how foundational techniques, namely Self-Supervised Learning (SSL), Mixture of Experts (MoE), Reinforcement Learning from Human Feedback (RLHF), and Chain-of-Thought (CoT) prompting, enable cross-modal capabilities. We analyze key models, architectural trends, and emergent cross-modal synergies, while highlighting transferable techniques and unresolved challenges. Architectural innovations like transformers and diffusion models underpin this convergence, enabling cross-modal transfer and modular specialization. We highlight emerging patterns of synergy, and identify open challenges in evaluation, modularity, and structured reasoning. This survey offers a unified perspective on MLLM development and identifies critical paths toward more general-purpose, adaptive, and interpretable multimodal systems.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、画像、音楽、ビデオ、人間の動き、三次元オブジェクトなどの様々な出力モダリティにまたがるテキスト生成を超えて、言語と他の知覚モダリティを統一アーキテクチャの下で統合することで急速に発展してきた。 この調査は、6つの主要な生成モダリティを分類し、基礎となる技術、すなわち、自己監督学習(SSL)、エキスパートの混合(MoE)、人間フィードバックからの強化学習(RLHF)、そしてCoT(Chain-of-Thought)がいかにしてクロスモーダル機能を実現するかを検討する。 キーモデル、アーキテクチャトレンド、創発的なクロスモーダルシナジーを分析し、トランスファー可能な技術と未解決の課題を強調します。 トランスフォーマーや拡散モデルのようなアーキテクチャ上の革新は、この収束を支え、クロスモーダル転送とモジュラー特殊化を可能にします。 我々は、シナジーの出現するパターンを強調し、評価、モジュラリティ、構造化推論におけるオープンな課題を特定します。 このサーベイはMLLM開発に関する統一的な視点を提供し、より汎用的で適応的で解釈可能なマルチモーダルシステムへの重要なパスを特定する。

関連論文リスト

• Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models [79.52467430114805]
  推論は知性の中心にあり、決定し、結論を導き、ドメインをまたいで一般化する能力を形成する。 人工知能において、システムがオープンで不確実でマルチモーダルな環境でますます機能するにつれて、推論は堅牢で適応的な行動を可能にするために不可欠となる。 大規模マルチモーダル推論モデル(LMRM)は、テキスト、画像、オーディオ、ビデオなどのモダリティを統合し、複雑な推論機能をサポートする、有望なパラダイムとして登場した。
  論文  参考訳（メタデータ） (2025-05-08T03:35:23Z)
• Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey [124.23247710880008]
  マルチモーダルCoT (MCoT) 推論は近年大きな研究の注目を集めている。 既存のMCoT研究は、画像、ビデオ、音声、オーディオ、3D、構造化データの課題に対処する様々な手法を設計している。 我々はMCoT推論に関する最初の体系的な調査を行い、関連する基礎概念と定義を解明する。
  論文  参考訳（メタデータ） (2025-03-16T18:39:13Z)
• A Survey on Mechanistic Interpretability for Multi-Modal Foundation Models [74.48084001058672]
  基礎モデルの台頭は機械学習の研究に変化をもたらした。 マルチモーダル・ファンデーション・モデル(MMFM)は、ユニモーダル・フレームワークを超えて、ユニークな解釈可能性の課題を提起する。 本研究は,(1)多モーダルモデルへのLLM解釈可能性法の適応,(2)単モーダル言語モデルとクロスモーダルシステムとの機械的差異の理解の2つの重要な側面について考察する。
  論文  参考訳（メタデータ） (2025-02-22T20:55:26Z)
• Explainable and Interpretable Multimodal Large Language Models: A Comprehensive Survey [46.617998833238126]
  大規模言語モデル(LLM)とコンピュータビジョン(CV)システムは、自然言語理解と視覚処理の進歩を促進する。 これらの技術の収束がマルチモーダルAIの台頭を触媒し、テキスト、ビジョン、オーディオ、ビデオモダリティにまたがるよりリッチでクロスモーダルな理解を可能にした。 マルチモーダル大規模言語モデル(MLLM)は、画像テキスト生成、視覚的質問応答、相互モーダル検索といったタスクにおいて印象的な機能を示す強力なフレームワークとして登場した。 これらの進歩にもかかわらず、MLLMの複雑さと規模は解釈可能性と説明可能性において大きな課題をもたらし、確立に不可欠である。
  論文  参考訳（メタデータ） (2024-12-03T02:54:31Z)
• From Efficient Multimodal Models to World Models: A Survey [28.780451336834876]
  マルチモーダル大規模モデル(MLM)は、強力な言語モデルとマルチモーダル学習を組み合わせた重要な研究対象となっている。 このレビューでは、人工知能の実現におけるその可能性を強調し、大規模指導における最新の発展と課題について考察する。
  論文  参考訳（メタデータ） (2024-06-27T15:36:43Z)
• Generalist Multimodal AI: A Review of Architectures, Challenges and Opportunities [5.22475289121031]
  マルチモーダルモデルは、人工知能の今後の進歩にとって重要な要素であると期待されている。 この研究は、新しいアーキテクチャと特定の分類学を訓練することで、一般のマルチモーダルモデルに対する新たな視点を提供する。
  論文  参考訳（メタデータ） (2024-06-08T15:30:46Z)
• Delving into Multi-modal Multi-task Foundation Models for Road Scene Understanding: From Learning Paradigm Perspectives [56.2139730920855]
  本稿では,道路シーンに特化して設計されたMM-VUFMの系統解析について述べる。 本研究の目的は,タスク特化モデル,統合マルチモーダルモデル,統合マルチタスクモデル,基礎モデル推進技術など,共通プラクティスの包括的概要を提供することである。 我々は、クローズドループ駆動システム、解釈可能性、エンボディドドライブエージェント、世界モデルなど、重要な課題と今後のトレンドに関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:47:09Z)
• When Large Language Models Meet Evolutionary Algorithms: Potential Enhancements and Challenges [50.280704114978384]
  事前訓練された大規模言語モデル(LLM)は、自然なテキストを生成する強力な能力を示す。 進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。
  論文  参考訳（メタデータ） (2024-01-19T05:58:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。