論文の概要: Generalized Multimodal Foundation Model

• arxiv url: http://arxiv.org/abs/2609.22107v1
• Date: Sun, 16 Aug 2026 15:47:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.712741
• Title: Generalized Multimodal Foundation Model
• Title（参考訳）: 一般化マルチモーダル基礎モデル
• Abstract要約: 我々は、統一マルチモーダル融合モデルが特定のモダリティに依存しず、多モーダル相関の伝達可能なパターンを符号化すべきであると主張する。 多様な相関パターンを持つ大規模合成マルチモーダルデータセットを構築することにより、トレーニング中に伝達可能なマルチモーダル相関を符号化し、推論中に適切な関連を活性化する。
• 参考スコア（独自算出の注目度）: 81.82608282466266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Making prediction with multimodal data is widely used in diverse scenarios. Existing multimodal fusion models, once deployed, can only handle predefined modalities (e.g., vision, text and audio) and single tasks, making it difficult to quickly adapt to new downstream applications. Therefore, a natural yet rather aggressive question arises, whether there exists a general multimodal fusion model that can be applied to arbitrary modality combinations and arbitrary prediction tasks. We argue that a unified multimodal fusion model should not depend on specific modalities and instead encode transferable patterns of multimodal correlation. To this end, we propose a simple and effective learning paradigm based on training over the generation of large-scale synthetic multimodal datasets with diverse causal structures that formally characterize the generative processes of multimodal data in real world. Building on this framework, we propose the generalized multimodal foundation model, a unified foundation model for generalized multimodal learning. By constructing large-scale synthetic multimodal datasets with diverse correlation patterns, our model encodes transferable multimodal correlations during training and activates appropriate associations through in-context examples during inference. Extensive experiments on 18 real-world datasets spanning 12 modalities and 11 prediction tasks demonstrate that our model achieves competitive performance with specialized models without task-specific adaptation.
• Abstract（参考訳）: マルチモーダルデータによる予測は、様々なシナリオで広く利用されている。 既存のマルチモーダル融合モデルは一度デプロイされると、事前に定義されたモダリティ(例えば、ビジョン、テキスト、オーディオ)と単一タスクしか処理できないため、新しいダウンストリームアプリケーションに迅速に適応することは困難である。 したがって、任意のモダリティの組み合わせや任意の予測タスクに適用できる一般的なマルチモーダル融合モデルが存在するかどうかという自然に、かなり攻撃的な疑問が生じる。 我々は、統一マルチモーダル融合モデルが特定のモダリティに依存しず、多モーダル相関の伝達可能なパターンを符号化すべきであると主張する。 そこで本研究では,実世界のマルチモーダルデータの生成過程を形式的に特徴付ける多様な因果構造を持つ大規模合成マルチモーダルデータセットの生成に関するトレーニングに基づく,シンプルで効果的な学習パラダイムを提案する。 この枠組みに基づいて,一般化マルチモーダル学習のための統一基盤モデルである一般化マルチモーダル基礎モデルを提案する。 多様な相関パターンを持つ大規模合成マルチモーダルデータセットを構築することにより、トレーニング中に伝達可能なマルチモーダル相関を符号化し、推論中にコンテキスト内例を通して適切な関連を活性化する。 12のモダリティと11の予測タスクにまたがる18の実世界のデータセットに対する大規模な実験により、我々のモデルがタスク固有の適応を伴わない特殊なモデルとの競合性能を達成することを示した。

関連論文リスト

• NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
  NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。 NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。 さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
  論文  参考訳（メタデータ） (2025-10-15T16:25:18Z)
• Advances in Multimodal Adaptation and Generalization: From Traditional Approaches to Foundation Models [54.196385799229006]
  この調査は、従来のアプローチから基礎モデルへの進歩に関する、初めての包括的なレビューを提供する。 1)マルチモーダルドメイン適応,(2)マルチモーダルテスト時間適応,(3)マルチモーダルドメイン一般化,(4)マルチモーダルファンデーションモデルの助けを借りたドメイン適応と一般化,(5)マルチモーダルファンデーションモデルの適応。
  論文  参考訳（メタデータ） (2025-01-30T18:59:36Z)
• A Markov Random Field Multi-Modal Variational AutoEncoder [1.2233362977312945]
  この研究は、マルコフランダム場(MRF)を前と後の両方の分布に組み込む新しいマルチモーダルVAEを導入する。 我々のアプローチは、これらの関係の複雑さをモデル化し、活用することを目的としており、マルチモーダルデータのより忠実な表現を可能にしている。
  論文  参考訳（メタデータ） (2024-08-18T19:27:30Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Toward Robust Multimodal Learning using Multimodal Foundational Models [30.755818450393637]
  マルチモーダル基礎モデルを用いたロバストなマルチモーダル学習に向けたTRMLを提案する。 TRMLは、欠落したモダリティを置き換えるために生成された仮想モダリティを使用する。 またセマンティックマッチング学習モジュールを設計し、セマンティック空間の生成とモダリティの欠如を協調する。
  論文  参考訳（メタデータ） (2024-01-20T04:46:43Z)
• Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models [86.9292779620645]
  生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。 提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
  論文  参考訳（メタデータ） (2020-07-02T15:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。