論文の概要: C3-UniMM: Causal Cycle-Consistent Unified Multimodal Modeling via Super Alignment and Shared Decoding Space

• arxiv url: http://arxiv.org/abs/2608.28603v1
• Date: Sat, 04 Jul 2026 07:34:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.399874
• Title: C3-UniMM: Causal Cycle-Consistent Unified Multimodal Modeling via Super Alignment and Shared Decoding Space
• Title（参考訳）: C3-UniMM:スーパーアライメントと共有デコード空間による因果サイクル一貫性統一マルチモーダルモデリング
• Abstract要約: C3-UniMMはCausal Cycle ConsistencyとSuper Alignmentをベースにした統合マルチモーダルモデリングフレームワークである。 本稿では,共用なクロスモーダルな意味空間として構造化潜在因果グラフ(SLCG)を導入する。 また,クロスモーダル生成過程において意味的可逆性を強制する統一復号化空間を提案する。
• 参考スコア（独自算出の注目度）: 3.4519796338615225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified Multimodal Models aim to achieve any-to-any understanding and generation across arbitrary modalities. However, existing methods primarily rely on modeling implicit statistical correlations and lack cross-modal structural consistency constraints. This deficiency leads to profound issues, including semantic drift, poor compositional generalization, and instability under interventions. In this paper, we propose C3-UniMM, a unified multimodal modeling framework based on Causal Cycle Consistency and Super Alignment. Specifically, we introduce a Structured Latent Causal Graph (SLCG) as a shared cross-modal semantic space and design unified multimodal encoding blocks, enabling understanding and generation to be synergistically optimized within the identical causal semantic structure. Furthermore, we propose a Unified Decoding Space to enforce structural preservation and semantic invertibility during the cross-modal generation process. Theoretical analyses demonstrate that our approach significantly enhances both the invertibility and mechanism invariance of cross-modal mappings. Extensive experimental results across multiple understanding, generation, and compositional generalization tasks indicate that C3-UniMM substantially outperforms existing unified multimodal baselines.
• Abstract（参考訳）: 統一マルチモーダルモデル(Unified Multimodal Models)は、任意のモダリティをまたいだ任意の理解と生成を実現することを目的としている。 しかし、既存の手法は主に暗黙の統計的相関をモデル化し、相互構造的一貫性の制約を欠いている。 この欠損は、セマンティックドリフト、構成の一般化の貧弱、介入による不安定といった深刻な問題を引き起こす。 本稿では,Causal Cycle ConsistencyとSuper Alignmentに基づく統合マルチモーダルモデリングフレームワークであるC3-UniMMを提案する。 具体的には,SLCG(Structured Latent Causal Graph)を共通なクロスモーダル意味空間として導入し,同一因果意味構造内での理解と生成を相乗的に最適化する統合マルチモーダル符号化ブロックを設計する。 さらに, クロスモーダル生成過程における構造保存と意味的可逆性を強制する統一復号化空間を提案する。 理論的解析により,本手法はクロスモーダル写像の可逆性と機構不変性の両方を著しく向上させることが示された。 複数の理解、生成、構成一般化タスクにわたる大規模な実験結果から、C3-UniMMが既存の統一マルチモーダルベースラインを大幅に上回ることを示す。

関連論文リスト

• Evolution of Multimodal Question Answering: From Modality-Adaptive Extraction to Unified Language Representation [0.0]
  我々は、マルチモーダル適応抽出(MAE)、ソーラー、UniMMQAを比較し、マルチモーダル質問応答の進化をトレースする。 本分析は、明示的なモダリティ特化処理から統一されたテキスト中心の定式化への移行を示す。 これらの進歩にもかかわらず、モダリティ変換時の情報損失、多段パイプラインにおけるエラーの伝播、細粒度のクロスモーダル依存関係の取得における制限など、永続的な課題を識別する。
  論文  参考訳（メタデータ） (2026-09-08T15:34:00Z)
• Toward Native Multimodal Modeling: A Roadmap [73.2994129763275]
  マルチモーダルモデリングは、モダリティに依存しない推論から世界モデリングへの重要なステップである。 近年の取り組みは、パラダイムをネイティブなマルチモーダルモデリングへとシフトさせてきた。 その可能性にもかかわらず、ネイティブアーキテクチャの設計空間は未だ十分に定義されていない。
  論文  参考訳（メタデータ） (2026-05-25T01:57:43Z)
• Anisotropic Modality Align [91.23979617826926]
  マルチモーダルな大規模言語モデルの訓練は、高品質なペア型マルチモーダルデータの不足により、長い間制限されてきた。 近年の研究では、事前訓練されたマルチモーダルコントラストモデルの共有表現空間がブリッジとして機能し、非モーダルデータを用いたマルチモーダルトレーニングを可能にすることが示されている。 中心となる障害は、共有空間の永続的なモダリティギャップにある。
  論文  参考訳（メタデータ） (2026-05-08T14:53:24Z)
• NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
  NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。 NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。 さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
  論文  参考訳（メタデータ） (2025-10-15T16:25:18Z)
• UniAlignment: Semantic Alignment for Unified Image Generation, Understanding, Manipulation and Perception [54.53657134205492]
  UniAlignmentは単一の拡散変換器内での統一されたマルチモーダル生成フレームワークである。 固有モード意味アライメントとクロスモーダル意味アライメントの両方を組み込むことで、モデルのクロスモーダル一貫性と命令追従ロバスト性を高める。 本稿では、複雑なテキスト命令下でのマルチモーダルなセマンティック一貫性を評価するために設計された新しいベンチマークであるSemGen-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T09:11:30Z)
• DecAlign: Hierarchical Cross-Modal Alignment for Decoupled Multimodal Representation Learning [18.066105354135058]
  マルチモーダル表現学習は、複数のモーダルをまたいだ共有情報と相補的セマンティック情報の両方をキャプチャすることを目的としている。 マルチモーダル表現をモダリティ・ユニク(異種)とモダリティ・コモン(異種)に分離するために設計された,新しい階層的クロスモーダルアライメントフレームワークであるDecAlignを紹介する。 広く使われている4つのマルチモーダルベンチマーク実験により、DecAlignは既存の最先端手法を一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2025-03-14T21:47:48Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。