論文の概要: Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning

• arxiv url: http://arxiv.org/abs/2402.06223v2
• Date: Mon, 12 May 2025 10:29:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.546391
• Title: Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning
• Title（参考訳）: DAGを超えて:マルチモーダル学習のための潜在部分因果モデル
• Authors: Yuhang Liu, Zhen Zhang, Dong Gong, Erdun Gao, Biwei Huang, Mingming Gong, Anton van den Hengel, Kun Zhang, Javen Qinfeng Shi,
• Abstract要約: 本稿では,非方向エッジで連結された2つの潜在結合変数を特徴とする,多モーダルデータに対する新しい潜在部分因果モデルを提案する。 特定の統計的仮定の下では、多モーダル・コントラッシブ・ラーニングによって学習された表現が、自明な変換までの潜在結合変数に対応することを示す。 事前トレーニングされたCLIPモデルの実験は、非絡み合った表現を具現化し、数ショットの学習を可能にし、さまざまな現実世界のデータセットにわたるドメインの一般化を改善する。
• 参考スコア（独自算出の注目度）: 80.44084021062105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Directed acyclic graphs (DAGs) are fundamental graph structures in causal modeling, but identifying the desired DAG from observational data often requires strong assumptions that may not hold in real-world scenarios, especially for latent causal models and complex multimodal data. This raises the question of whether we can relax or bypass the DAG assumption while maintaining practical utility. In this work, we propose a novel latent partial causal model for multimodal data, featuring two latent coupled variables, connected by an undirected edge, to represent the transfer of knowledge across modalities. Under specific statistical assumptions, we establish an identifiability result, demonstrating that representations learned by multimodal contrastive learning correspond to the latent coupled variables up to a trivial transformation. This result deepens our understanding of the why multimodal contrastive learning works, highlights its potential for disentanglement, and expands the utility of pre-trained models like CLIP. Synthetic experiments confirm the robustness of our findings, even when the assumptions are partially violated. Most importantly, experiments on a pre-trained CLIP model embodies disentangled representations, enabling few-shot learning and improving domain generalization across diverse real-world datasets. Together, these contributions push the boundaries of multimodal contrastive learning, both theoretically and, crucially, in practical applications.
• Abstract（参考訳）: 直接非巡回グラフ(DAG)は因果モデリングの基本的なグラフ構造であるが、観測データから所望のDAGを特定するには、特に潜時因果モデルや複雑なマルチモーダルデータにおいて、現実のシナリオでは成り立たない強い仮定を必要とすることが多い。 これにより、実用性を維持しながらDAGの仮定を緩和または回避できるかどうかという疑問が提起される。 本研究では,非方向エッジで連結された2つの潜在結合変数を特徴とする,多モーダルデータに対する新しい潜在部分因果モデルを提案する。 特定の統計的仮定の下では、多モーダル・コントラッシブ・ラーニングによって学習された表現が、自明な変換までの潜在結合変数に対応することを示す。 この結果は、マルチモーダルなコントラスト学習が機能する理由の理解を深め、アンタングル化の可能性を強調し、CLIPのような事前学習モデルの有用性を拡張します。 合成実験により,仮定が部分的に破られた場合でも,その堅牢性を確認した。 最も重要なことは、事前トレーニングされたCLIPモデルの実験は、非絡み合った表現を具現化し、少数ショットの学習を可能にし、さまざまな現実世界のデータセットにわたるドメインの一般化を改善することである。 これらの貢献は、理論上も決定的にも、実際的な応用において、マルチモーダル・コントラスト学習の境界を押し付けている。

関連論文リスト

• Out-of-Distribution Detection via Deep Multi-Comprehension Ensemble [11.542472900306745]
  マルチComprehension (MC) Ensemble は,OOD (Out-of-Distribution) 特徴表現を拡大するための戦略として提案されている。 OOD検出におけるMC Ensemble戦略の優れた性能を示す実験結果を得た。 これにより,提案手法がトレーニング分布外のインスタンスを検出できるモデルの性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2024-03-24T18:43:04Z)
• Improving Multimodal Sentiment Analysis: Supervised Angular Margin-based Contrastive Learning for Enhanced Fusion Representation [10.44888349041063]
  マルチモーダル・センティメント・アナリティクスのためのコントラシブ・ラーニング・フレームワークであるSupervised Angularを導入する。 この枠組みは,マルチモーダル表現の識別と一般化性を高め,融合ベクトルのモダリティのバイアスを克服することを目的としている。
  論文  参考訳（メタデータ） (2023-12-04T02:58:19Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Identifiability Results for Multimodal Contrastive Learning [72.15237484019174]
  本研究では,以前研究したマルチビュー設定よりも,より一般的な設定で共有要因を復元可能であることを示す。 本研究は,マルチモーダル表現学習の理論的基盤を提供し,マルチモーダルコントラスト学習を実践的に効果的に設定する方法を説明する。
  論文  参考訳（メタデータ） (2023-03-16T09:14:26Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Self-Supervised Learning with Data Augmentations Provably Isolates Content from Style [32.20957709045773]
  我々は拡張過程を潜在変数モデルとして定式化する。 本研究では,2対の観測結果に基づいて,潜在表現の識別可能性について検討した。 Causal3DIdentは、因果関係が豊富な高次元、視覚的に複雑な画像のデータセットである。
  論文  参考訳（メタデータ） (2021-06-08T18:18:09Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。