論文の概要: Hierarchical Contrastive Learning for Multimodal Data
- arxiv url: http://arxiv.org/abs/2604.05462v1
- Date: Tue, 07 Apr 2026 05:53:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.647631
- Title: Hierarchical Contrastive Learning for Multimodal Data
- Title(参考訳): マルチモーダルデータの階層的コントラスト学習
- Authors: Huichao Li, Junhan Yu, Doudou Zhou,
- Abstract要約: 階層的コントラスト学習(Hierarchical Contrastive Learning)は、グローバルに共有され、部分的に共有され、モダリティ固有の表現を学習するフレームワークである。
マルチモーダルな電子健康記録では、HCLはより情報的な表現をもたらし、常に予測性能を改善する。
- 参考スコア(独自算出の注目度): 3.1788482285024107
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal representation learning is commonly built on a shared-private decomposition, treating latent information as either common to all modalities or specific to one. This binary view is often inadequate: many factors are shared by only subsets of modalities, and ignoring such partial sharing can over-align unrelated signals and obscure complementary information. We propose Hierarchical Contrastive Learning (HCL), a framework that learns globally shared, partially shared, and modality-specific representations within a unified model. HCL combines a hierarchical latent-variable formulation with structural sparsity and a structure-aware contrastive objective that aligns only modalities that genuinely share a latent factor. Under uncorrelated latent variables, we prove identifiability of the hierarchical decomposition, establish recovery guarantees for the loading matrices, and derive parameter estimation and excess-risk bounds for downstream prediction. Simulations show accurate recovery of hierarchical structure and effective selection of task-relevant components. On multimodal electronic health records, HCL yields more informative representations and consistently improves predictive performance.
- Abstract(参考訳): マルチモーダル表現学習は、一般に共有プライベートな分解に基づいて構築され、潜在情報をすべてのモダリティに共通または特定のものとして扱う。
多くの因子はモダリティのサブセットによってのみ共有され、そのような部分的共有を無視することは、無関係な信号とあいまいな相補的な情報を過度に無視することができる。
本稿では,階層的コントラスト学習(HCL)を提案する。これは統一モデル内でグローバルに共有され,部分的に共有され,モダリティ固有の表現を学習するフレームワークである。
HCLは階層的な潜在変数の定式化と構造的疎度と、真に潜在因子を共有するモダリティのみを整列する構造的コントラスト的目的を組み合わせる。
非相関な潜伏変数の下では、階層的分解の識別可能性を示し、負荷行列の回復保証を確立し、下流予測のためのパラメータ推定と過剰リスク境界を導出する。
シミュレーションは階層構造の正確な回復とタスク関連コンポーネントの効率的な選択を示す。
マルチモーダルな電子健康記録では、HCLはより情報的な表現をもたらし、常に予測性能を改善する。
関連論文リスト
- Weight-Informed Self-Explaining Clustering for Mixed-Type Tabular Data [63.62853416081748]
WISEは表現、特徴重み付け、クラスタリング、解釈を統一するフレームワークである。
クラスタリングを駆動する同じプリミティブに根ざした、忠実で人間解釈可能な説明を生成する。
論文 参考訳(メタデータ) (2026-04-07T13:18:31Z) - Causality-Driven Disentangled Representation Learning in Multiplex Graphs [13.627536649679575]
本稿では,共通および私的コンポーネントを自己管理的に切り離す因果推論に基づくフレームワークを提案する。
合成および実世界のデータセットの実験は、既存のベースラインよりも一貫した改善を示している。
論文 参考訳(メタデータ) (2026-03-25T09:10:28Z) - Orthogonalized Multimodal Contrastive Learning with Asymmetric Masking for Structured Representations [4.67724003380452]
マルチモーダル学習は異種情報源からの情報を統合することを目的としており、そこでは信号はモダリティ間で共有され、個々のモダリティに特有であり、相互作用を通してのみ現れる。
自己教師型マルチモーダルコントラスト学習は目覚ましい進歩を遂げてきたが、既存の手法のほとんどは冗長なクロスモーダル信号を捉え、しばしばモダリティ固有の(一意的な)情報や相互作用駆動の(シネルジスティックな)情報を無視している。
最近の拡張は、この視点を広げるが、それらは相乗的相互作用を明示的にモデル化したり、異なる情報コンポーネントを絡み合った方法で学習することに失敗し、不完全な表現と潜在的な情報漏洩につながる。
基本的枠組みである textbfCOrAL を導入する。
論文 参考訳(メタデータ) (2026-02-16T18:06:53Z) - Group Contrastive Learning for Weakly Paired Multimodal Data [34.76498775412033]
GROOVEは、高濃度摂動データに対する半教師付きマルチモーダル表現学習手法である。
GroupCLIPは、ペア化されたクロスモーダルデータのためのCLIPと、一様教師付きコントラスト学習のためのSupConのギャップを埋める、新しいグループレベルのコントラスト損失である。
論文 参考訳(メタデータ) (2026-02-03T21:11:06Z) - Disentangled Representation Learning via Modular Compositional Bias [19.244228209387163]
目的とアーキテクチャの両方から分離されたモジュラー帰納バイアスである構成バイアスを提案する。
我々の重要な洞察は、異なる要因がデータ分散において異なる組換え規則に従うことである。
提案手法は属性とオブジェクトの絡み合いの両面での競合性能を示し,グローバルなスタイルとオブジェクトの絡み合いを一意に達成する。
論文 参考訳(メタデータ) (2025-10-24T12:46:19Z) - Generalized Contrastive Learning for Universal Multimodal Retrieval [53.70202081784898]
クロスモーダル検索モデル(例えばCLIP)は、融合した画像テキストのモダリティからなるキーを検索することで、劣化したパフォーマンスを示す。
本稿では,新たなデータセットキュレーションを必要とせずに,マルチモーダル検索性能を向上させる新しい損失定式化である汎用コントラスト学習(GCL)を提案する。
論文 参考訳(メタデータ) (2025-09-30T01:25:04Z) - IndiSeek learns information-guided disentangled representations [9.021908698915013]
IndiSeekは、新しい非絡み合い表現学習手法である。
IndiSeekは独立性と完全性のバランスをとり、モダリティ固有の特徴を原則的に抽出することを可能にする。
IndiSeekが人工シミュレーション,CITE-seqデータセット,および実世界のマルチモーダルベンチマークに与える影響を実証する。
論文 参考訳(メタデータ) (2025-09-25T20:58:34Z) - Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning [80.44084021062105]
本稿では,非方向エッジで連結された2つの潜在結合変数を特徴とする,多モーダルデータに対する新しい潜在部分因果モデルを提案する。
特定の統計的仮定の下では、多モーダル・コントラッシブ・ラーニングによって学習された表現が、自明な変換までの潜在結合変数に対応することを示す。
事前トレーニングされたCLIPモデルの実験は、非絡み合った表現を具現化し、数ショットの学習を可能にし、さまざまな現実世界のデータセットにわたるドメインの一般化を改善する。
論文 参考訳(メタデータ) (2024-02-09T07:18:06Z) - Understanding and Constructing Latent Modality Structures in Multi-modal
Representation Learning [53.68371566336254]
優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。
具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
論文 参考訳(メタデータ) (2023-03-10T14:38:49Z) - Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。
我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
論文 参考訳(メタデータ) (2021-06-23T17:54:35Z) - Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。
実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
論文 参考訳(メタデータ) (2020-07-30T05:48:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。