論文の概要: Identifiable Shared Component Analysis of Unpaired Multimodal Mixtures
- arxiv url: http://arxiv.org/abs/2409.19422v2
- Date: Tue, 01 Oct 2024 07:04:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-02 16:34:18.833013
- Title: Identifiable Shared Component Analysis of Unpaired Multimodal Mixtures
- Title(参考訳): マルチモーダル混合系の同定可能な共有成分分析
- Authors: Subash Timilsina, Sagar Shrestha, Xiao Fu,
- Abstract要約: マルチモーダル学習における中核的なタスクは、複数の特徴空間(テキストや音声など)からの情報を統合することであり、モダリティに不変なデータ表現を提供することである。
近年の研究では、カノニカル相関分析(CCA)のような古典的なツールが、共有されたコンポーネントを小さなあいまいさまで確実に識別できることが示されている。
この研究はさらに一歩前進し、クロスモーダルなサンプルが不整合である多モード線形混合物の共有成分識別性について研究した。
- 参考スコア(独自算出の注目度): 10.563519176608667
- License:
- Abstract: A core task in multi-modal learning is to integrate information from multiple feature spaces (e.g., text and audio), offering modality-invariant essential representations of data. Recent research showed that, classical tools such as {\it canonical correlation analysis} (CCA) provably identify the shared components up to minor ambiguities, when samples in each modality are generated from a linear mixture of shared and private components. Such identifiability results were obtained under the condition that the cross-modality samples are aligned/paired according to their shared information. This work takes a step further, investigating shared component identifiability from multi-modal linear mixtures where cross-modality samples are unaligned. A distribution divergence minimization-based loss is proposed, under which a suite of sufficient conditions ensuring identifiability of the shared components are derived. Our conditions are based on cross-modality distribution discrepancy characterization and density-preserving transform removal, which are much milder than existing studies relying on independent component analysis. More relaxed conditions are also provided via adding reasonable structural constraints, motivated by available side information in various applications. The identifiability claims are thoroughly validated using synthetic and real-world data.
- Abstract(参考訳): マルチモーダル学習における中核的な課題は、複数の特徴空間(例えば、テキストや音声)からの情報を統合することであり、モダリティに不変なデータ表現を提供することである。
近年の研究では、共有成分とプライベート成分の線形混合から各モードのサンプルが生成される際に、共有成分を小さなあいまいさまで確実に識別できることが示されている。
このような識別性は, 共有情報に基づいて, クロスモーダルなサンプルをアライメント・ペアリングする条件下で得られた。
この研究はさらに一歩前進し、クロスモーダルなサンプルが不整合である多モード線形混合物の共有成分識別性について研究した。
分散分散最小化に基づく損失を提案し、共有コンポーネントの識別可能性を保証する十分な条件の組を導出する。
我々の条件は、独立成分分析に依存する既存の研究よりも遥かに緩やかな、モード間分布の相違特性と密度保存変換の除去に基づく。
より緩和された条件は、様々なアプリケーションで利用可能なサイド情報によって動機付けられた合理的な構造的制約を追加することでも提供されます。
識別可能性の主張は、合成データと実世界のデータを用いて徹底的に検証される。
関連論文リスト
- Bayesian Joint Additive Factor Models for Multiview Learning [7.254731344123118]
マルチオミクスデータが収集され、臨床結果と相関する精度医学の文脈でモチベーション応用が生じる。
本稿では,共有およびビュー固有のコンポーネントを考慮に入れた,構造化された付加的設計を伴うJAFAR(Joint Additive Factor regression model)を提案する。
免疫,メタボローム,プロテオームデータから得られた時間とラベルの発症の予測は,最先端の競合相手に対するパフォーマンス向上を示す。
論文 参考訳(メタデータ) (2024-06-02T15:35:45Z) - Correlation-Decoupled Knowledge Distillation for Multimodal Sentiment Analysis with Incomplete Modalities [16.69453837626083]
本稿では,Multimodal Sentiment Analysis (MSA)タスクのための相関分離型知識蒸留(CorrKD)フレームワークを提案する。
本稿では, クロスサンプル相関を含む包括的知識を伝達し, 欠落した意味論を再構築するサンプルレベルのコントラスト蒸留機構を提案する。
我々は,学生ネットワークの感情決定境界を最適化するために,応答不整合蒸留方式を設計する。
論文 参考訳(メタデータ) (2024-04-25T09:35:09Z) - Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。
マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。
提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
論文 参考訳(メタデータ) (2023-08-28T18:48:34Z) - DCID: Deep Canonical Information Decomposition [84.59396326810085]
本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。
そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。
また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
論文 参考訳(メタデータ) (2023-06-27T16:59:06Z) - Disentangling Mixtures of Unknown Causal Interventions [3.214838781410822]
本研究では,特定の因果ベイズネットワーク上での介入の混合に存在する全ての成分を同定する問題について検討する。
我々の証明は、これらのターゲットを可能なターゲットの指数的に大きな探索空間から回収する効率的なアルゴリズムを与える。
論文 参考訳(メタデータ) (2022-10-01T08:08:18Z) - Heterogeneous Target Speech Separation [52.05046029743995]
我々は,非相互排他的概念を用いて興味のあるソースを区別できる単一チャネルターゲットソース分離のための新しいパラダイムを提案する。
提案する異種分離フレームワークは,分散シフトが大きいデータセットをシームレスに利用することができる。
論文 参考訳(メタデータ) (2022-04-07T17:14:20Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳(メタデータ) (2022-03-29T04:54:06Z) - Shared Independent Component Analysis for Multi-Subject Neuroimaging [107.29179765643042]
本稿では,ShICA (Shared Independent Component Analysis) を導入し,各ビューを加法ガウス雑音によって汚染された共有独立成分の線形変換としてモデル化する。
このモデルは、成分がガウス的でないか、あるいはノイズ分散に十分な多様性がある場合、同定可能であることを示す。
我々は,fMRIおよびMEGデータセットの実証的証拠として,ShICAが代替品よりも正確な成分推定を行うことを示す。
論文 参考訳(メタデータ) (2021-10-26T08:54:41Z) - Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。
実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
論文 参考訳(メタデータ) (2020-07-30T05:48:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。