論文の概要: Synergy Between Sufficient Changes and Sparse Mixing Procedure for Disentangled Representation Learning

• arxiv url: http://arxiv.org/abs/2503.00639v1
• Date: Sat, 01 Mar 2025 22:21:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:24:48.257559
• Title: Synergy Between Sufficient Changes and Sparse Mixing Procedure for Disentangled Representation Learning
• Title（参考訳）: アンタングル表現学習における十分変化とスパース混合手法の相乗効果
• Authors: Zijian Li, Shunxing Fan, Yujia Zheng, Ignavier Ng, Shaoan Xie, Guangyi Chen, Xinshuai Dong, Ruichu Cai, Kun Zhang,
• Abstract要約: アンタングル表現学習は、観測データの背後にある潜伏変数を明らかにすることを目的としている。 いくつかのアプローチは、ドメインインデックスのような補助変数によって示される潜伏変数の分布に十分な変化に依存する。 本稿では,分散変化とスパース混合過程に関する制約の少ない識別可能性理論を提案する。
• 参考スコア（独自算出の注目度）: 32.482584125236016
• License:
• Abstract: Disentangled representation learning aims to uncover latent variables underlying the observed data, and generally speaking, rather strong assumptions are needed to ensure identifiability. Some approaches rely on sufficient changes on the distribution of latent variables indicated by auxiliary variables such as domain indices, but acquiring enough domains is often challenging. Alternative approaches exploit structural sparsity assumptions on the mixing procedure, but such constraints are usually (partially) violated in practice. Interestingly, we find that these two seemingly unrelated assumptions can actually complement each other to achieve identifiability. Specifically, when conditioned on auxiliary variables, the sparse mixing procedure assumption provides structural constraints on the mapping from estimated to true latent variables and hence compensates for potentially insufficient distribution changes. Building on this insight, we propose an identifiability theory with less restrictive constraints regarding distribution changes and the sparse mixing procedure, enhancing applicability to real-world scenarios. Additionally, we develop an estimation framework incorporating a domain encoding network and a sparse mixing constraint and provide two implementations based on variational autoencoders and generative adversarial networks, respectively. Experiment results on synthetic and real-world datasets support our theoretical results.
• Abstract（参考訳）: 不整合表現学習は、観測データの基礎となる潜伏変数を明らかにすることを目的としており、一般的には、識別可能性を確保するためにはより強い仮定が必要である。 いくつかのアプローチは、ドメインインデックスのような補助変数によって示される潜伏変数の分布に十分な変更に依存するが、十分なドメインを取得することはしばしば困難である。 代替のアプローチでは、混合手順に関する構造的疎性仮定を利用するが、そのような制約は通常(部分的には)実際に違反される。 興味深いことに、これら2つの一見無関係な仮定は、実際に相互に補完し、識別可能性を達成することができる。 具体的には、補助変数に条件付けされたとき、スパース混合手順の仮定は、推定された潜在変数から真の潜伏変数への写像に関する構造的制約を与え、したがって、潜在的に不十分な分布変化を補償する。 この知見に基づいて,分布変化とスパース混合手順に関する制約の少ない識別可能性理論を提案し,実世界のシナリオへの適用性を高めた。 さらに、ドメインエンコーディングネットワークとスパースミキシング制約を組み込んだ推定フレームワークを開発し、それぞれ可変オートエンコーダと生成逆ネットワークに基づく2つの実装を提供する。 合成および実世界のデータセットに関する実験結果は、我々の理論的結果を支持する。

関連論文リスト

• Conformal Prediction under Lévy-Prokhorov Distribution Shifts: Robustness to Local and Global Perturbations [41.94295877935867]
  我々は、分布シフトの下で有効であるような頑健な共形予測区間を構築する。 共形予測とLP曖昧性集合とのリンクは自然なものであることを示す。 この分析に基づいて、分布シフトの下でも有効である頑健な等角予測区間を構築する。
  論文  参考訳（メタデータ） (2025-02-19T21:18:11Z)
• Towards Understanding Extrapolation: a Causal Lens [53.15488984371969]
  我々は、外挿がいつ可能かを理論的に理解し、それを実現するための原則的な方法を提供する。 この定式化の下では、外挿問題を潜在変数識別問題にキャストする。 この理論は、基礎となる多様体の滑らかさとシフト特性の間の複雑な相互作用を明らかにする。
  論文  参考訳（メタデータ） (2025-01-15T21:29:29Z)
• Proxy Methods for Domain Adaptation [78.03254010884783]
  プロキシ変数は、遅延変数を明示的にリカバリしたりモデル化したりすることなく、分散シフトへの適応を可能にする。 両設定の複雑な分散シフトに適応する2段階のカーネル推定手法を開発した。
  論文  参考訳（メタデータ） (2024-03-12T09:32:41Z)
• Identifiable Latent Causal Content for Domain Adaptation under Latent Covariate Shift [82.14087963690561]
  マルチソースドメイン適応(MSDA)は、ラベル付き対象ドメインのラベル予測関数を学習する際の課題に対処する。 本稿では,潜在コンテンツ変数と潜時スタイル変数とともに,ドメイン間の潜時雑音を導入し,複雑な因果生成モデルを提案する。 提案手法は、シミュレーションと実世界の両方のデータセットに対して、例外的な性能と有効性を示す。
  論文  参考訳（メタデータ） (2022-08-30T11:25:15Z)
• Causal Discovery in Heterogeneous Environments Under the Sparse Mechanism Shift Hypothesis [7.895866278697778]
  機械学習のアプローチは、一般に独立で同一に分散されたデータ(すなわち、d)の仮定に依存する。 実際、この仮定は環境間の分散シフトによってほとんど常に破られる。 そこで我々は,様々な経験的推定器に適用可能なスコアベースアプローチであるメカニズムシフトスコア(MSS)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T15:39:30Z)
• Structure-preserving GANs [6.438897276587413]
  分散学習のためのデータ効率フレームワークとして,構造保存型GANを導入する。 我々は、不変判別器空間上のその射影に対して、判別器空間を減少させることができることを示す。 固有群対称性を持つ分布に対する対称性保存GANを構築することで、我々の枠組みを文脈化する。
  論文  参考訳（メタデータ） (2022-02-02T16:40:04Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。