論文の概要: Disentanglement of Correlated Factors via Hausdorff Factorized Support

• arxiv url: http://arxiv.org/abs/2210.07347v1
• Date: Thu, 13 Oct 2022 20:46:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 15:32:12.760808
• Title: Disentanglement of Correlated Factors via Hausdorff Factorized Support
• Title（参考訳）: ハウスドルフ因子化支援による関連因子の分散
• Authors: Karsten Roth, Mark Ibrahim, Zeynep Akata, Pascal Vincent, Diane Bouchacourt
• Abstract要約: 本稿では,因子分布ではなく,因子化支援を助長する緩やかな解離基準,HFS(Hausdorff Factorized Support)基準を提案する。 本研究では,HFSを用いることにより,様々な相関設定やベンチマークにおいて,接地構造因子の絡み合いと回復が一貫して促進されることを示す。
• 参考スコア（独自算出の注目度）: 53.23740352226391
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A grand goal in deep learning research is to learn representations capable of generalizing across distribution shifts. Disentanglement is one promising direction aimed at aligning a models representations with the underlying factors generating the data (e.g. color or background). Existing disentanglement methods, however, rely on an often unrealistic assumption: that factors are statistically independent. In reality, factors (like object color and shape) are correlated. To address this limitation, we propose a relaxed disentanglement criterion - the Hausdorff Factorized Support (HFS) criterion - that encourages a factorized support, rather than a factorial distribution, by minimizing a Hausdorff distance. This allows for arbitrary distributions of the factors over their support, including correlations between them. We show that the use of HFS consistently facilitates disentanglement and recovery of ground-truth factors across a variety of correlation settings and benchmarks, even under severe training correlations and correlation shifts, with in parts over +60% in relative improvement over existing disentanglement methods. In addition, we find that leveraging HFS for representation learning can even facilitate transfer to downstream tasks such as classification under distribution shifts. We hope our original approach and positive empirical results inspire further progress on the open problem of robust generalization.
• Abstract（参考訳）: ディープラーニング研究の大きな目標は、分散シフトを一般化できる表現を学ぶことだ。 ディスタングルメントは、データを生成する基本的な要因(色や背景など)とモデル表現を整合させることを目的とした、有望な方向の1つである。 しかし、既存の偏角法は、しばしば非現実的な仮定に依存している:その要因は統計的に独立である。 現実には、要素(物体の色や形など)は相関する。 この制限に対処するため, ハウスドルフ距離を最小化することにより, 因子分布よりも因子化支援を助長する緩やかなアンタングル化基準であるハウスドルフ因子化支援(HFS)基準を提案する。 これにより、それら間の相関を含む、サポート上の因子の任意の分布が可能になる。 その結果,hfsの使用は,厳密なトレーニング相関や相関シフトにおいても,様々な相関設定やベンチマークにおいて,接地要因のばらつきや回復を一貫して促進し,既存の絡み合い法に比べて,60%以上の改善が得られていることが分かった。 さらに,HFSを表現学習に活用することで,分布シフトによる分類などの下流タスクへの移行も容易にできることがわかった。 当社の独自のアプローチとポジティブな実証結果が,堅牢な一般化というオープン問題のさらなる進展を促すことを願っています。

関連論文リスト

• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
  この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。 本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。 学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T02:38:21Z)
• Sanitized Clustering against Confounding Bias [38.928080236294775]
  本稿では,共起バイアスに対する衛生クラスタリング(SCAB)という新しいクラスタリングフレームワークを提案する。 SCABは、非線型依存尺度を通じて、複素データのセマンティック潜在空間における境界要素を除去する。 複雑なデータセットの実験は、SCABがクラスタリングのパフォーマンスにおいて大きな向上を達成していることを示している。
  論文  参考訳（メタデータ） (2023-11-02T14:10:14Z)
• A Causal Ordering Prior for Unsupervised Representation Learning [27.18951912984905]
  因果表現学習(Causal representation learning)は、データセットの変動の要因は、実際には因果関係にあると主張している。 本稿では,遅延付加雑音モデルを用いたデータ生成過程を考慮した,教師なし表現学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-11T18:12:05Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Pareto GAN: Extending the Representational Power of GANs to Heavy-Tailed Distributions [6.356866333887868]
  既存のGANアーキテクチャは,重み付き分布の挙動にマッチする作業が不十分であることを示す。 我々は, 極値理論とニューラルネットワークの機能的性質を用いて, 敵対的特徴の挙動に適合する分布を学習する。
  論文  参考訳（メタデータ） (2021-01-22T14:06:02Z)
• On Disentangled Representations Learned From Correlated Data [59.41587388303554]
  相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。 本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。 また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
  論文  参考訳（メタデータ） (2020-06-14T12:47:34Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。