論文の概要: Disentanglement and Generalization Under Correlation Shifts
- arxiv url: http://arxiv.org/abs/2112.14754v1
- Date: Wed, 29 Dec 2021 18:55:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-30 14:49:16.525494
- Title: Disentanglement and Generalization Under Correlation Shifts
- Title(参考訳): 相関シフト下での絡み合いと一般化
- Authors: Christina M. Funke, Paul Vicol, Kuan-Chieh Wang, Matthias K\"ummerer,
Richard Zemel and Matthias Bethge
- Abstract要約: 実世界のデータでは、変動要因間の相関が一般的である。
機械学習アルゴリズムは、ノイズの多いデータに対する予測性能を高めることができるため、そのような相関を利用する利点がある。
潜在部分空間の様々な要因を捉える表現を学習することを目的としている。
- 参考スコア(独自算出の注目度): 22.499106910581958
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Correlations between factors of variation are prevalent in real-world data.
Machine learning algorithms may benefit from exploiting such correlations, as
they can increase predictive performance on noisy data. However, often such
correlations are not robust (e.g., they may change between domains, datasets,
or applications) and we wish to avoid exploiting them. Disentanglement methods
aim to learn representations which capture different factors of variation in
latent subspaces. A common approach involves minimizing the mutual information
between latent subspaces, such that each encodes a single underlying attribute.
However, this fails when attributes are correlated. We solve this problem by
enforcing independence between subspaces conditioned on the available
attributes, which allows us to remove only dependencies that are not due to the
correlation structure present in the training data. We achieve this via an
adversarial approach to minimize the conditional mutual information (CMI)
between subspaces with respect to categorical variables. We first show
theoretically that CMI minimization is a good objective for robust
disentanglement on linear problems with Gaussian data. We then apply our method
on real-world datasets based on MNIST and CelebA, and show that it yields
models that are disentangled and robust under correlation shift, including in
weakly supervised settings.
- Abstract(参考訳): 変動要因間の相関は実世界データでよく見られる。
機械学習アルゴリズムは、ノイズの多いデータに対する予測性能を高めることができるため、そのような相関を利用する利点がある。
しかし、そのような相関は堅牢ではないことが多い(例えば、ドメイン、データセット、アプリケーション間で変更される可能性がある)。
ディスタングルメント法は、潜在部分空間の変動の異なる要因を捉える表現を学習することを目的としている。
一般的なアプローチは、潜在部分空間間の相互情報の最小化であり、それぞれが単一の基盤属性を符号化する。
しかし、属性が関連付けられると失敗する。
我々は、利用可能な属性に条件付けされた部分空間間の独立性を強制することにより、トレーニングデータに存在する相関構造に起因しない依存関係のみを除去する。
我々は, カテゴリー変数に対する部分空間間の条件付き相互情報(CMI)を最小化するために, 逆アプローチによりこれを達成した。
まず,CMIの最小化がガウスデータの線形問題に対する頑健な絡み合いのよい目的であることを理論的に示す。
次に,本手法をmnistとcelebaに基づく実世界のデータセットに適用し,弱い教師付き設定を含む相関シフト下で不連続かつ頑健なモデルが得られることを示す。
関連論文リスト
- FACTS: First Amplify Correlations and Then Slice to Discover Bias [17.244153084361102]
コンピュータビジョンデータセットは、しばしばタスク関連ラベルと(学習しやすい)潜在タスク関連属性の間の急激な相関を含んでいる。
このようなデータセットでトレーニングされたモデルは、"ショートカット"を学び、相関が保たないデータのバイアス分散スライスを過小評価する。
本稿では,まず相関を増幅し,次にバイアスを識別し,下流のバイアス軽減戦略について報告する。
論文 参考訳(メタデータ) (2023-09-29T17:41:26Z) - SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [66.53828093487269]
我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。
両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。
実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
論文 参考訳(メタデータ) (2023-04-06T17:36:23Z) - Direct-Effect Risk Minimization for Domain Generalization [11.105832297850188]
本稿では、因果推論による直接的および間接的効果の概念を領域一般化問題に導入する。
直接効果を学習するモデルは、相関シフトしたドメイン間で最悪のケースリスクを最小限に抑えると我々は主張する。
5つの相関シフトデータセットとDomainBedベンチマークの実験により、我々のアプローチの有効性が検証された。
論文 参考訳(メタデータ) (2022-11-26T15:35:36Z) - Towards Understanding and Mitigating Dimensional Collapse in
Heterogeneous Federated Learning [114.32726625370258]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:04:17Z) - Modeling the Data-Generating Process is Necessary for
Out-of-Distribution Generalization [14.191073951237772]
複数のドメインから収集された実世界のデータは、複数の属性に対して複数の異なる分散シフトを持つことができる。
マルチ属性分布シフトを伴うデータセットを導入し、既存の領域一般化アルゴリズムが一般化に失敗することを確認する。
本稿では、正規化のための正しい独立制約を特定するための新しいアルゴリズムCACMを提案する。
論文 参考訳(メタデータ) (2022-06-15T22:35:06Z) - Domain Generalization via Domain-based Covariance Minimization [4.414778226415752]
本稿では,領域間の条件分布の差を最小限に抑えるために,複数の領域に対する新しい分散測定法を提案する。
小規模なデータセットでは、未確認のテストデータセットよりも優れた一般化性能を示す、より良い定量的結果が得られることを示す。
論文 参考訳(メタデータ) (2021-10-12T19:30:15Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳(メタデータ) (2021-06-14T05:39:09Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:01:24Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳(メタデータ) (2020-07-21T08:18:06Z) - On Disentangled Representations Learned From Correlated Data [59.41587388303554]
相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。
本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。
また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
論文 参考訳(メタデータ) (2020-06-14T12:47:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。