論文の概要: Modeling the Data-Generating Process is Necessary for
Out-of-Distribution Generalization
- arxiv url: http://arxiv.org/abs/2206.07837v1
- Date: Wed, 15 Jun 2022 22:35:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-17 14:04:11.199625
- Title: Modeling the Data-Generating Process is Necessary for
Out-of-Distribution Generalization
- Title(参考訳): アウト・オブ・ディストリビューションの一般化に必要なデータ生成プロセスのモデリング
- Authors: Jivat Neet Kaur, Emre Kiciman, Amit Sharma
- Abstract要約: 複数のドメインから収集された実世界のデータは、複数の属性に対して複数の異なる分散シフトを持つことができる。
マルチ属性分布シフトを伴うデータセットを導入し、既存の領域一般化アルゴリズムが一般化に失敗することを確認する。
本稿では、正規化のための正しい独立制約を特定するための新しいアルゴリズムCACMを提案する。
- 参考スコア(独自算出の注目度): 14.191073951237772
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-world data collected from multiple domains can have multiple, distinct
distribution shifts over multiple attributes. However, state-of-the art
advances in domain generalization (DG) algorithms focus only on specific shifts
over a single attribute. We introduce datasets with multi-attribute
distribution shifts and find that existing DG algorithms fail to generalize. To
explain this, we use causal graphs to characterize the different types of
shifts based on the relationship between spurious attributes and the
classification label. Each multi-attribute causal graph entails different
constraints over observed variables, and therefore any algorithm based on a
single, fixed independence constraint cannot work well across all shifts. We
present Causally Adaptive Constraint Minimization (CACM), a new algorithm for
identifying the correct independence constraints for regularization. Results on
fully synthetic, MNIST and small NORB datasets, covering binary and
multi-valued attributes and labels, confirm our theoretical claim: correct
independence constraints lead to the highest accuracy on unseen domains whereas
incorrect constraints fail to do so. Our results demonstrate the importance of
modeling the causal relationships inherent in the data-generating process: in
many cases, it is impossible to know the correct regularization constraints
without this information.
- Abstract(参考訳): 複数のドメインから収集された実世界データは、複数の属性に対して複数の異なる分散シフトを持つことができる。
しかし、ドメイン一般化(DG)アルゴリズムの最先端は、1つの属性に対する特定のシフトのみに焦点を当てている。
マルチ属性分布シフトを伴うデータセットを導入し,既存のDGアルゴリズムが一般化に失敗することを確認した。
これを説明するために, 因果グラフを用いて, スプリアス属性と分類ラベルの関係に基づいて, 異なる種類のシフトを特徴付ける。
各多属性因果グラフは観測された変数に対する異なる制約を伴っており、従って単一の固定独立性制約に基づくアルゴリズムは全てのシフトに対してうまく機能しない。
正規化のための独立性制約を同定する新しいアルゴリズムであるcausally adaptive constraints minimization (cacm)を提案する。
完全合成,MNIST,小NORBデータセットの2値および複数値の属性とラベルに関する結果は,我々の理論的主張を裏付けるものである。
本稿では,データ生成過程に固有の因果関係をモデル化することが重要であることを示す。
関連論文リスト
- iSCAN: Identifying Causal Mechanism Shifts among Nonlinear Additive
Noise Models [48.33685559041322]
本稿では,同一変数集合上の2つ以上の関連するデータセットにおける因果メカニズムシフトの同定に焦点をあてる。
提案手法を実装したコードはオープンソースであり、https://github.com/kevinsbello/iSCAN.comで公開されている。
論文 参考訳(メタデータ) (2023-06-30T01:48:11Z) - Learning to Bound Counterfactual Inference in Structural Causal Models
from Observational and Randomised Data [64.96984404868411]
我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。
新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。
反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
論文 参考訳(メタデータ) (2022-12-06T12:42:11Z) - Data-Efficient and Interpretable Tabular Anomaly Detection [54.15249463477813]
本稿では,ホワイトボックスモデルクラスである一般化付加モデルを適用し,異常を検出する新しいフレームワークを提案する。
さらに、提案フレームワークであるDIADは、ラベル付きデータの少量を組み込んで、半教師付き設定における異常検出性能をさらに向上させることができる。
論文 参考訳(メタデータ) (2022-03-03T22:02:56Z) - Disentanglement and Generalization Under Correlation Shifts [22.499106910581958]
実世界のデータでは、変動要因間の相関が一般的である。
機械学習アルゴリズムは、ノイズの多いデータに対する予測性能を高めることができるため、そのような相関を利用する利点がある。
潜在部分空間の様々な要因を捉える表現を学習することを目的としている。
論文 参考訳(メタデータ) (2021-12-29T18:55:17Z) - Calibrated Feature Decomposition for Generalizable Person
Re-Identification [82.64133819313186]
Calibrated Feature Decomposition (CFD)モジュールは、人物の再識別の一般化能力の向上に焦点を当てている。
キャリブレーション・アンド・スタンダード化されたバッチ正規化(CSBN)は、キャリブレーションされた人物表現を学習するために設計されている。
論文 参考訳(メタデータ) (2021-11-27T17:12:43Z) - High-dimensional separability for one- and few-shot learning [58.8599521537]
この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。
特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。
AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
論文 参考訳(メタデータ) (2021-06-28T14:58:14Z) - Differentiable Causal Discovery Under Unmeasured Confounding [19.635669040319872]
確立されたシステムは、祖先ADMGを通して表現できないより一般的な平等の制限を示す。
我々はこれらの制約を用いて因果発見を連続最適化問題とする。
シミュレーションにより本手法の有効性を実証し,タンパク質発現データセットに適用する。
論文 参考訳(メタデータ) (2020-10-14T11:47:45Z) - Self-training Avoids Using Spurious Features Under Domain Shift [54.794607791641745]
教師なし領域適応においては、条件付きエントロピー最小化と擬似ラベル処理は、既存の理論で解析されたものよりもドメインシフトがはるかに大きい場合であっても行われる。
ドメインシフトが大きくなる可能性のある特定の設定を特定・分析するが、特定のスパイラルな特徴はソースドメインのラベルと相関するが、ターゲットの独立なラベルである。
論文 参考訳(メタデータ) (2020-06-17T17:51:42Z) - Learn to Expect the Unexpected: Probably Approximately Correct Domain
Generalization [38.345670899258515]
ドメインの一般化は、トレーニングデータとテストデータが異なるデータドメインから来るときの機械学習の問題である。
データ分布にメタ分布が存在する領域をまたいで一般化する単純な理論モデルを提案する。
論文 参考訳(メタデータ) (2020-02-13T17:37:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。