論文の概要: Learning Robust Models Using The Principle of Independent Causal
Mechanisms
- arxiv url: http://arxiv.org/abs/2010.07167v2
- Date: Mon, 8 Feb 2021 15:39:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 12:16:34.673267
- Title: Learning Robust Models Using The Principle of Independent Causal
Mechanisms
- Title(参考訳): 独立因果メカニズムの原理を用いたロバストモデル学習
- Authors: Jens M\"uller, Robert Schmier, Lynton Ardizzone, Carsten Rother and
Ullrich K\"othe
- Abstract要約: ICMの原理から目的関数を導出する勾配学習フレームワークを提案する。
理論的、実験的に、このフレームワークで訓練されたニューラルネットワークは、環境間で不変な関係に重点を置いていることを示す。
- 参考スコア(独自算出の注目度): 26.79262903241044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Standard supervised learning breaks down under data distribution shift.
However, the principle of independent causal mechanisms (ICM, Peters et al.
(2017)) can turn this weakness into an opportunity: one can take advantage of
distribution shift between different environments during training in order to
obtain more robust models. We propose a new gradient-based learning framework
whose objective function is derived from the ICM principle. We show
theoretically and experimentally that neural networks trained in this framework
focus on relations remaining invariant across environments and ignore unstable
ones. Moreover, we prove that the recovered stable relations correspond to the
true causal mechanisms under certain conditions. In both regression and
classification, the resulting models generalize well to unseen scenarios where
traditionally trained models fail.
- Abstract(参考訳): 標準教師付き学習は、データ分散シフト下で崩壊する。
しかしながら、独立因果メカニズム(icm, peters et al. (2017))の原則は、この弱点を機会に変えることができる。
本稿では,目的関数をicm原理から導出する新しい勾配型学習フレームワークを提案する。
このフレームワークでトレーニングされたニューラルネットワークは、環境にまたがる不変な関係に注目し、不安定な関係を無視する。
さらに, 回復した安定関係は, ある条件下での真の因果関係と一致することを示す。
回帰と分類の両方において、結果として得られるモデルは、伝統的に訓練されたモデルが失敗する未発見のシナリオにうまく一般化する。
関連論文リスト
- On the Interventional Kullback-Leibler Divergence [11.57430292133273]
因果モデル間の構造的差異と分布的差異を定量化するために、Interventional Kullback-Leibler divergenceを導入する。
本稿では,介入対象に対する十分な条件を提案し,モデルが確実に一致または一致しない観察変数のサブセットを同定する。
論文 参考訳(メタデータ) (2023-02-10T17:03:29Z) - Learning Optimal Features via Partial Invariance [18.552839725370383]
不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。
IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。
線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
論文 参考訳(メタデータ) (2023-01-28T02:48:14Z) - How robust are pre-trained models to distribution shift? [82.08946007821184]
自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。
本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
論文 参考訳(メタデータ) (2022-06-17T16:18:28Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-09T17:12:32Z) - Causal Discovery in Heterogeneous Environments Under the Sparse
Mechanism Shift Hypothesis [7.895866278697778]
機械学習のアプローチは、一般に独立で同一に分散されたデータ(すなわち、d)の仮定に依存する。
実際、この仮定は環境間の分散シフトによってほとんど常に破られる。
そこで我々は,様々な経験的推定器に適用可能なスコアベースアプローチであるメカニズムシフトスコア(MSS)を提案する。
論文 参考訳(メタデータ) (2022-06-04T15:39:30Z) - Bias-inducing geometries: an exactly solvable data model with fairness
implications [13.690313475721094]
我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。
この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。
フェアネス評価によく用いられる観測対象の正確な予測値を得る。
論文 参考訳(メタデータ) (2022-05-31T16:27:57Z) - CC-Cert: A Probabilistic Approach to Certify General Robustness of
Neural Networks [58.29502185344086]
安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。
意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。
我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
論文 参考訳(メタデータ) (2021-09-22T12:46:04Z) - Discovering Latent Causal Variables via Mechanism Sparsity: A New
Principle for Nonlinear ICA [81.4991350761909]
ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。
潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
論文 参考訳(メタデータ) (2021-07-21T14:22:14Z) - Prequential MDL for Causal Structure Learning with Neural Networks [9.669269791955012]
ベイジアンネットワークの実用的スコアリング関数を導出するために,事前最小記述長の原理が利用できることを示す。
我々は、調整しなければならない事前やその他の正規化子を誘導するスパーシリティに頼ることなく、可塑性および擬似グラフ構造を得る。
本研究は, 適応速度から因果構造を推定する最近の研究と, 分布変化の源泉から観測結果が得られた場合の因果構造との関係について考察する。
論文 参考訳(メタデータ) (2021-07-02T22:35:21Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。