論文の概要: Causal Invariance Learning via Efficient Optimization of a Nonconvex Objective
- arxiv url: http://arxiv.org/abs/2412.11850v1
- Date: Mon, 16 Dec 2024 15:11:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:54:07.513671
- Title: Causal Invariance Learning via Efficient Optimization of a Nonconvex Objective
- Title（参考訳）: 非凸対象の効率的な最適化による因果不変学習
- Authors: Zhenyu Wang, Yifan Hu, Peter Bühlmann, Zijian Guo,
- Abstract要約: 本稿では,因果関係の因果関係を同定する新しい手法を提案する。
我々のアルゴリズムは徹底的な探索を避ける。
本手法は因果結果モデルに収束することを示す。
- 参考スコア（独自算出の注目度）: 12.423111378195667
- License:
- Abstract: Data from multiple environments offer valuable opportunities to uncover causal relationships among variables. Leveraging the assumption that the causal outcome model remains invariant across heterogeneous environments, state-of-the-art methods attempt to identify causal outcome models by learning invariant prediction models and rely on exhaustive searches over all (exponentially many) covariate subsets. These approaches present two major challenges: 1) determining the conditions under which the invariant prediction model aligns with the causal outcome model, and 2) devising computationally efficient causal discovery algorithms that scale polynomially, instead of exponentially, with the number of covariates. To address both challenges, we focus on the additive intervention regime and propose nearly necessary and sufficient conditions for ensuring that the invariant prediction model matches the causal outcome model. Exploiting the essentially necessary identifiability conditions, we introduce Negative Weight Distributionally Robust Optimization NegDRO a nonconvex continuous minimax optimization whose global optimizer recovers the causal outcome model. Unlike standard group DRO problems that maximize over the simplex, NegDRO allows negative weights on environment losses, which break the convexity. Despite its nonconvexity, we demonstrate that a standard gradient method converges to the causal outcome model, and we establish the convergence rate with respect to the sample size and the number of iterations. Our algorithm avoids exhaustive search, making it scalable especially when the number of covariates is large. The numerical results further validate the efficiency of the proposed method.
- Abstract（参考訳）: 複数の環境からのデータは、変数間の因果関係を明らかにする貴重な機会を提供する。
因果結果モデルが不均一な環境において不変であるという仮定を生かして、最先端の手法は、不変な予測モデルを学ぶことによって因果結果モデルを特定し、すべての(指数的に多くの)共変部分集合を網羅的に探索することに依存する。
これらのアプローチには2つの大きな課題がある。
1【変分予測モデルが因果結果モデルと整合する条件の決定】
2) 指数関数ではなく多項式を指数関数的に拡張する計算効率の良い因果探索アルゴリズムを考案した。
両課題に対処するために,加法的介入体制に注目し,不変予測モデルが因果結果モデルと一致することを保証するために,ほぼ必要かつ十分な条件を提案する。
本質的に必要な識別可能性条件を探索し、負重み分布ロバスト最適化(NegDRO)を導入し、大域最適化器が因果結果モデルを回復する非凸連続ミニマックス最適化を行う。
単純度を最大化する標準群 DRO 問題とは異なり、NegDRO は環境損失に対する負の重み付けを許容し、凸性を破る。
非凸性にもかかわらず、標準勾配法が因果結果モデルに収束することを示し、サンプルサイズと反復数に関して収束率を確立する。
我々のアルゴリズムは徹底的な探索を回避し、特に共変量が大きい場合のスケーラビリティを向上する。
さらに,提案手法の有効性を検証した。
関連論文リスト
- Statistical ranking with dynamic covariates [6.729750785106628]
確率推定器 (MLE) を計算するための効率的な交互アルゴリズムを提案する。
馬の競馬やテニス競技を含む実世界のデータセットに提案したモデルの適用を実証するために,我々の理論的知見を裏付ける包括的数値的研究を行った。
論文 参考訳（メタデータ） (2024-06-24T10:26:05Z) - Causality Pursuit from Heterogeneous Environments via Neural Adversarial Invariance Learning [12.947265104477237]
データから因果関係を抽出することは、科学的発見、治療介入、伝達学習における根本的な問題である。
Focused Adversial Invariant Regularization (FAIR) フレームワークは、革新的なミニマックス最適化アプローチを採用している。
FAIR-NNは最小の識別条件下で不変変数と準因果変数を見つけることができる。
論文 参考訳（メタデータ） (2024-05-07T23:37:40Z) - Robust Estimation of Causal Heteroscedastic Noise Models [7.568978862189266]
学生の$t$-distributionは、より小さなサンプルサイズと極端な値で、全体の分布形態を著しく変えることなく、サンプル変数をサンプリングすることの堅牢さで知られている。
我々の経験的評価は、我々の推定器はより堅牢で、合成ベンチマークと実ベンチマークの総合的な性能が向上していることを示している。
論文 参考訳（メタデータ） (2023-12-15T02:26:35Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Optimization-based Causal Estimation from Heterogenous Environments [35.74340459207312]
CoCoは、純粋な予測と因果推論のギャップを埋める最適化アルゴリズムである。
本稿では,本手法の理論的基礎を説明し,シミュレーションおよび実データに対する有効性を示す。
論文 参考訳（メタデータ） (2021-09-24T14:21:58Z) - Estimation of Bivariate Structural Causal Models by Variational Gaussian
Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
因果機構は構造因果モデルによって記述できる。
最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
論文 参考訳（メタデータ） (2021-09-06T14:52:58Z) - Residual Gaussian Process: A Tractable Nonparametric Bayesian Emulator
for Multi-fidelity Simulations [6.6903363553912305]
高い忠実度溶液を最低忠実度溶液と残留物の和として記述する新規な付加構造が導入された。
得られたモデルは、予測後部のための閉形式解を備える。
特に計算予算が限られているモデルを改善するために,アクティブな学習がいかに有効かを示す。
論文 参考訳（メタデータ） (2021-04-08T12:57:46Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-09-01T19:12:11Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳（メタデータ） (2020-05-21T16:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。