論文の概要: Can predictive models be used for causal inference?
- arxiv url: http://arxiv.org/abs/2306.10551v1
- Date: Sun, 18 Jun 2023 13:11:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 19:53:53.095206
- Title: Can predictive models be used for causal inference?
- Title（参考訳）: 予測モデルは因果推論に使用できるか?
- Authors: Maximilian Pichler and Florian Hartig
- Abstract要約: Supervised Machine Learning (ML)とDeep Learning (DL)アルゴリズムは予測タスクで優れている。
一般に、それらは非因果関係を利用して行うと仮定される。
この説明と予測のトレードオフは、期待したほど深く、根本的ではないことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Supervised machine learning (ML) and deep learning (DL) algorithms excel at
predictive tasks, but it is commonly assumed that they often do so by
exploiting non-causal correlations, which may limit both interpretability and
generalizability. Here, we show that this trade-off between explanation and
prediction is not as deep and fundamental as expected. Whereas ML and DL
algorithms will indeed tend to use non-causal features for prediction when fed
indiscriminately with all data, it is possible to constrain the learning
process of any ML and DL algorithm by selecting features according to Pearl's
backdoor adjustment criterion. In such a situation, some algorithms, in
particular deep neural networks, can provide near unbiased effect estimates
under feature collinearity. Remaining biases are explained by the specific
algorithmic structures as well as hyperparameter choice. Consequently, optimal
hyperparameter settings are different when tuned for prediction or inference,
confirming the general expectation of a trade-off between prediction and
explanation. However, the effect of this trade-off is small compared to the
effect of a causally constrained feature selection. Thus, once the causal
relationship between the features is accounted for, the difference between
prediction and explanation may be much smaller than commonly assumed. We also
show that such causally constrained models generalize better to new data with
altered collinearity structures, suggesting generalization failure may often be
due to a lack of causal learning. Our results not only provide a perspective
for using ML for inference of (causal) effects but also help to improve the
generalizability of fitted ML and DL models to new data.
- Abstract（参考訳）: 機械学習 (ML) と深層学習 (DL) アルゴリズムは予測タスクに優れるが、一般的には非因果関係を利用して、解釈可能性と一般化可能性の両方を制限すると仮定される。
ここでは,この説明と予測のトレードオフが,期待したほど深く,基本的なものではないことを示す。
MLとDLのアルゴリズムは、すべてのデータに不特定に入力された場合の予測に非因果的特徴を用いる傾向にあるが、Pearlのバックドア調整基準に従って特徴を選択することで、任意のMLとDLアルゴリズムの学習プロセスを制限することができる。
このような状況では、いくつかのアルゴリズム、特にディープニューラルネットワークは、特徴コリニアリティの下でほぼ偏りのない効果推定を提供することができる。
残されるバイアスは、特定のアルゴリズム構造とハイパーパラメータ選択によって説明される。
その結果、予測や推論のために調整された場合、最適なハイパーパラメータ設定が異なり、予測と説明の間のトレードオフの一般的な期待を確認する。
しかし、このトレードオフの効果は因果的に制約された特徴選択の効果と比較して小さい。
したがって、特徴間の因果関係が説明されれば、予測と説明の差は一般的に想定されるよりもはるかに小さくなる。
また,このような因果制約のあるモデルが,共線形構造が変化した新しいデータに対してより一般化することを示し,一般化の失敗はしばしば因果学習の欠如によるものであることを示唆する。
以上の結果から,mlモデルを用いて(causal)効果を推定する視点を提供するだけでなく,新しいデータに対するmlモデルとdlモデルの一般化可能性の向上にも寄与した。
関連論文リスト
- Mechanism learning: Reverse causal inference in the presence of multiple unknown confounding through front-door causal bootstrapping [0.8901073744693314]
機械学習(ML)予測モデルの最大の制限は、変数間の因果関係ではなく、関連性を取り戻すことである。
本稿では,前向きの因果ブートストラップを用いて観測データを分解する機構学習を提案する。
提案手法は,完全合成,半合成,実世界のデータセットを用いて,信頼性,不偏性,因果的ML予測器を検出できることを実証する。
論文 参考訳（メタデータ） (2024-10-26T03:34:55Z) - Revisiting Optimism and Model Complexity in the Wake of Overparameterized Machine Learning [6.278498348219108]
まず、(有効)自由度という古典的な統計的概念を再解釈し、拡張することで、第一原理からモデルの複雑さを再考する。
我々は,概念的議論,理論,実験の混合を通じて,提案した複雑性尺度の有用性を実証する。
論文 参考訳（メタデータ） (2024-10-02T06:09:57Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳（メタデータ） (2021-06-15T18:34:41Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳（メタデータ） (2021-06-07T17:47:16Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - The Predictive Normalized Maximum Likelihood for Over-parameterized
Linear Regression with Norm Constraint: Regret and Double Descent [12.929639356256928]
現代の機械学習モデルは、予測規則の複雑さとその一般化能力の間のトレードオフに従わないことを示す。
最近提案された予測正規化最大値 (pNML) は、個々のデータに対するmin-max後悔解である。
我々は,pNML後悔を合成データ上でのポイントワイド学習可能性尺度として使用し,二重発生現象の予測に成功していることを示す。
論文 参考訳（メタデータ） (2021-02-14T15:49:04Z) - Benign overfitting in ridge regression [0.0]
過度にパラメータ化されたリッジ回帰に対する漸近的でない一般化境界を提供する。
最小あるいは負の正則化が小さい一般化誤差を得るのに十分であるかどうかを同定する。
論文 参考訳（メタデータ） (2020-09-29T20:00:31Z) - CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。
CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
論文 参考訳（メタデータ） (2020-09-28T09:49:38Z) - Predictive Complexity Priors [3.5547661483076998]
本稿では,モデルの予測と参照モデルの予測を比較して定義する機能的先行モデルを提案する。
もともとはモデル出力で定義されていたが、変数の変更によってモデルパラメータの前の値を転送する。
我々は,高次元回帰,ニューラルネットワーク深度の推論,数ショット学習における統計的強度の共有に先立って,予測複雑性を適用した。
論文 参考訳（メタデータ） (2020-06-18T18:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。