論文の概要: Boosted Control Functions

• arxiv url: http://arxiv.org/abs/2310.05805v1
• Date: Mon, 9 Oct 2023 15:43:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 06:37:24.637489
• Title: Boosted Control Functions
• Title（参考訳）: ブースト制御機能
• Authors: Nicola Gnecco, Jonas Peters, Sebastian Engelke, and Niklas Pfister
• Abstract要約: 本研究の目的は,因果効果推定と予測タスクのギャップを埋めることである。 我々は,機械学習の分布場と同時方程式モデル,およびエコノメティクスの制御関数との新たな接続を確立する。 このフレームワーク内では、予測モデルに対する不変性の強い概念を提案し、それを既存の(ウィーカー)バージョンと比較する。
• 参考スコア（独自算出の注目度）: 10.503777692702952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern machine learning methods and the availability of large-scale data opened the door to accurately predict target quantities from large sets of covariates. However, existing prediction methods can perform poorly when the training and testing data are different, especially in the presence of hidden confounding. While hidden confounding is well studied for causal effect estimation (e.g., instrumental variables), this is not the case for prediction tasks. This work aims to bridge this gap by addressing predictions under different training and testing distributions in the presence of unobserved confounding. In particular, we establish a novel connection between the field of distribution generalization from machine learning, and simultaneous equation models and control function from econometrics. Central to our contribution are simultaneous equation models for distribution generalization (SIMDGs) which describe the data-generating process under a set of distributional shifts. Within this framework, we propose a strong notion of invariance for a predictive model and compare it with existing (weaker) versions. Building on the control function approach from instrumental variable regression, we propose the boosted control function (BCF) as a target of inference and prove its ability to successfully predict even in intervened versions of the underlying SIMDG. We provide necessary and sufficient conditions for identifying the BCF and show that it is worst-case optimal. We introduce the ControlTwicing algorithm to estimate the BCF and analyze its predictive performance on simulated and real world data.
• Abstract（参考訳）: 現代の機械学習手法と大規模データの利用可能性は、大量の共変量からターゲット量を正確に予測するための扉を開いた。 しかしながら、既存の予測手法は、トレーニングやテストデータが異なる場合、特に隠れたコンファウンドが存在する場合、うまくいかない可能性がある。 隠れコンバウンディングは因果効果推定(例えば器用変数)のためによく研究されているが、予測タスクではそうではない。 この研究は、異なるトレーニングの下での予測に対処することで、このギャップを埋めることを目的としている。 特に,機械学習からの分布一般化の分野と,econometrics からの同時方程式モデルと制御関数との新たな関係性を確立する。 我々の貢献の中心は、分散一般化(SIMDG)のための同時方程式モデルであり、分散シフトの集合の下でデータ生成過程を記述する。 このフレームワーク内では、予測モデルに対する不変性の強い概念を提案し、既存の(ウィーカー)バージョンと比較する。 インスツルメンタル変数回帰からの制御関数アプローチに基づいて,推測対象として強化制御関数(BCF)を提案し,基礎となるSIMDGのインターベンションバージョンにおいても,その予測に成功していることを示す。 我々は,BCFの同定に必要かつ十分な条件を提供し,最悪の場合,最適であることを示す。 シミュレーションおよび実世界のデータに基づいて,BCFを推定し,予測性能を解析する制御Twicingアルゴリズムを提案する。

関連論文リスト

• DeCaf: A Causal Decoupling Framework for OOD Generalization on Node Classification [14.96980804513399]
  グラフニューラルネットワーク(GNN)は、分散シフトの影響を受けやすいため、クリティカルドメインの脆弱性やセキュリティ上の問題が発生する。 不変(機能、構造)-ラベルマッピングの学習を目標とする既存の方法は、データ生成プロセスに関する過度に単純化された仮定に依存することが多い。 構造因果モデル(SCM)を用いたより現実的なグラフデータ生成モデルを提案する。 本稿では,非バイアスな特徴ラベルと構造ラベルのマッピングを独立に学習する,カジュアルなデカップリングフレームワークDeCafを提案する。
  論文  参考訳（メタデータ） (2024-10-27T00:22:18Z)
• Robust Domain Generalisation with Causal Invariant Bayesian Neural Networks [9.999199798941424]
  本稿では,推論プロセスのメカニズムからデータ分布の学習を阻害するベイズ型ニューラルネットワークを提案する。 理論的,実験的に,我々のモデルは因果的介入下での推論に近似していることを示す。
  論文  参考訳（メタデータ） (2024-10-08T20:38:05Z)
• Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models [0.0]
  本稿では,拡散モデルを用いてベイズ推定を行う方法を示す。 本稿では,新しいノイズスケジュールを用いて,標準的なDBMトレーニングを通じてそのようなマップを学習する方法を示す。 その結果は、低次元の潜在空間上で一意に定義される非常に表現性の高い生成モデルのクラスである。
  論文  参考訳（メタデータ） (2024-07-11T19:58:19Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Physics-Informed Diffusion Models [0.0]
  生成モデルと偏微分方程式の充足を統一する枠組みを提案する。 本手法は,流体流動ケーススタディにおける従来の研究と比較して,残差を最大2桁まで低減する。
  論文  参考訳（メタデータ） (2024-03-21T13:52:55Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Causality-oriented robustness: exploiting general additive interventions [3.871660145364189]
  本稿では因果性指向のロバスト性に着目し,不変勾配(DRIG)を用いた分布ロバスト性を提案する。 線形環境では、DRIGがデータ依存の分布シフトのクラスの中で頑健な予測を得られることを証明している。 我々は、予測性能をさらに向上させるために、半教師付きドメイン適応設定にアプローチを拡張した。
  論文  参考訳（メタデータ） (2023-07-18T16:22:50Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。