論文の概要: Causality Pursuit from Heterogeneous Environments via Neural Adversarial Invariance Learning
- arxiv url: http://arxiv.org/abs/2405.04715v1
- Date: Tue, 7 May 2024 23:37:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-09 15:45:06.945868
- Title: Causality Pursuit from Heterogeneous Environments via Neural Adversarial Invariance Learning
- Title（参考訳）: ニューラル・ディバイサル不変学習による異種環境からの因果関係の探索
- Authors: Yihong Gu, Cong Fang, Peter Bühlmann, Jianqing Fan,
- Abstract要約: 本稿は,FAIR (Focused Adrial Invariance Regularization) と呼ばれる,単一のミニマックス最適化プログラムとして定式化された新しいフレームワークを提案する。
応用として、2つのニューラルネットワーククラスによって実現されたFAIR-NN推定器を統計的に効率的な推定を行うための最初のアプローチとして強調する。
- 参考スコア（独自算出の注目度）: 12.947265104477237
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Statistics suffers from a fundamental problem, "the curse of endogeneity" -- the regression function, or more broadly the prediction risk minimizer with infinite data, may not be the target we wish to pursue. This is because when complex data are collected from multiple sources, the biases deviated from the interested (causal) association inherited in individuals or sub-populations are not expected to be canceled. Traditional remedies are of hindsight and restrictive in being tailored to prior knowledge like untestable cause-effect structures, resulting in methods that risk model misspecification and lack scalable applicability. This paper seeks to offer a purely data-driven and universally applicable method that only uses the heterogeneity of the biases in the data rather than following pre-offered commandments. Such an idea is formulated as a nonparametric invariance pursuit problem, whose goal is to unveil the invariant conditional expectation $m^\star(x)\equiv \mathbb{E}[Y^{(e)}|X_{S^\star}^{(e)}=x_{S^\star}]$ with unknown important variable set $S^\star$ across heterogeneous environments $e\in \mathcal{E}$. Under the structural causal model framework, $m^\star$ can be interpreted as certain data-driven causality in general. The paper contributes to proposing a novel framework, called Focused Adversarial Invariance Regularization (FAIR), formulated as a single minimax optimization program that can solve the general invariance pursuit problem. As illustrated by the unified non-asymptotic analysis, our adversarial estimation framework can attain provable sample-efficient estimation akin to standard regression under a minimal identification condition for various tasks and models. As an application, the FAIR-NN estimator realized by two Neural Network classes is highlighted as the first approach to attain statistically efficient estimation in general nonparametric invariance learning.
- Abstract（参考訳）: 統計学は「内在性の呪い」という根本的な問題に悩まされている -- 回帰関数、あるいはより広くは無限のデータを持つ予測リスク最小化器は、私たちが追求したいターゲットではないかもしれない。
これは、複数のソースから複雑なデータが収集されると、個人やサブ集団で受け継がれた関心(因果関係)から逸脱したバイアスがキャンセルされないためである。
従来の治療法は、実証不可能な原因影響構造のような事前の知識に合わせて調整され、不特定性をリスクモデルにし、スケーラブルな適用性に欠ける手法である。
本稿では,データの偏見の不均一性のみを利用した,純粋にデータ駆動で普遍的に適用可能な手法を提案する。
そのようなアイデアは非パラメトリック不変分散追跡問題として定式化され、その目標は不変条件期待式 $m^\star(x)\equiv \mathbb{E}[Y^{(e)}|X_{S^\star}^{(e)}=x_{S^\star}]$ を異種環境$e\in \mathcal{E}$で表すことである。
構造因果モデルフレームワークでは、$m^\star$は一般にある種のデータ駆動因果関係と解釈できる。
本稿では,FAIR(Focused Adversarial Invariance Regularization)と呼ばれる新しいフレームワークを提案する。
統合された非漸近解析によって示されるように、我々の逆数推定フレームワークは、様々なタスクやモデルに対する最小限の識別条件の下で、標準回帰と同様の証明可能なサンプル効率推定を実現することができる。
応用として、2つのニューラルネットワーククラスによって実現されたFAIR-NN推定器は、一般の非パラメトリック不変学習において統計的に効率的な推定を行うための最初のアプローチとして強調される。
関連論文リスト
- DiffHybrid-UQ: Uncertainty Quantification for Differentiable Hybrid
Neural Modeling [4.76185521514135]
本稿では,ハイブリッドニューラル微分可能モデルにおける有効かつ効率的な不確実性伝播と推定のための新しい手法DiffHybrid-UQを提案する。
具体的には,データノイズとてんかんの不確かさから生じるアレタリック不確かさと,モデル形状の相違やデータ空間のばらつきから生じるエピステマティック不確かさの両方を効果的に識別し,定量化する。
論文 参考訳（メタデータ） (2023-12-30T07:40:47Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳（メタデータ） (2023-09-28T13:04:11Z) - Nonlinear Permuted Granger Causality [0.6526824510982799]
グランガー因果推論(Granger causal inference)は、経済学から神経科学まで幅広い分野において用いられる、論争的だが広範な手法である。
サンプル外比較を可能にするために、共変集合の置換を用いて関数接続の尺度を明示的に定義する。
変分法の性能を, シミュレーションによる変分選択, ナイーブ置換, 省略技術と比較した。
論文 参考訳（メタデータ） (2023-08-11T16:44:16Z) - GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples
using Gradients and Invariance Transformations [77.34726150561087]
本稿では,ディープニューラルネットワークにおける一般化誤差検出のための総合的アプローチを提案する。
GITは勾配情報と不変変換の利用を組み合わせる。
本実験は,各種ネットワークアーキテクチャの最先端技術と比較して,GITの優れた性能を示すものである。
論文 参考訳（メタデータ） (2023-07-05T22:04:38Z) - Environment Invariant Linear Least Squares [18.387614531869826]
本稿では,複数の実験環境からのデータを収集する多環境線形回帰モデルについて考察する。
線形最小二乗回帰のマルチ環境バージョンである、新しい環境不変線形最小二乗関数(EILLS)を構築する。
論文 参考訳（メタデータ） (2023-03-06T13:10:54Z) - Score-based Causal Representation Learning with Interventions [54.735484409244386]
本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。
目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
論文 参考訳（メタデータ） (2023-01-19T18:39:48Z) - Learning Invariant Representations under General Interventions on the
Response [2.725698729450241]
線形構造因果モデル(SCM)に着目し、不変整合性(IMP)を導入する。
離散環境と連続環境の両方において,本手法の一般化誤差を解析する。
論文 参考訳（メタデータ） (2022-08-22T03:09:17Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳（メタデータ） (2022-03-29T04:54:06Z) - Variance Minimization in the Wasserstein Space for Invariant Causal
Prediction [72.13445677280792]
そこで本研究では,ICPで行ったアプローチを,予測器数で線形にスケールする一連の非パラメトリックテストとして再検討する。
これらのテストはそれぞれ、最適輸送理論の道具から導かれる新しい損失関数の最小化に依存している。
我々は,本手法が同定可能な直接原因の集合を回復できるという軽微な仮定の下で証明し,他のベンチマーク因果探索アルゴリズムと競合することを示す。
論文 参考訳（メタデータ） (2021-10-13T22:30:47Z) - Robust Reconfigurable Intelligent Surfaces via Invariant Risk and Causal
Representations [55.50218493466906]
本稿では,データ分布の変化に伴うロバスト再構成可能なインテリジェントサーフェス(ris)システム設計の問題について検討する。
不変リスク最小化(IRM)の概念を用いて、複数の環境にまたがる不変因果表現を用いて、予測器が各環境に対して同時に最適となるようにする。
予測器を探すためにニューラルネットワークベースのソリューションを採用し、その性能は経験的リスク最小化に基づく設計に対するシミュレーションによって検証される。
論文 参考訳（メタデータ） (2021-05-04T21:36:31Z) - Doubly Stochastic Variational Inference for Neural Processes with
Hierarchical Latent Variables [37.43541345780632]
本稿では,Double Variational Neural Process (DSVNP) と呼ぶニューラル・プロセス(NP)モデルを提案する。
本モデルでは,大域的潜伏変数と局所潜伏変数を組み合わせて予測を行い,このモデルをいくつかの実験で評価し,多出力回帰における競合予測性能と分類における不確実性評価を示す。
論文 参考訳（メタデータ） (2020-08-21T13:32:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。