論文の概要: Environment Invariant Linear Least Squares
- arxiv url: http://arxiv.org/abs/2303.03092v1
- Date: Mon, 6 Mar 2023 13:10:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 16:15:44.040002
- Title: Environment Invariant Linear Least Squares
- Title(参考訳): 環境不変な線形最小正方形
- Authors: Jianqing Fan, Cong Fang, Yihong Gu, Tong Zhang
- Abstract要約: 本稿では,複数の実験環境からのデータを収集する複数の環境線形回帰モデルについて考察する。
その背景にあるモチベーションは、真のパラメータと重要な変数集合を推定する際に、どのように予測と帰属の目標が固有ののかによって説明される。
- 参考スコア(独自算出の注目度): 18.68362280922725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper considers a multiple environments linear regression model in which
data from multiple experimental settings are collected. The joint distribution
of the response variable and covariate may vary across different environments,
yet the conditional expectation of $y$ given the unknown set of important
variables are invariant across environments. Such a statistical model is
related to the problem of endogeneity, causal inference, and transfer learning.
The motivation behind it is illustrated by how the goals of prediction and
attribution are inherent in estimating the true parameter and the important
variable set. We construct a novel {\it environment invariant linear least
squares (EILLS)} objective function, a multiple-environment version of linear
least squares that leverages the above conditional expectation invariance
structure and heterogeneity among different environments to determine the true
parameter. Our proposed method is applicable without any additional structural
knowledge and can identify the true parameter under a near-minimal
identification condition. We establish non-asymptotic $\ell_2$ error bounds on
the estimation error for the EILLS estimator in the presence of spurious
variables. Moreover, we further show that the EILLS estimator is able to
eliminate all endogenous variables and the $\ell_0$ penalized EILLS estimator
can achieve variable selection consistency in high-dimensional regimes. These
non-asymptotic results demonstrate the sample efficiency of the EILLS estimator
and its capability to circumvent the curse of endogeneity in an algorithmic
manner without any prior structural knowledge.
- Abstract(参考訳): 本稿では,複数の実験環境からのデータを収集する線形回帰モデルを提案する。
応答変数と共変量の合同分布は異なる環境にまたがるが、未知の重要な変数のセットが与えられた場合の条件付き期待値は、環境間で不変である。
このような統計モデルは内在性、因果推論、移動学習の問題と関連している。
その背後にある動機は、予測と帰属という目標が、真のパラメータと重要な変数集合を推定することの本質であることを示している。
我々は、上記の条件付き予測不変構造と異なる環境間の不均一性を利用して、真パラメータを決定する線形最小二乗の多重環境版である、新しい環境不変線形最小二乗関数(EILLS)を構築する。
提案手法は, 構造的知識を必要とせず, 最小の同定条件下で真のパラメータを同定できる。
我々は、スプリアス変数の存在下でのEILLS推定器の推定誤差に基づいて、非漸近$\ell_2$エラー境界を確立する。
さらに,eills推定器は内在的変数をすべて排除でき,$\ell_0$ ペナル化eills推定器は高次元環境において変数選択一貫性を実現できることを示した。
これらの非漸近的な結果は、EILLS推定器のサンプル効率と、事前の構造知識のないアルゴリズム的な方法で内在性の呪いを回避する能力を示している。
関連論文リスト
- Winning Prize Comes from Losing Tickets: Improve Invariant Learning by
Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。
LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。
Invariant Learning (EVIL) における変数探索手法を提案する。
論文 参考訳(メタデータ) (2023-10-25T06:10:57Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳(メタデータ) (2023-09-28T13:04:11Z) - Reparameterized Variational Rejection Sampling [12.189621777178354]
変動リジェクションサンプリング(VRS)は、パラメータ提案分布とサンプリングリジェクションを組み合わせて、リッチな非パラメトリック分布の族を定義する。
提案手法は,実運用において良好に動作し,特に局所潜伏変数を持つモデルではブラックボックス推論に適していることを示す。
論文 参考訳(メタデータ) (2023-09-26T01:46:53Z) - Towards Fair Disentangled Online Learning for Changing Environments [28.207499975916324]
オンライン学習における環境変化は、学習パラメータが環境に固有の部分的変化に起因していると論じる。
本稿では,各時点に収集したデータを2つの表現で切り離すことができるという仮定の下で,新しいアルゴリズムを提案する。
新たな後悔は、動的および静的な後悔の指標の混合形式と、公平性に配慮した長期的制約を伴って提案される。
論文 参考訳(メタデータ) (2023-05-31T19:04:16Z) - Score-based Causal Representation Learning with Interventions [54.735484409244386]
本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。
目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
論文 参考訳(メタデータ) (2023-01-19T18:39:48Z) - Lazy Estimation of Variable Importance for Large Neural Networks [22.95405462638975]
そこで本研究では,重要な推論保証付き縮小モデルを高速かつフレキシブルに近似する手法を提案する。
いくつかのデータ生成体制下では,本手法が高速かつ正確であることを示し,季節風予報の例で実世界の適用性を示す。
論文 参考訳(メタデータ) (2022-07-19T06:28:17Z) - Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
局所変換近傍における分類器の出力不変性の尺度を提案する。
私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。
画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
論文 参考訳(メタデータ) (2022-07-05T14:55:16Z) - Linear Discriminant Analysis with High-dimensional Mixed Variables [10.774094462083843]
本稿では,混合変数を用いた高次元観測の分類手法を提案する。
データを指数関数的に多くのセルに分割するという課題を克服する。
推定精度と誤分類率に関する結果が確立される。
論文 参考訳(メタデータ) (2021-12-14T03:57:56Z) - Variance Minimization in the Wasserstein Space for Invariant Causal
Prediction [72.13445677280792]
そこで本研究では,ICPで行ったアプローチを,予測器数で線形にスケールする一連の非パラメトリックテストとして再検討する。
これらのテストはそれぞれ、最適輸送理論の道具から導かれる新しい損失関数の最小化に依存している。
我々は,本手法が同定可能な直接原因の集合を回復できるという軽微な仮定の下で証明し,他のベンチマーク因果探索アルゴリズムと競合することを示す。
論文 参考訳(メタデータ) (2021-10-13T22:30:47Z) - Instance-optimality in optimal value estimation: Adaptivity via
variance-reduced Q-learning [99.34907092347733]
本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。
局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。
他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
論文 参考訳(メタデータ) (2021-06-28T00:38:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。