論文の概要: Environment Invariant Linear Least Squares

• arxiv url: http://arxiv.org/abs/2303.03092v1
• Date: Mon, 6 Mar 2023 13:10:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 16:15:44.040002
• Title: Environment Invariant Linear Least Squares
• Title（参考訳）: 環境不変な線形最小正方形
• Authors: Jianqing Fan, Cong Fang, Yihong Gu, Tong Zhang
• Abstract要約: 本稿では,複数の実験環境からのデータを収集する複数の環境線形回帰モデルについて考察する。 その背景にあるモチベーションは、真のパラメータと重要な変数集合を推定する際に、どのように予測と帰属の目標が固有ののかによって説明される。
• 参考スコア（独自算出の注目度）: 18.68362280922725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers a multiple environments linear regression model in which data from multiple experimental settings are collected. The joint distribution of the response variable and covariate may vary across different environments, yet the conditional expectation of $y$ given the unknown set of important variables are invariant across environments. Such a statistical model is related to the problem of endogeneity, causal inference, and transfer learning. The motivation behind it is illustrated by how the goals of prediction and attribution are inherent in estimating the true parameter and the important variable set. We construct a novel {\it environment invariant linear least squares (EILLS)} objective function, a multiple-environment version of linear least squares that leverages the above conditional expectation invariance structure and heterogeneity among different environments to determine the true parameter. Our proposed method is applicable without any additional structural knowledge and can identify the true parameter under a near-minimal identification condition. We establish non-asymptotic $\ell_2$ error bounds on the estimation error for the EILLS estimator in the presence of spurious variables. Moreover, we further show that the EILLS estimator is able to eliminate all endogenous variables and the $\ell_0$ penalized EILLS estimator can achieve variable selection consistency in high-dimensional regimes. These non-asymptotic results demonstrate the sample efficiency of the EILLS estimator and its capability to circumvent the curse of endogeneity in an algorithmic manner without any prior structural knowledge.
• Abstract（参考訳）: 本稿では,複数の実験環境からのデータを収集する線形回帰モデルを提案する。 応答変数と共変量の合同分布は異なる環境にまたがるが、未知の重要な変数のセットが与えられた場合の条件付き期待値は、環境間で不変である。 このような統計モデルは内在性、因果推論、移動学習の問題と関連している。 その背後にある動機は、予測と帰属という目標が、真のパラメータと重要な変数集合を推定することの本質であることを示している。 我々は、上記の条件付き予測不変構造と異なる環境間の不均一性を利用して、真パラメータを決定する線形最小二乗の多重環境版である、新しい環境不変線形最小二乗関数(EILLS)を構築する。 提案手法は, 構造的知識を必要とせず, 最小の同定条件下で真のパラメータを同定できる。 我々は、スプリアス変数の存在下でのEILLS推定器の推定誤差に基づいて、非漸近$\ell_2$エラー境界を確立する。 さらに,eills推定器は内在的変数をすべて排除でき,$\ell_0$ ペナル化eills推定器は高次元環境において変数選択一貫性を実現できることを示した。 これらの非漸近的な結果は、EILLS推定器のサンプル効率と、事前の構造知識のないアルゴリズム的な方法で内在性の呪いを回避する能力を示している。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction [5.38274042816001]
  観測データでは、分布シフトは観測されていない共起因子によって駆動されることが多い。 このことは、観測データを用いた領域適応問題の研究を動機付けます。 学習した低次元部分空間を用いて、ターゲットとソースのリスクの間にほぼ理想的なギャップを生じさせるモデルを示す。
  論文  参考訳（メタデータ） (2024-06-22T17:43:08Z)
• Causality Pursuit from Heterogeneous Environments via Neural Adversarial Invariance Learning [12.947265104477237]
  データから因果関係を抽出することは、科学的発見、治療介入、伝達学習における根本的な問題である。 Focused Adversial Invariant Regularization (FAIR) フレームワークは、革新的なミニマックス最適化アプローチを採用している。 FAIR-NNは最小の識別条件下で不変変数と準因果変数を見つけることができる。
  論文  参考訳（メタデータ） (2024-05-07T23:37:40Z)
• Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
  Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。 LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。 Invariant Learning (EVIL) における変数探索手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:10:57Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Towards Fair Disentangled Online Learning for Changing Environments [28.207499975916324]
  オンライン学習における環境変化は、学習パラメータが環境に固有の部分的変化に起因していると論じる。 本稿では,各時点に収集したデータを2つの表現で切り離すことができるという仮定の下で,新しいアルゴリズムを提案する。 新たな後悔は、動的および静的な後悔の指標の混合形式と、公平性に配慮した長期的制約を伴って提案される。
  論文  参考訳（メタデータ） (2023-05-31T19:04:16Z)
• Score-based Causal Representation Learning with Interventions [54.735484409244386]
  本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。 目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
  論文  参考訳（メタデータ） (2023-01-19T18:39:48Z)
• Lazy Estimation of Variable Importance for Large Neural Networks [22.95405462638975]
  そこで本研究では,重要な推論保証付き縮小モデルを高速かつフレキシブルに近似する手法を提案する。 いくつかのデータ生成体制下では,本手法が高速かつ正確であることを示し,季節風予報の例で実世界の適用性を示す。
  論文  参考訳（メタデータ） (2022-07-19T06:28:17Z)
• Variance Minimization in the Wasserstein Space for Invariant Causal Prediction [72.13445677280792]
  そこで本研究では,ICPで行ったアプローチを,予測器数で線形にスケールする一連の非パラメトリックテストとして再検討する。 これらのテストはそれぞれ、最適輸送理論の道具から導かれる新しい損失関数の最小化に依存している。 我々は,本手法が同定可能な直接原因の集合を回復できるという軽微な仮定の下で証明し,他のベンチマーク因果探索アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2021-10-13T22:30:47Z)
• Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning [99.34907092347733]
  本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。 局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。 他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
  論文  参考訳（メタデータ） (2021-06-28T00:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。