論文の概要: Regularized DeepIV with Model Selection

• arxiv url: http://arxiv.org/abs/2403.04236v1
• Date: Thu, 7 Mar 2024 05:38:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 15:05:03.737067
• Title: Regularized DeepIV with Model Selection
• Title（参考訳）: モデル選択による正規化DeepIV
• Authors: Zihao Li, Hui Lan, Vasilis Syrgkanis, Mengdi Wang, Masatoshi Uehara
• Abstract要約: 正規化DeepIV(RDIV)回帰は最小ノルムIV解に収束することができる。 我々の手法は現在の最先端の収束率と一致している。
• 参考スコア（独自算出の注目度）: 72.17508967124081
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In this paper, we study nonparametric estimation of instrumental variable (IV) regressions. While recent advancements in machine learning have introduced flexible methods for IV estimation, they often encounter one or more of the following limitations: (1) restricting the IV regression to be uniquely identified; (2) requiring minimax computation oracle, which is highly unstable in practice; (3) absence of model selection procedure. In this paper, we present the first method and analysis that can avoid all three limitations, while still enabling general function approximation. Specifically, we propose a minimax-oracle-free method called Regularized DeepIV (RDIV) regression that can converge to the least-norm IV solution. Our method consists of two stages: first, we learn the conditional distribution of covariates, and by utilizing the learned distribution, we learn the estimator by minimizing a Tikhonov-regularized loss function. We further show that our method allows model selection procedures that can achieve the oracle rates in the misspecified regime. When extended to an iterative estimator, our method matches the current state-of-the-art convergence rate. Our method is a Tikhonov regularized variant of the popular DeepIV method with a non-parametric MLE first-stage estimator, and our results provide the first rigorous guarantees for this empirically used method, showcasing the importance of regularization which was absent from the original work.
• Abstract（参考訳）: 本稿では,機器変数(IV)回帰の非パラメトリック推定について検討する。 近年の機械学習はフレキシブルなIV推定法を導入しているが、(1)IV回帰を一意に識別するために制限すること、(2)極小計算オラクルを必要とすること、(3)モデル選択手順の欠如など、いくつかの制限に直面している。 本稿では,3つの制限をすべて回避しつつ,一般関数近似を可能とした最初の手法と解析について述べる。 具体的には,最小ノルムIV解に収束可能なRegularized DeepIV(RDIV)回帰法を提案する。 まず,共変量の条件分布を学習し,学習した分布を利用して,Tikhonov-regularized loss関数を最小化して推定器を学習する。 さらに,本手法により,不特定状態におけるオラクルレートを達成できるモデル選択が可能であることを示す。 反復推定器に拡張すると、現在の最先端収束率と一致する。 本手法は,非パラメトリックなmle第1段階推定器を持つ一般的なdeepiv法であるtikhonov正規化型であり,本手法の実証的使用法として最初の厳密な保証を提供し,本手法にない正規化の重要性を示した。

関連論文リスト

• Learning Decision Policies with Instrumental Variables through Double Machine Learning [16.842233444365764]
  データリッチな設定における意思決定ポリシーの学習における一般的な問題は、オフラインデータセットにおける急激な相関である。 2段階IV回帰のバイアスを低減する非線形IV回帰法であるDML-IVを提案する。 IV回帰ベンチマークでは、最先端のIV回帰法よりも優れており、楽器の存在下で高い性能のポリシーを学ぶ。
  論文  参考訳（メタデータ） (2024-05-14T10:55:04Z)
• Nonparametric Instrumental Variable Regression through Stochastic Approximate Gradients [0.3277163122167434]
  集団リスクを直接最小化することにより,NPIV回帰に対処するための関数勾配降下アルゴリズムの定式化方法を示す。 我々は,過大なリスクに対するバウンダリの形で理論的支援を行い,提案手法の優れた安定性と競争性能を示す数値実験を行った。 このアルゴリズムは、ニューラルネットワークやカーネルベースの手法のような柔軟な推定器の選択と、非二次的損失関数を可能にする。
  論文  参考訳（メタデータ） (2024-02-08T12:50:38Z)
• Minimax Instrumental Variable Regression and $L_2$ Convergence Guarantees without Identification or Closedness [71.42652863687117]
  インストゥルメンタル変数(IV)回帰の非パラメトリック推定について検討した。 固定IV解に収束できる新しいペナル化ミニマックス推定器を提案する。 ラックス条件下での推定値に対して強い$L$誤差率を導出する。
  論文  参考訳（メタデータ） (2023-02-10T18:08:49Z)
• Confounder Balancing for Instrumental Variable Regression with Latent Variable [29.288045682505615]
  本稿では,未測定の共同設立者からの共謀効果と,IV回帰における観察された共同設立者の不均衡について検討する。 我々は、計測されていない共同設立者からバイアスを取り除き、観察された共同設立者の不均衡を取り除くために、共同設立者バランスIV回帰(CB-IV)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-18T03:13:53Z)
• Vector-Valued Least-Squares Regression under Output Regularity Assumptions [73.99064151691597]
  最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。 提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
  論文  参考訳（メタデータ） (2022-11-16T15:07:00Z)
• Variance Reduction for Policy-Gradient Methods via Empirical Variance Minimization [69.32510868632988]
  強化学習における政策段階的な手法は、勾配推定の高分散に悩まされる。 本稿では,実証変動(EV)と呼ばれる装置の性能について,初めて検討する。 実験により, 分散還元EV法はA2C法よりはるかに優れ, 分散低減効果が強いことが示唆された。
  論文  参考訳（メタデータ） (2022-06-14T13:18:49Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Maximum Moment Restriction for Instrumental Variable Regression [23.785259180682004]
  カーネル化された条件モーメント制限(CMR)に基づく非線形インスツルメンタル変数(IV)回帰のための簡単なフレームワークを提案する。 MMRは、カーネル再生空間(RKHS)において、残留物と単位球に属する機器との相互作用を最大化することによって定式化される。 我々は,合成データと実世界のデータの両方を用いた実験により,既存のフレームワークよりもフレームワークの利点を実証する。
  論文  参考訳（メタデータ） (2020-10-15T12:02:25Z)
• Regret minimization in stochastic non-convex learning via a proximal-gradient approach [80.59047515124198]
  機械学習やオペレーションの応用によって動機づけられた私たちは、オンラインで制約された問題を最小化するために、一階のオラクルフィードバックを後悔しています。 我々は、近位複雑性低減技術を保証する新しいプロキシグレードを開発する。
  論文  参考訳（メタデータ） (2020-10-13T09:22:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。