論文の概要: RieszNet and ForestRiesz: Automatic Debiased Machine Learning with
Neural Nets and Random Forests
- arxiv url: http://arxiv.org/abs/2110.03031v1
- Date: Wed, 6 Oct 2021 19:29:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 15:55:29.307046
- Title: RieszNet and ForestRiesz: Automatic Debiased Machine Learning with
Neural Nets and Random Forests
- Title（参考訳）: RieszNetとForestRiesz: ニューラルネットワークとランダムフォレストを用いた自動脱バイアス機械学習
- Authors: Victor Chernozhukov, Whitney K. Newey, Victor Quintas-Martinez,
Vasilis Syrgkanis
- Abstract要約: 本稿では,線形汎関数オラクルのリース表現を自動学習する手法を提案する。
また,Riesz関数の局所線型表現を学習するランダムフォレスト法を提案する。
- 参考スコア（独自算出の注目度）: 20.321142326706557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many causal and policy effects of interest are defined by linear functionals
of high-dimensional or non-parametric regression functions.
$\sqrt{n}$-consistent and asymptotically normal estimation of the object of
interest requires debiasing to reduce the effects of regularization and/or
model selection on the object of interest. Debiasing is typically achieved by
adding a correction term to the plug-in estimator of the functional, that is
derived based on a functional-specific theoretical derivation of what is known
as the influence function and which leads to properties such as double
robustness and Neyman orthogonality. We instead implement an automatic
debiasing procedure based on automatically learning the Riesz representation of
the linear functional using Neural Nets and Random Forests. Our method solely
requires value query oracle access to the linear functional. We propose a
multi-tasking Neural Net debiasing method with stochastic gradient descent
minimization of a combined Riesz representer and regression loss, while sharing
representation layers for the two functions. We also propose a Random Forest
method which learns a locally linear representation of the Riesz function. Even
though our methodology applies to arbitrary functionals, we experimentally find
that it beats state of the art performance of the prior neural net based
estimator of Shi et al. (2019) for the case of the average treatment effect
functional. We also evaluate our method on the more challenging problem of
estimating average marginal effects with continuous treatments, using
semi-synthetic data of gasoline price changes on gasoline demand.
- Abstract（参考訳）: 多くの利害関係および政策効果は、高次元または非パラメトリック回帰関数の線形汎関数によって定義される。
$\sqrt{n}$- consistent and asymptotically normal estimation of the object of interest must debiasing to reduce the effect of regularization and/or model selection on the object of interest (英語)
デバイアスは典型的には、函数のプラグイン推定器に補正項を加えることで達成されるが、これは影響関数として知られる関数特異的な理論的導出に基づいて導かれ、二重ロバスト性やナイマン直交性のような性質をもたらす。
代わりに,ニューラルネットワークとランダムフォレストを用いて線形関数のリース表現を自動的に学習する手法を実装した。
本手法は,線形関数への値クエリオラクルアクセスのみを必要とする。
本稿では,2つの関数の表現層を共有しつつ,riesz表現と回帰損失を組み合わせた確率的勾配降下最小化を用いたマルチタスクニューラルネットデバイアス手法を提案する。
また,riesz関数の局所線形表現を学習するランダムフォレスト手法を提案する。
本手法は任意の機能に応用できるが, 平均処理効果汎関数の場合, 従来のニューラルネットワークベース推定器であるshi et al. (2019) の性能を上回っていることが実験的に判明した。
また, ガソリン需要に対するガソリン価格変化の半合成データを用いて, 連続処理による平均限界効果推定の課題についても検討した。
関連論文リスト
- Automatic debiasing of neural networks via moment-constrained learning [0.0]
偏差推定器の回帰関数をネーティブに学習し,対象関数のサンプル平均値を取得する。
本稿では,自動脱バイアスの欠点に対処する新しいRR学習手法として,モーメント制約学習を提案する。
論文 参考訳（メタデータ） (2024-09-29T20:56:54Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Nonlinear functional regression by functional deep neural network with
kernel embedding [20.306390874610635]
本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。
機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。
スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
論文 参考訳（メタデータ） (2024-01-05T16:43:39Z) - The limitation of neural nets for approximation and optimization [0.0]
最適化問題における目的関数の近似と最小化のために,ニューラルネットワークを代理モデルとして用いることに関心がある。
本研究は、一般的な非線形最適化テスト問題の目的関数を近似する最適なアクティベーション関数を決定することから始まる。
論文 参考訳（メタデータ） (2023-11-21T00:21:15Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision
Processes [80.89852729380425]
そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。
我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
論文 参考訳（メタデータ） (2022-12-12T18:58:59Z) - Adaptive LASSO estimation for functional hidden dynamic geostatistical
model [69.10717733870575]
関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。
このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
論文 参考訳（メタデータ） (2022-08-10T19:17:45Z) - From Kernel Methods to Neural Networks: A Unifying Variational
Formulation [25.6264886382888]
演算子と一般ラドン領域ノルムに依存する統一正規化関数を提案する。
我々のフレームワークは、多種多様な正規化演算子、または同等に、幅広い浅層ニューラルネットワークに対して、普遍的な近似を保証する。
論文 参考訳（メタデータ） (2022-06-29T13:13:53Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。