論文の概要: Efficient Estimation in NPIV Models: A Comparison of Various Neural
Networks-Based Estimators
- arxiv url: http://arxiv.org/abs/2110.06763v1
- Date: Wed, 13 Oct 2021 15:00:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-14 18:59:08.434880
- Title: Efficient Estimation in NPIV Models: A Comparison of Various Neural
Networks-Based Estimators
- Title(参考訳): NPIVモデルの効率的な推定:様々なニューラルネットワークに基づく推定器の比較
- Authors: Jiafeng Che, Xiaohong Chen, Elie Tamer
- Abstract要約: 半非パラメトリックインスツルメンタル変数(NPIV)モデルにおけるニューラルネットワーク(ANN)の計算性能について検討する。
我々は予測の効率的な推定に焦点をあて、未知の関数を近似するためにANNを使用する。
複雑な設計における有限サンプル性能を比較する大規模なモンテカルロ実験を行う。
- 参考スコア(独自算出の注目度): 1.4000007799304268
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the computational performance of Artificial Neural Networks
(ANNs) in semi-nonparametric instrumental variables (NPIV) models of high
dimensional covariates that are relevant to empirical work in economics. We
focus on efficient estimation of and inference on expectation functionals (such
as weighted average derivatives) and use optimal criterion-based procedures
(sieve minimum distance or SMD) and novel efficient score-based procedures
(ES). Both these procedures use ANN to approximate the unknown function. Then,
we provide a detailed practitioner's recipe for implementing these two classes
of estimators. This involves the choice of tuning parameters both for the
unknown functions (that include conditional expectations) but also for the
choice of estimation of the optimal weights in SMD and the Riesz representers
used with the ES estimators. Finally, we conduct a large set of Monte Carlo
experiments that compares the finite-sample performance in complicated designs
that involve a large set of regressors (up to 13 continuous), and various
underlying nonlinearities and covariate correlations. Some of the takeaways
from our results include: 1) tuning and optimization are delicate especially as
the problem is nonconvex; 2) various architectures of the ANNs do not seem to
matter for the designs we consider and given proper tuning, ANN methods perform
well; 3) stable inferences are more difficult to achieve with ANN estimators;
4) optimal SMD based estimators perform adequately; 5) there seems to be a gap
between implementation and approximation theory. Finally, we apply ANN NPIV to
estimate average price elasticity and average derivatives in two demand
examples.
- Abstract(参考訳): 経済学における経験的研究に関連する高次元共変量の半非パラメトリックインストゥルメンタル変数(npiv)モデルにおける人工ニューラルネットワーク(anns)の計算性能について検討する。
我々は,期待関数(重み付き平均微分など)の効率的な推定と推定に焦点をあて,最適基準に基づく手順(最小距離またはSMD)と新しいスコアベース手順(ES)を用いる。
どちらの手順もアンを使って未知の関数を近似する。
次に,これら2種類の推定器を実装するための詳細な実践者のレシピを提供する。
これには、未知の関数(条件付き期待を含む)のチューニングパラメータの選択と、smdにおける最適重みの推定の選択と、es推定器で使用されるriesz表現器の両方が含まれる。
最後に、大規模な回帰器(最大13個の連続)と、様々な基礎となる非線形性と共変量相関を含む複雑な設計における有限サンプル性能を比較するモンテカルロ実験を行う。
結果から得られたいくつかの内容は以下のとおりである。
1) チューニングと最適化は特に非凸であるため微妙である。
2) ANNの様々なアーキテクチャは、私たちが考慮し、適切なチューニングを与えられた設計では重要でないように思われる。
3) ANN推定器では安定な推測がより困難である。
4) SMDに基づく最適推定器は、適切に動作する。
5) 実装理論と近似理論の間にはギャップがあるようである。
最後に、ANN NPIVを用いて、平均価格弾力性と平均デリバティブを2つの需要例で推定する。
関連論文リスト
- A Specialized Semismooth Newton Method for Kernel-Based Optimal
Transport [92.96250725599958]
カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。
SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
論文 参考訳(メタデータ) (2023-10-21T18:48:45Z) - Target Variable Engineering [0.0]
数値的対象を予測するために訓練された回帰モデルの予測性能と、2項化対象を予測するために訓練された分類器を比較した。
回帰は最適性能に収束するためには、はるかに多くの計算作業を必要とする。
論文 参考訳(メタデータ) (2023-10-13T23:12:21Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳(メタデータ) (2023-06-13T01:18:16Z) - Variational Linearized Laplace Approximation for Bayesian Deep Learning [1.77513002450736]
変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。
本手法はGPの2つのRKHSに基づいており,元のDNNの出力予測平均として維持される。
提案手法は,Nystr"om近似に基づく加速LLA(ELLA)と,サンプル列最適化原理を用いた他のLA変種を比較した。
論文 参考訳(メタデータ) (2023-02-24T10:32:30Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - The Bias-Variance Tradeoff of Doubly Robust Estimator with Targeted
$L_1$ regularized Neural Networks Predictions [0.0]
ATEの二重ロバスト(DR)推定は、第1ステップでは治療と結果がモデル化され、第2ステップでは予測がDR推定器に挿入される2ステップで行うことができる。
最初の段階でのモデルの仕様ミスにより、研究者はパラメトリックアルゴリズムの代わりに機械学習アルゴリズムを利用するようになった。
論文 参考訳(メタデータ) (2021-08-02T15:41:27Z) - Non-Asymptotic Performance Guarantees for Neural Estimation of
$\mathsf{f}$-Divergences [22.496696555768846]
統計的距離は確率分布の相似性を定量化する。
このようなデータからの距離を推定する現代的な方法は、ニューラルネットワーク(NN)による変動形態のパラメータ化と最適化に依存する。
本稿では,このトレードオフを非漸近誤差境界を用いて検討し,SDの3つの一般的な選択に焦点をあてる。
論文 参考訳(メタデータ) (2021-03-11T19:47:30Z) - Accounting for Variance in Machine Learning Benchmarks [37.922783300635864]
ある機械学習アルゴリズムAは、変化の源を越えて学習パイプラインを最適化する複数の試行を理想的に呼び出す。
これは非常に高価であり、コーナーは結論に達するために切断されます。
ベンチマークプロセス全体をモデル化し,データサンプリングによるばらつき,パラメータ初期化,ハイパーパラメータ選択の影響を明らかにした。
計算コストの51倍の削減で,不完全な推定器アプローチにより多くの変動源を加えることにより,理想推定器の精度が向上することを示す。
論文 参考訳(メタデータ) (2021-03-01T22:39:49Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳(メタデータ) (2020-04-21T23:09:55Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2~5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳(メタデータ) (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。