論文の概要: Minimax Estimation of Conditional Moment Models

• arxiv url: http://arxiv.org/abs/2006.07201v1
• Date: Fri, 12 Jun 2020 14:02:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 04:09:03.237255
• Title: Minimax Estimation of Conditional Moment Models
• Title（参考訳）: 条件付きモーメントモデルの最小推定
• Authors: Nishanth Dikkala, Greg Lewis, Lester Mackey, Vasilis Syrgkanis
• Abstract要約: min-max基準関数を導入し,ゼロサムゲームの解法とみなすことができる。 任意の仮説空間に対する結果推定器の統計的推定速度を解析する。 修正された平均二乗誤差率と、逆問題の不備とが組み合わさって、平均二乗誤差率をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 40.95498063465325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop an approach for estimating models described via conditional moment restrictions, with a prototypical application being non-parametric instrumental variable regression. We introduce a min-max criterion function, under which the estimation problem can be thought of as solving a zero-sum game between a modeler who is optimizing over the hypothesis space of the target model and an adversary who identifies violating moments over a test function space. We analyze the statistical estimation rate of the resulting estimator for arbitrary hypothesis spaces, with respect to an appropriate analogue of the mean squared error metric, for ill-posed inverse problems. We show that when the minimax criterion is regularized with a second moment penalty on the test function and the test function space is sufficiently rich, then the estimation rate scales with the critical radius of the hypothesis and test function spaces, a quantity which typically gives tight fast rates. Our main result follows from a novel localized Rademacher analysis of statistical learning problems defined via minimax objectives. We provide applications of our main results for several hypothesis spaces used in practice such as: reproducing kernel Hilbert spaces, high dimensional sparse linear functions, spaces defined via shape constraints, ensemble estimators such as random forests, and neural networks. For each of these applications we provide computationally efficient optimization methods for solving the corresponding minimax problem (e.g. stochastic first-order heuristics for neural networks). In several applications, we show how our modified mean squared error rate, combined with conditions that bound the ill-posedness of the inverse problem, lead to mean squared error rates. We conclude with an extensive experimental analysis of the proposed methods.
• Abstract（参考訳）: 本研究では,非パラメトリックな機器変数回帰を用いた条件付きモーメント制約によるモデル推定手法を開発した。 本稿では,対象モデルの仮説空間上で最適化しているモデラーと,テスト関数空間上の違反モーメントを識別する敵とのゼロサムゲーム解決として,推定問題を考察するmin-max基準関数を提案する。 任意の仮説空間に対する結果推定器の統計的推定率を,不適切な逆問題に対する平均二乗誤差計量の適切な類似性について解析する。 その結果、ミニマックス基準がテスト関数の第二モーメントペナルティで定式化され、テスト関数空間が十分に豊かになったとき、推定率は仮説とテスト関数空間の臨界半径とともにスケールし、通常はタイトな速さを与える。 その結果, 統計的学習問題の局所化ラデマッハ解析をminimaxの目的として行った。 本研究では,カーネルヒルベルト空間の再現,高次元スパース線形関数,形状制約による空間,ランダムフォレストなどのアンサンブル推定器,ニューラルネットワークなど,いくつかの仮説空間に対する主結果の応用について述べる。 これらのアプリケーションごとに、対応するminimax問題(例えば、ニューラルネットワークの確率的一階ヒューリスティック)を解決する計算効率の高い最適化手法を提供する。 いくつかの応用において、我々の修正平均二乗誤差率と逆問題の不備を束縛した条件が組み合わされ、平均二乗誤差率となることを示す。 最後に,提案手法の広範囲な実験的解析を行った。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• On High dimensional Poisson models with measurement error: hypothesis testing for nonlinear nonconvex optimization [13.369004892264146]
  我々は高次元の回帰モデルの推定と検証を行い、データ解析に広く応用する。 ペナル化された一貫性を最小化することで回帰パラメータを推定する。 提案手法はアルツハイマー病イニシアチブに適用される。
  論文  参考訳（メタデータ） (2022-12-31T06:58:42Z)
• Functional Linear Regression of Cumulative Distribution Functions [20.96177061945288]
  本稿では,CDFを至る所で正確に推定する機能リッジ回帰に基づく推定手法を提案する。 固定設計, ランダム設計, 対逆コンテキストの場合の$widetilde O(sqrtd/n)$の推定誤差上限を示す。 パラメータ空間が無限次元ヒルベルト空間である無限次元モデルを定式化し、この設定に対して自己正規化推定誤差上限を確立する。
  論文  参考訳（メタデータ） (2022-05-28T23:59:50Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Nearest Neighbour Based Estimates of Gradients: Sharp Nonasymptotic Bounds and Applications [0.6445605125467573]
  勾配推定は統計学と学習理論において重要である。 ここでは古典的な回帰設定を考えると、実値の正方形可積分 r.v.$Y$ が予測される。 代替推定法で得られた値に対して, 漸近的境界が改良されることを証明した。
  論文  参考訳（メタデータ） (2020-06-26T15:19:43Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。