論文の概要: The Fundamental Limits of Structure-Agnostic Functional Estimation
- arxiv url: http://arxiv.org/abs/2305.04116v1
- Date: Sat, 6 May 2023 18:40:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 17:28:54.173184
- Title: The Fundamental Limits of Structure-Agnostic Functional Estimation
- Title（参考訳）: 構造非依存関数推定の基本限界
- Authors: Sivaraman Balakrishnan, Edward H. Kennedy, Larry Wasserman
- Abstract要約: 既存の一階法が最適であることを示す。
ブラックボックスニュアンス関数推定を用いた関数推定問題の定式化を行う。
この結果は,機能的推定におけるいくつかの明確なトレードオフを浮き彫りにした。
- 参考スコア（独自算出の注目度）: 16.282314725278365
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many recent developments in causal inference, and functional estimation
problems more generally, have been motivated by the fact that classical
one-step (first-order) debiasing methods, or their more recent sample-split
double machine-learning avatars, can outperform plugin estimators under
surprisingly weak conditions. These first-order corrections improve on plugin
estimators in a black-box fashion, and consequently are often used in
conjunction with powerful off-the-shelf estimation methods. These first-order
methods are however provably suboptimal in a minimax sense for functional
estimation when the nuisance functions live in Holder-type function spaces.
This suboptimality of first-order debiasing has motivated the development of
"higher-order" debiasing methods. The resulting estimators are, in some cases,
provably optimal over Holder-type spaces, but both the estimators which are
minimax-optimal and their analyses are crucially tied to properties of the
underlying function space.
In this paper we investigate the fundamental limits of structure-agnostic
functional estimation, where relatively weak conditions are placed on the
underlying nuisance functions. We show that there is a strong sense in which
existing first-order methods are optimal. We achieve this goal by providing a
formalization of the problem of functional estimation with black-box nuisance
function estimates, and deriving minimax lower bounds for this problem. Our
results highlight some clear tradeoffs in functional estimation -- if we wish
to remain agnostic to the underlying nuisance function spaces, impose only
high-level rate conditions, and maintain compatibility with black-box nuisance
estimators then first-order methods are optimal. When we have an understanding
of the structure of the underlying nuisance functions then carefully
constructed higher-order estimators can outperform first-order estimators.
- Abstract（参考訳）: 因果推論や関数的推定問題における最近の多くの進展は、古典的な一段階(一階)のデバイアス法や、より最近のサンプル・スプリットのダブル機械学習アバターが、驚くほど弱い条件下でプラグインの推定値を上回ることができるという事実によって動機づけられている。
これらの一階補正は、ブラックボックス方式でプラグイン推定器を改善するため、しばしば強力なオフザシェルフ推定法と併用される。
しかし、これらの一階法は、ニュアンス関数がホールダー型関数空間に存在するとき、関数推定のためにミニマックス感覚で証明できる準最適である。
この1次脱バイアスの亜最適性は「高次脱バイアス法」の発展を動機付けている。
結果として得られる推定子は、ホルダー型空間に対して証明可能な最適であるが、ミニマックス最適である推定値と解析値の両方は、基礎となる函数空間の性質に決定的に結びついている。
本稿では, 基礎となるニュアサンス関数に比較的弱い条件を課す, 構造非依存な関数推定の基本限界について検討する。
既存の一階法が最適であることを示す。
我々は,ブラックボックスニュアサンス関数推定を用いた関数推定問題の形式化と,この問題に対するミニマックス下限の導出により,この目標を達成する。
我々の結果は関数推定におけるいくつかの明確なトレードオフを浮き彫りにした -- 基礎となるニュアンス関数空間に無関係で留まり、高次レート条件のみを課し、ブラックボックスニュアンス推定器との互換性を維持したい場合、一階法は最適である。
基礎となるニュアンス関数の構造が理解できれば、注意深く構築された高次推定器は一階推定器より優れている。
関連論文リスト
- Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。
本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
論文 参考訳（メタデータ） (2024-06-28T02:56:22Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Nuisance Function Tuning and Sample Splitting for Optimal Doubly Robust Estimation [5.018363990542611]
二重頑健な非パラメトリック関数に対する収束率の最適値を求めるために、ニュアンス関数を推定する方法の問題点を考察する。
プラグインおよび一階偏り補正された推定器は、ニュアンス関数のすべてのH"古い滑らか度クラスに対して収束の最小値が得られることを示す。
論文 参考訳（メタデータ） (2022-12-30T18:17:06Z) - Variance Reduction for Score Functions Using Optimal Baselines [0.0]
本稿では,スコア関数の分散化手法であるベースラインについて検討する。
主に強化学習によって動機付けされ、最適な状態依存ベースラインの表現が初めて導かれる。
論文 参考訳（メタデータ） (2022-12-27T19:17:28Z) - Inference on Strongly Identified Functionals of Weakly Identified
Functions [71.42652863687117]
本研究では,ニュアンス関数が存在しない場合でも,関数を強く識別するための新しい条件について検討する。
本稿では,プライマリおよびデバイアスのニュアンス関数に対するペナル化ミニマックス推定器を提案する。
論文 参考訳（メタデータ） (2022-08-17T13:38:31Z) - Minimax Kernel Machine Learning for a Class of Doubly Robust Functionals [16.768606469968113]
もともと導入された二重頑健なモーメント関数のクラスを考える(Robins et al., 2008)。
このモーメント関数は、ニュアンス関数の推定方程式の構築に使用できることを実証する。
ニュアンス関数の収束速度は、統計学習理論の現代的な手法を用いて解析される。
論文 参考訳（メタデータ） (2021-04-07T05:52:15Z) - Causal Inference Under Unmeasured Confounding With Negative Controls: A
Minimax Learning Approach [84.29777236590674]
すべての共同設立者が観察されず、代わりに負の制御が利用可能である場合の因果パラメータの推定について検討する。
最近の研究は、2つのいわゆるブリッジ関数による同定と効率的な推定を可能にする方法を示している。
論文 参考訳（メタデータ） (2021-03-25T17:59:19Z) - Finite Sample Analysis of Minimax Offline Reinforcement Learning:
Completeness, Fast Rates and First-Order Efficiency [83.02999769628593]
強化学習におけるオフ・ポリティィ・アセスメント(OPE)の理論的特徴について述べる。
ミニマックス法により、重みと品質関数の高速収束を実現することができることを示す。
非タブラル環境における1次効率を持つ最初の有限サンプル結果を示す。
論文 参考訳（メタデータ） (2021-02-05T03:20:39Z) - What do you Mean? The Role of the Mean Function in Bayesian Optimisation [0.03305438525880806]
収束速度は平均関数の選択に敏感に依存できることを示す。
設計次元について、最低の観測値に等しい定数平均関数を使用する$ge5$が、常に最良の選択であることがわかった。
論文 参考訳（メタデータ） (2020-04-17T17:10:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。