論文の概要: Optimally taming biases in black-box models for efficient semiparametric estimation

• arxiv url: http://arxiv.org/abs/2606.06368v1
• Date: Thu, 04 Jun 2026 16:36:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.966072
• Title: Optimally taming biases in black-box models for efficient semiparametric estimation
• Title（参考訳）: 効率的な半パラメトリック推定のためのブラックボックスモデルにおける最適テーピングバイアス
• Authors: Yihong Gu, Qishuo Yin, Tianxi Cai, Jianqing Fan,
• Abstract要約: 補助関数 $mathbbE[T|X=x]$ が一貫して推定できない状態において、標準 DML レートが最適でないことを示す。 この結果から,新たな仮定を課すことなく,ニュアンス推定の1次誤差を除去できるという原理が得られた。
• 参考スコア（独自算出の注目度）: 13.159615239651258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern semiparametric estimation often relies on flexible black-box machine learning methods to estimate nuisance functions, raising a fundamental question: how do nuisance estimation errors propagate into inference for low-dimensional target parameters? The dominant paradigm, exemplified by double machine learning (DML), yields error bounds in which nuisance estimation errors enter multiplicatively. While widely adopted, it remains unclear whether this multiplicative-rate dependence is optimal for black-box models. In this paper, we start by revisiting the partial linear model $Y = μ_0(X)+T\cdotβ_0+\varepsilon$ under a structure-agnostic setting, where the nuisance function $μ_0$ is estimated using a generic machine learning model, with approximation error $δ^a_μ$ and stochastic error $δ_μ^s$. We show that the standard DML rate is not optimal in the regime where the auxiliary function $\mathbb{E}[T|X=x]$ cannot be consistently estimated. We propose a new estimator for $β_0$ that achieves a sharper rate of $n^{-1/2}+δ^a_μ+(δ_μ^s)^2$ and establish a matching lower bound demonstrating its optimality. Our results reveal a new principle: the first-order stochastic error of nuisance estimation can be eliminated without imposing any additional assumptions. This also leads to a revised tuning strategy favoring under-smoothing, where $δ^a_μ\asymp(δ_μ^s)^2$, rather than the classical bias-variance trade-off $δ^a_μ\asymp δ_μ^s$. Under mild additional conditions, the estimator is asymptotically normal with minimal asymptotic variance. The proposed method extends to a broad class of semi-parametric linear functional estimation problems, including average treatment effect estimation. Our results imply that popular orthogonal score methods in semiparametric estimation with black-box nuisance learners can be substantially improved.
• Abstract（参考訳）: 現代の半パラメトリック推定は、しばしば、ニュアンス関数を推定するための柔軟なブラックボックス機械学習手法に依存し、基本的な疑問を提起する: ニュアンス推定誤差は、低次元のターゲットパラメータの推論にどのように伝播するか? 二重機械学習(DML)によって実証された支配的パラダイムは、ニュアンス推定誤差が乗法的に入力されるエラー境界を生成する。 広く採用されているが、この乗法率依存がブラックボックスモデルに最適かどうかは不明である。 本稿では, 近似誤差$δ^a_μ$, 確率誤差$δ_μ^s$を用いて, ニュアンス関数$μ_0$を汎用機械学習モデルを用いて推定する構造に依存しない条件下で, 部分線形モデル$Y = μ_0(X)+T\cdotβ_0+\varepsilon$を再検討することから始める。 補助関数 $\mathbb{E}[T|X=x]$ が一貫して推定できない状態において、標準 DML レートが最適でないことを示す。 よりシャープな速度を$n^{-1/2}+δ^a_μ+(δ_μ^s)^2$とし、その最適性を示す一致した下界を確立する。 この結果から,1次確率誤差によるニュアンス推定は仮定を伴わずに除去できるという新たな原理が得られた。 これはまた、従来のバイアス分散トレードオフである$δ^a_μ\asymp δ_μ^s$ではなく、$δ^a_μ\asymp(δ_μ^s)^2$というアンダースムース化を好む修正されたチューニング戦略をもたらす。 軽度の追加条件下では、推定子は漸近的正規であり、最小限の漸近的分散を持つ。 提案手法は, 平均処理効果推定を含む, 半パラメトリック線形汎関数推定問題の幅広いクラスに拡張する。 この結果から,ブラックボックスニュアンス学習者による半パラメトリック推定における一般的な直交スコア法を大幅に改善できることが示唆された。

関連論文リスト

• Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
  本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。 鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。 我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
  論文  参考訳（メタデータ） (2026-05-21T08:57:38Z)
• It's Hard to Be Normal: The Impact of Noise on Structure-agnostic Estimation [34.755498967191535]
  本研究では,ブラックボックス機械学習によるニュアンス関数の処理効果を推定する方法について検討する。 この答えは, 治療音の分布に大きく依存していることが判明した。
  論文  参考訳（メタデータ） (2025-07-03T03:31:45Z)
• Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
  確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。 我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。 我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T02:46:15Z)
• Online non-parametric likelihood-ratio estimation by Pearson-divergence functional minimization [55.98760097296213]
  iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。 本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
  論文  参考訳（メタデータ） (2023-11-03T13:20:11Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Fast Projected Newton-like Method for Precision Matrix Estimation under Total Positivity [15.023842222803058]
  現在のアルゴリズムはブロック座標降下法や近点アルゴリズムを用いて設計されている。 本稿では,2次元投影法に基づく新しいアルゴリズムを提案し,慎重に設計された探索方向と変数分割方式を取り入れた。 合成および実世界のデータセットに対する実験結果から,提案アルゴリズムは最先端の手法と比較して計算効率を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2021-12-03T14:39:10Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。