論文の概要: Optimal use of a black-box learner in semiparametric estimation
- arxiv url: http://arxiv.org/abs/2607.21541v1
- Date: Thu, 23 Jul 2026 17:26:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.498539
- Title: Optimal use of a black-box learner in semiparametric estimation
- Title（参考訳）: 半パラメトリック推定におけるブラックボックス学習者の最適利用
- Abstract要約: 提案手法は, ブラックボックス回帰推定による重みの編集を行うためのトランスダクティブ・アディショナル・モーメント・エディティング(TAME)を提案する。
TAMEは初期ブラックボックスの推定値と組み合わせることができ、ニュアンス障害が校正された場合のDML保証を厳密に改善することができる。
- 参考スコア（独自算出の注目度）: 2.8597160727750564
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Consider the partial linear model $Y = μ_0(X) + β_0 \cdot T + \varepsilon$ and $T = π_0(X) + u$ in the structure-agnostic setting, where we are blind to the structure $μ_0$ and $π_0$ and estimate the nuisances by a black-box hypothesis class. The learnability of the class is characterized by the estimation error $δ_s$ in the absence of model misspecification and its $L_2$ mis-specification error $δ_{a, μ}$ and $δ_{a, π}$ for $μ_0$ and $π_0$, respectively. We propose a novel estimator of the target linear coefficient $θ_0 = β_0$ with error rate \[ \frac{1}{\sqrt{n}} + δ_{a, μ} \cdot δ_{a, π} + [δ_s]^2. \] A matching lower bound is also established, implying that this rate is unimprovable. Compared with the product rate yielded by double machine learning (DML), our estimator removes the suboptimal term $\max(δ_{a, μ}, δ_{a, π})\cdot δ_s$ at no extra cost or assumption. Building on the underlying insights, which are neither tailored to the one-learner setting nor the partial linear model, we propose Transductive Adversarial Moment-calibrated Editing (TAME), which locally edits debiasing weights induced by black-box regression estimates on the inference sample through adversarial conditional moment calibration. TAME can be combined with any initial black-box estimates and can strictly improve on DML guarantees when the nuisance difficulties are imbalanced. We discuss how to fully exploit the advantages introduced by TAME, including the gains from using two learners, the resulting under-smoothing principle for model selection, and extensions to other linear functional estimation problems.
- Abstract（参考訳）: 部分線型モデル $Y = μ_0(X) + β_0 \cdot T + \varepsilon$ と $T = π_0(X) + u$ を考えると、構造に依存しない環境では、μ_0$ と $π_0$ を盲視し、ブラックボックス仮説クラスでヌイザンスを推定する。
このクラスの学習性は、モデルミス種別のない推定誤差$δ_s$と、その$L_2$ミス種別エラー$δ_{a, μ}$と$δ_{a, π}$それぞれ$μ_0$と$π_0$によって特徴づけられる。
目的線形係数 $θ_0 = β_0$ の誤差率 \[ \frac{1}{\sqrt{n}} + δ_{a, μ} \cdot δ_{a, π} + [δ_s]^2 の新たな推定器を提案する。
\] 一致した下限も確立されており、このレートは改善不可能であることを意味する。
二重機械学習(DML)で得られる積率と比較して、推定器は、余分なコストや仮定なしで、$\max(δ_{a, μ}, δ_{a, π})\cdot δ_s$を除去する。
本研究では, 単層モデルや部分線形モデルに適合しない基礎的知見に基づいて, 逆条件のモーメント校正によって推定されたブラックボックス推定による重み付けを, 局所的に編集する Transductive Adversarial Moment-calibrated Editing (TAME) を提案する。
TAMEは初期ブラックボックスの推定値と組み合わせることができ、ニュアンス障害が不均衡である場合のDML保証を厳密に改善することができる。
本稿では,TAMEが導入した利点をフル活用する方法について論じる。2人の学習者によるゲイン,モデル選択におけるアンダースムーシングの原則,その他の線形汎関数推定問題への拡張などである。
関連論文リスト
- Optimally taming biases in black-box models for efficient semiparametric estimation [13.159615239651258]
補助関数 $mathbbE[T|X=x]$ が一貫して推定できない状態において、標準 DML レートが最適でないことを示す。
この結果から,新たな仮定を課すことなく,ニュアンス推定の1次誤差を除去できるという原理が得られた。
論文 参考訳（メタデータ） (2026-06-04T16:36:18Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。
鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。
我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
論文 参考訳（メタデータ） (2026-05-21T08:57:38Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Complexity of Vector-valued Prediction: From Linear Models to Stochastic Convex Optimization [27.33243506775655]
凸とリプシッツ損失関数の基本的な場合に焦点を当てる。
本稿では,この問題の複雑さと関連する学習モデルとの関連性に光を当てた,いくつかの新たな理論的結果を示す。
結果は,ベクトル値線形予測の設定を,広範に研究されている2つの異なる学習モデル間のブリッジングとして表現した。
論文 参考訳（メタデータ） (2024-12-05T15:56:54Z) - Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Estimating Stochastic Linear Combination of Non-linear Regressions
Efficiently and Scalably [23.372021234032363]
サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。
私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
論文 参考訳（メタデータ） (2020-10-19T07:15:38Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。