論文の概要: Adaptive debiased machine learning using data-driven model selection
techniques
- arxiv url: http://arxiv.org/abs/2307.12544v1
- Date: Mon, 24 Jul 2023 06:16:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 15:32:01.970851
- Title: Adaptive debiased machine learning using data-driven model selection
techniques
- Title（参考訳）: データ駆動モデル選択手法を用いた適応脱バイアス機械学習
- Authors: Lars van der Laan, Marco Carone, Alex Luedtke, Mark van der Laan
- Abstract要約: Adaptive Debiased Machine Learning (ADML)は、データ駆動型モデル選択と非バイアス型機械学習技術を組み合わせた非バイアス型フレームワークである。
ADMLはモデルの誤特定によるバイアスを回避し、パラメトリックモデルとセミモデルの制約から解放される。
適応的部分線形回帰モデルにおける平均処理効果を推定するためのADML推定器の幅広いクラスを提供する。
- 参考スコア（独自算出の注目度）: 0.5735035463793007
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Debiased machine learning estimators for nonparametric inference of smooth
functionals of the data-generating distribution can suffer from excessive
variability and instability. For this reason, practitioners may resort to
simpler models based on parametric or semiparametric assumptions. However, such
simplifying assumptions may fail to hold, and estimates may then be biased due
to model misspecification. To address this problem, we propose Adaptive
Debiased Machine Learning (ADML), a nonparametric framework that combines
data-driven model selection and debiased machine learning techniques to
construct asymptotically linear, adaptive, and superefficient estimators for
pathwise differentiable functionals. By learning model structure directly from
data, ADML avoids the bias introduced by model misspecification and remains
free from the restrictions of parametric and semiparametric models. While they
may exhibit irregular behavior for the target parameter in a nonparametric
statistical model, we demonstrate that ADML estimators provides regular and
locally uniformly valid inference for a projection-based oracle parameter.
Importantly, this oracle parameter agrees with the original target parameter
for distributions within an unknown but correctly specified oracle statistical
submodel that is learned from the data. This finding implies that there is no
penalty, in a local asymptotic sense, for conducting data-driven model
selection compared to having prior knowledge of the oracle submodel and oracle
parameter. To demonstrate the practical applicability of our theory, we provide
a broad class of ADML estimators for estimating the average treatment effect in
adaptive partially linear regression models.
- Abstract（参考訳）: データ生成分布のスムーズな関数の非パラメトリック推定のためのバイアス付き機械学習推定器は、過度の変動と不安定に悩まされる。
このため、実践者はパラメトリックや半パラメトリックの仮定に基づく単純なモデルに頼ることがある。
しかし、そのような単純化された仮定は持たない可能性があり、見積もりはモデルの誤特定によってバイアスを受ける可能性がある。
この問題を解決するために,データ駆動型モデル選択とデバイアス型機械学習技術を組み合わせた非パラメトリックフレームワークであるAdaptive Debiased Machine Learning (ADML)を提案する。
モデル構造を直接データから学習することにより、ADMLはモデルの不特定によるバイアスを回避し、パラメトリックモデルとセミパラメトリックモデルの制約から解放される。
非パラメトリック統計モデルでは対象パラメータに対して不規則な振る舞いを示す可能性があるが、ADML推定器がプロジェクションに基づくオラクルパラメータに対して正規かつ局所的に一様に有効であることを示す。
重要なことに、このoracleパラメータは、データから学習された未知だが正確に特定されたoracle統計サブモデル内のディストリビューションの元のターゲットパラメータと一致する。
この発見は、oracleサブモデルとoracleパラメータの事前知識を持つよりも、データ駆動モデルの選択を行うための、局所漸近的な意味でのペナルティがないことを意味する。
本理論の実用性を示すために,適応的部分線形回帰モデルにおける平均処理効果を推定するためのADML推定器の幅広いクラスを提供する。
関連論文リスト
- Automatic Debiased Machine Learning for Smooth Functionals of Nonparametric M-Estimands [34.30497962430375]
無限次元M-推定関数のスムーズな関数に対する推論を行うために,自動脱バイアス機械学習(autoDML)の統一フレームワークを提案する。
本稿では,1ステップ推定に基づく3つの自動DML推定器,目標最小損失推定,およびシーブ方法を紹介する。
データ駆動型モデル選択では、M-エスティマンドの滑らかな関数に対するモデル近似誤差の新たな分解を導出する。
論文 参考訳（メタデータ） (2025-01-21T03:50:51Z) - Bayesian Model Parameter Learning in Linear Inverse Problems with Application in EEG Focal Source Imaging [49.1574468325115]
逆問題は、関心のシグナルを直接観測できない限定データ問題として記述することができる。
未知の非線形モデルパラメータを含む線形逆問題について検討した。
ベイズモデルに基づく学習手法を用いて,信号の回復とモデルパラメータの推定を行った。
論文 参考訳（メタデータ） (2025-01-07T18:14:24Z) - Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
拡散モデルは、生成的モデリングに大きな進歩をもたらした。
しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。
これらの課題に対処するための影響関数フレームワークを開発する。
論文 参考訳（メタデータ） (2024-10-17T17:59:02Z) - Overparameterized Multiple Linear Regression as Hyper-Curve Fitting [0.0]
線形モデルは, モデル仮定に反する非線形依存が存在する場合でも, 正確な予測を生成することが証明された。
ハイパーカーブのアプローチは、予測変数のノイズに関する問題を正規化するのに特に適しており、モデルからノイズや「不適切な」予測子を取り除くのに使うことができる。
論文 参考訳（メタデータ） (2024-04-11T15:43:11Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳（メタデータ） (2023-06-14T11:41:42Z) - Active-Learning-Driven Surrogate Modeling for Efficient Simulation of
Parametric Nonlinear Systems [0.0]
支配方程式がなければ、パラメトリック還元次代理モデルを非侵襲的に構築する必要がある。
我々の研究は、パラメータのスナップショットを効率的に表示するための非侵入的最適性基準を提供する。
カーネルベースの浅層ニューラルネットワークを用いた能動的学習駆動サロゲートモデルを提案する。
論文 参考訳（メタデータ） (2023-06-09T18:01:14Z) - Variational Inference with NoFAS: Normalizing Flow with Adaptive
Surrogate for Computationally Expensive Models [7.217783736464403]
マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。
変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。
本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
論文 参考訳（メタデータ） (2021-08-28T14:31:45Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - Assumption-lean inference for generalised linear model parameters [0.0]
主効果推定と効果修正推定の非パラメトリックな定義を提案する。
これらのモデルが正しく指定されたとき、一般化された線形モデルにおける標準の主効果と効果の修正パラメータに還元される。
これらの推定値に対する仮定リーン推論を実現する。
論文 参考訳（メタデータ） (2020-06-15T13:49:48Z) - SUMO: Unbiased Estimation of Log Marginal Probability for Latent
Variable Models [80.22609163316459]
無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。
推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
論文 参考訳（メタデータ） (2020-04-01T11:49:30Z) - Nonparametric Estimation in the Dynamic Bradley-Terry Model [69.70604365861121]
カーネルのスムース化に依存する新しい推定器を開発し、時間とともにペア比較を前処理する。
モデルに依存しない設定における推定誤差と余剰リスクの両方について時間変化のオラクル境界を導出する。
論文 参考訳（メタデータ） (2020-02-28T21:52:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。