論文の概要: Statistical Limits of Adaptive Linear Models: Low-Dimensional Estimation and Inference

• arxiv url: http://arxiv.org/abs/2310.00532v1
• Date: Sun, 1 Oct 2023 00:45:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 05:27:05.916631
• Title: Statistical Limits of Adaptive Linear Models: Low-Dimensional Estimation and Inference
• Title（参考訳）: 適応線形モデルの統計的限界:低次元推定と推論
• Authors: Licong Lin, Mufang Ying, Suvrojit Ghosh, Koulik Khamaru, Cun-Hui Zhang
• Abstract要約: データの任意適応が許された場合、単一の座標を推定する誤差を$sqrtd$の倍にすることができる。 2段階適応線形推定方程式(TALE)を解くことにより,単一座標推定のための新しい推定器を提案する。
• 参考スコア（独自算出の注目度）: 5.924780594614676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimation and inference in statistics pose significant challenges when data are collected adaptively. Even in linear models, the Ordinary Least Squares (OLS) estimator may fail to exhibit asymptotic normality for single coordinate estimation and have inflated error. This issue is highlighted by a recent minimax lower bound, which shows that the error of estimating a single coordinate can be enlarged by a multiple of $\sqrt{d}$ when data are allowed to be arbitrarily adaptive, compared with the case when they are i.i.d. Our work explores this striking difference in estimation performance between utilizing i.i.d. and adaptive data. We investigate how the degree of adaptivity in data collection impacts the performance of estimating a low-dimensional parameter component in high-dimensional linear models. We identify conditions on the data collection mechanism under which the estimation error for a low-dimensional parameter component matches its counterpart in the i.i.d. setting, up to a factor that depends on the degree of adaptivity. We show that OLS or OLS on centered data can achieve this matching error. In addition, we propose a novel estimator for single coordinate inference via solving a Two-stage Adaptive Linear Estimating equation (TALE). Under a weaker form of adaptivity in data collection, we establish an asymptotic normality property of the proposed estimator.
• Abstract（参考訳）: 統計における推定と推論は、データが適応的に収集されるときに重大な課題をもたらす。 線形モデルにおいても、通常の最小方形 (OLS) 推定器は単一の座標推定に対して漸近正規性を示すことができず、膨張誤差を持つ。 この問題は、最近のminimaxlowboundによって強調されている。これは、1つの座標を推定する誤差を、データが任意に適応できる場合に、i.i.dの場合と比較して、$\sqrt{d}$という倍数で拡大できることを示している。 本研究では,データ収集における適応度が,高次元線形モデルにおける低次元パラメータ成分の推定性能に与える影響について検討する。 低次元パラメータ成分の推定誤差がi.i.d.設定のそれと一致するデータ収集機構の条件を,適応度に依存する因子まで同定する。 中心データ上のOLSやOLSは、このマッチングエラーを実現できることを示す。 さらに, 2段階適応線形推定方程式(tale)を解いて, 単一座標推定のための新しい推定器を提案する。 データ収集における適応性の弱い形式の下で,提案する推定器の漸近正規性を確立する。

関連論文リスト

• Precise Model Benchmarking with Only a Few Observations [6.092112060364272]
  本稿では,各サブグループの直接推定と回帰推定を個別にバランスする経験的ベイズ推定器を提案する。 EBは、直接的および回帰的アプローチと比較して、LCM性能のより正確な推定を一貫して提供する。
  論文  参考訳（メタデータ） (2024-10-07T17:26:31Z)
• Efficient adjustment for complex covariates: Gaining efficiency with DOPE [56.537164957672715]
  共変量によって表現される情報のサブセットを調整可能なフレームワークを提案する。 理論的な結果に基づいて,平均処理効果(ATE)の効率的な評価を目的とした,デバイアスドアウトカム適応確率推定器(DOPE)を提案する。 その結果,DOPE は様々な観測環境において ATE 推定のための効率的かつ堅牢な手法を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-20T13:02:51Z)
• Leveraging Variational Autoencoders for Parameterized MMSE Estimation [10.141454378473972]
  条件付き線形最小二乗誤差推定器のパラメータ化のための変分オートエンコーダに基づくフレームワークを提案する。 導出した推定器は、推定問題の生成前として変分オートエンコーダを用いて最小平均2乗誤差推定器を近似する。 提案手法と最小平均二乗誤差推定器の差分を限定して厳密な解析を行う。
  論文  参考訳（メタデータ） (2023-07-11T15:41:34Z)
• Semi-Supervised Quantile Estimation: Robust and Efficient Inference in High Dimensional Settings [0.5735035463793009]
  2つの利用可能なデータセットを特徴とする半教師付き環境での量子推定を考察する。 本稿では,2つのデータセットに基づいて,応答量子化(s)に対する半教師付き推定器群を提案する。
  論文  参考訳（メタデータ） (2022-01-25T10:02:23Z)
• Estimation of Local Average Treatment Effect by Data Combination [3.655021726150368]
  治療課題の遵守が不完全である場合には、局所的平均治療効果(LATE)を推定することが重要である。 以前提案されたLATE推定法では、関連するすべての変数を1つのデータセットで共同で観測することが必要であった。 最小値の定式化を回避し,より簡易なモデル選択を可能とする重み付き最小二乗推定器を提案する。
  論文  参考訳（メタデータ） (2021-09-11T03:51:48Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。