論文の概要: Near-optimal inference in adaptive linear regression

• arxiv url: http://arxiv.org/abs/2107.02266v3
• Date: Tue, 21 Mar 2023 18:18:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 07:44:08.981220
• Title: Near-optimal inference in adaptive linear regression
• Title（参考訳）: 適応線形回帰における近似最適推定
• Authors: Koulik Khamaru, Yash Deshpande, Tor Lattimore, Lester Mackey, Martin J. Wainwright
• Abstract要約: 最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
• 参考スコア（独自算出の注目度）: 60.08422051718195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When data is collected in an adaptive manner, even simple methods like ordinary least squares can exhibit non-normal asymptotic behavior. As an undesirable consequence, hypothesis tests and confidence intervals based on asymptotic normality can lead to erroneous results. We propose a family of online debiasing estimators to correct these distributional anomalies in least squares estimation. Our proposed methods take advantage of the covariance structure present in the dataset and provide sharper estimates in directions for which more information has accrued. We establish an asymptotic normality property for our proposed online debiasing estimators under mild conditions on the data collection process and provide asymptotically exact confidence intervals. We additionally prove a minimax lower bound for the adaptive linear regression problem, thereby providing a baseline by which to compare estimators. There are various conditions under which our proposed estimators achieve the minimax lower bound. We demonstrate the usefulness of our theory via applications to multi-armed bandit, autoregressive time series estimation, and active learning with exploration.
• Abstract（参考訳）: データが適応的に収集される場合、通常の最小二乗法のような単純な方法でさえ、非通常の漸近的な振る舞いを示す。 望ましくない結果として、漸近的正規性に基づく仮説テストと信頼区間は誤った結果をもたらす。 本稿では,これらの分布異常を最小2乗推定で補正するオンラインデバイアス推定手法を提案する。 提案手法は,データセットに存在する共分散構造を利用して,より多くの情報が得られた方向のよりシャープな推定を行う。 我々は,データ収集プロセスの軽度条件下で提案したオンライン嫌悪推定器の漸近正規性特性を確立し,漸近的に正確な信頼区間を提供する。 さらに, 適応線形回帰問題に対する最小値下界を証明し, 推定器の比較を行うベースラインを提供する。 提案する推定器がミニマックス下限を達成する様々な条件が存在する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などによる理論の有用性を実証する。

関連論文リスト

• Statistical Limits of Adaptive Linear Models: Low-Dimensional Estimation and Inference [5.924780594614676]
  データの任意適応が許された場合、単一の座標を推定する誤差を$sqrtd$の倍にすることができる。 2段階適応線形推定方程式(TALE)を解くことにより,単一座標推定のための新しい推定器を提案する。
  論文  参考訳（メタデータ） (2023-10-01T00:45:09Z)
• Error Reduction from Stacked Regressions [12.657895453939298]
  積み重ね回帰は、予測精度を高めるために異なる回帰推定器の線形結合を形成するアンサンブル手法である。 本稿では,非負性制約を受ける経験的リスクの正規化バージョンを最小化することにより,これらの重みを類似的に学習する。 適応的縮小効果により、結果として生じる累積推定量は、最も優れた単一推定値よりも人口リスクが厳しく小さい。
  論文  参考訳（メタデータ） (2023-09-18T15:42:12Z)
• Statistical Estimation Under Distribution Shift: Wasserstein Perturbations and Minimax Theory [24.540342159350015]
  我々はWasserstein分布シフトに注目し、各データポイントがわずかに摂動する可能性がある。 データポイント間の独立あるいは協調的な関節シフトである摂動について検討する。 位置推定,線形回帰,非パラメトリック密度推定など,いくつかの重要な統計問題を解析する。
  論文  参考訳（メタデータ） (2023-08-03T16:19:40Z)
• Adaptive Linear Estimating Equations [5.985204759362746]
  本稿では,デバイアス推定器の一般的な構成法を提案する。 適応線形推定方程式の考え方を利用し、正規性の理論的保証を確立する。 我々の推定器の健全な特徴は、マルチアームバンディットの文脈では、我々の推定器は非漸近的な性能を保っていることである。
  論文  参考訳（メタデータ） (2023-07-14T12:55:47Z)
• Semi-parametric inference based on adaptively collected data [34.56133468275712]
  データ収集における適応性を考慮した重み付き推定式を構築した。 本研究の結果は,正常性の保持に必要な「探索可能性」の度合いを特徴づけるものである。 我々は、標準線形帯域やスパース一般化帯域を含む様々な問題に対する具体的結果を用いて、我々の一般理論を説明する。
  論文  参考訳（メタデータ） (2023-03-05T00:45:32Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
  重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。 我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。 結果として得られるアルゴリズム、GenDICEは単純で効果的である。
  論文  参考訳（メタデータ） (2020-02-21T00:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。