論文の概要: Support estimation in high-dimensional heteroscedastic mean regression
- arxiv url: http://arxiv.org/abs/2011.01591v1
- Date: Tue, 3 Nov 2020 09:46:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 06:04:55.642933
- Title: Support estimation in high-dimensional heteroscedastic mean regression
- Title(参考訳): 高次元ヘテロシドスティック平均回帰における支援推定
- Authors: Philipp Hermann and Hajo Holzmann
- Abstract要約: ランダムな設計と、潜在的にヘテロセダスティックで重み付きエラーを伴う線形平均回帰モデルを考える。
我々は,問題のパラメータに依存するチューニングパラメータを備えた,厳密な凸・滑らかなHuber損失関数の変種を用いる。
得られた推定器に対して、$ell_infty$ノルムにおける符号一貫性と最適収束率を示す。
- 参考スコア(独自算出の注目度): 2.28438857884398
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A current strand of research in high-dimensional statistics deals with
robustifying the available methodology with respect to deviations from the
pervasive light-tail assumptions. In this paper we consider a linear mean
regression model with random design and potentially heteroscedastic,
heavy-tailed errors, and investigate support estimation in this framework. We
use a strictly convex, smooth variant of the Huber loss function with tuning
parameter depending on the parameters of the problem, as well as the adaptive
LASSO penalty for computational efficiency. For the resulting estimator we show
sign-consistency and optimal rates of convergence in the $\ell_\infty$ norm as
in the homoscedastic, light-tailed setting. In our analysis, we have to deal
with the issue that the support of the target parameter in the linear mean
regression model and its robustified version may differ substantially even for
small values of the tuning parameter of the Huber loss function. Simulations
illustrate the favorable numerical performance of the proposed methodology.
- Abstract(参考訳): 現在の高次元統計学の研究は、広範に広がる光尾仮定からの逸脱に関して利用可能な方法論を強固にすることを扱う。
本稿では,ランダムな設計と潜在的にヘテロシドスティックな重み付き誤差を伴う線形平均回帰モデルを検討し,このフレームワークにおける支援推定について検討する。
我々は,問題のパラメータに依存するチューニングパラメータを持つハマー損失関数の厳密な凸・滑らかな変形と,計算効率の適応LASSOペナルティを用いる。
結果として得られる推定値は、ホモシデスティックでライトテールな設定のように、$\ell_\infty$ のノルムにおける符号一貫性と最適収束率を示す。
解析では,フーバー損失関数のチューニングパラメータの小さい値であっても,線形平均回帰モデルとそのロバスト化バージョンにおける目標パラメータのサポートが著しく異なる可能性があるという問題に対処する必要がある。
シミュレーションは提案手法の良好な数値性能を示す。
関連論文リスト
- Bayesian Nonparametrics Meets Data-Driven Robust Optimization [34.55288809402238]
機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。
ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルとの知見を組み合わせることで、新しいロバストな基準を提案する。
実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
論文 参考訳(メタデータ) (2024-01-28T21:19:15Z) - Model-Based Reparameterization Policy Gradient Methods: Theory and
Practical Algorithms [88.74308282658133]
Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。
近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。
本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
論文 参考訳(メタデータ) (2023-10-30T18:43:21Z) - Leveraging Self-Consistency for Data-Efficient Amortized Bayesian
Inference [3.0358713021250083]
本稿では,償却ベイズ推定の効率と精度を向上させる手法を提案する。
我々は,関節モデルの近似表現に基づいて限界確率を推定する。
論文 参考訳(メタデータ) (2023-10-06T17:41:41Z) - Errors-in-variables Fr\'echet Regression with Low-rank Covariate
Approximation [2.1756081703276]
Fr'echet回帰は、非ユークリッド応答変数を含む回帰分析のための有望なアプローチとして登場した。
提案手法は,大域的Fr'echet回帰と主成分回帰の概念を組み合わせて,回帰推定器の効率と精度を向上させることを目的とする。
論文 参考訳(メタデータ) (2023-05-16T08:37:54Z) - Adaptive LASSO estimation for functional hidden dynamic geostatistical
model [69.10717733870575]
関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。
このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
論文 参考訳(メタデータ) (2022-08-10T19:17:45Z) - Benign overfitting and adaptive nonparametric regression [71.70323672531606]
本研究では,データポイントを高い確率で補間する連続関数である推定器を構築する。
我々は未知の滑らかさに適応してH"古いクラスのスケールにおいて平均2乗リスクの下で最小値の最適速度を得る。
論文 参考訳(メタデータ) (2022-06-27T14:50:14Z) - Wasserstein Distributionally Robust Estimation in High Dimensions:
Performance Analysis and Optimal Hyperparameter Tuning [0.0]
雑音線形測定から未知パラメータを推定するための分布的ロバストな推定フレームワークを提案する。
このような推定器の2乗誤差性能を解析する作業に着目する。
凸凹最適化問題の解法として2乗誤差を復元できることを示す。
論文 参考訳(メタデータ) (2022-06-27T13:02:59Z) - A generalization gap estimation for overparameterized models via the
Langevin functional variance [6.231304401179968]
関数分散は過パラメータ設定においても一般化ギャップを特徴付けることを示す。
本稿では,関数分散の効率的な近似,関数分散のランゲヴィン近似(Langevin FV)を提案する。
論文 参考訳(メタデータ) (2021-12-07T12:43:05Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳(メタデータ) (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。