論文の概要: Robust Linear Predictions: Analyses of Uniform Concentration, Fast Rates
and Model Misspecification
- arxiv url: http://arxiv.org/abs/2201.01973v1
- Date: Thu, 6 Jan 2022 08:51:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-07 14:39:47.306327
- Title: Robust Linear Predictions: Analyses of Uniform Concentration, Fast Rates
and Model Misspecification
- Title（参考訳）: ロバスト線形予測:一様濃度、高速速度、モデル不特定化の解析
- Authors: Saptarshi Chakraborty, Debolina Paul and Swagatam Das
- Abstract要約: ヒルベルト空間上の様々な線形予測問題を含む統一的なフレームワークを提供する。
誤特定レベル $epsilon$ に対して、これらの推定器は、文献で最もよく知られたレートと一致する、$O(maxleft|mathcalO|1/2n-1/2, |mathcalI|1/2n-1 right+epsilon)$ の誤差率を達成する。
- 参考スコア（独自算出の注目度）: 16.0817847880416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The problem of linear predictions has been extensively studied for the past
century under pretty generalized frameworks. Recent advances in the robust
statistics literature allow us to analyze robust versions of classical linear
models through the prism of Median of Means (MoM). Combining these approaches
in a piecemeal way might lead to ad-hoc procedures, and the restricted
theoretical conclusions that underpin each individual contribution may no
longer be valid. To meet these challenges coherently, in this study, we offer a
unified robust framework that includes a broad variety of linear prediction
problems on a Hilbert space, coupled with a generic class of loss functions.
Notably, we do not require any assumptions on the distribution of the outlying
data points ($\mathcal{O}$) nor the compactness of the support of the inlying
ones ($\mathcal{I}$). Under mild conditions on the dual norm, we show that for
misspecification level $\epsilon$, these estimators achieve an error rate of
$O(\max\left\{|\mathcal{O}|^{1/2}n^{-1/2}, |\mathcal{I}|^{1/2}n^{-1}
\right\}+\epsilon)$, matching the best-known rates in literature. This rate is
slightly slower than the classical rates of $O(n^{-1/2})$, indicating that we
need to pay a price in terms of error rates to obtain robust estimates.
Additionally, we show that this rate can be improved to achieve so-called
``fast rates" under additional assumptions.
- Abstract（参考訳）: 線形予測の問題は、かなり一般化された枠組みの下で過去1世紀にわたって広く研究されてきた。
近年のロバスト統計学の進歩により,メディア・オブ・ミーンズ(MoM)のプリズムを通じて古典線形モデルのロバストバージョンを解析できるようになった。
これらのアプローチを断片的な方法で組み合わせることで、アドホックな手続きにつながる可能性があり、個々の貢献の基盤となる限定的な理論的な結論はもはや有効ではないかもしれない。
これらの課題に整合的に対処するため、本研究では、ヒルベルト空間上の様々な線形予測問題を含む統一ロバストなフレームワークと、一般的な損失関数のクラスを提供する。
特に、外接するデータポイント(\mathcal{o}$)の分布に関する仮定や、内在するデータポイント(\mathcal{i}$)のサポートのコンパクト性は不要である。
二重ノルム上の穏やかな条件の下では、$\epsilon$ の誤特定レベルに対して、これらの推定器は、文献で最もよく知られた率である$o(\max\left\{|\mathcal{o}|^{1/2}n^{-1/2}, |\mathcal{i}|^{1/2}n^{-1} \right\}+\epsilon)$ の誤差率を達成する。
このレートは古典的な$O(n^{-1/2})$よりもわずかに遅く、ロバストな見積もりを得るためには誤差率の点で価格を支払う必要があることを示している。
さらに,この速度を,追加の仮定でいわゆる「高速」を達成するために改善できることを示す。
関連論文リスト
- Analysis of Bootstrap and Subsampling in High-dimensional Regularized Regression [29.57766164934947]
統計モデルの不確実性を推定するための一般的な再サンプリング手法について検討する。
一般化線形モデル(英語版)の文脈において、これらの手法によって推定されるバイアスと分散の厳密な記述を提供する。
論文 参考訳（メタデータ） (2024-02-21T08:50:33Z) - Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。
勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。
得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文 参考訳（メタデータ） (2023-11-07T17:39:17Z) - A Primal-Dual Approach to Solving Variational Inequalities with General Constraints [54.62996442406718]
Yang et al. (2023) は最近、一般的な変分不等式を解決するために一階勾配法を使う方法を示した。
この方法の収束性を証明し、演算子が$L$-Lipschitz と monotone である場合、この手法の最後の繰り返しのギャップ関数が$O(frac1sqrtK)$で減少することを示す。
論文 参考訳（メタデータ） (2022-10-27T17:59:09Z) - High Probability Bounds for a Class of Nonconvex Algorithms with AdaGrad
Stepsize [55.0090961425708]
本研究では,AdaGradのスムーズな非確率問題に対する簡易な高確率解析法を提案する。
我々はモジュラーな方法で解析を行い、決定論的設定において相補的な$mathcal O (1 / TT)$収束率を得る。
我々の知る限りでは、これは真に適応的なスキームを持つAdaGradにとって初めての高い確率である。
論文 参考訳（メタデータ） (2022-04-06T13:50:33Z) - Distributed Sparse Regression via Penalization [5.990069843501885]
エージェントのネットワーク上の線形回帰を、(集中ノードを持たない)無向グラフとしてモデル化する。
推定問題は、局所的なLASSO損失関数の和とコンセンサス制約の2次ペナルティの最小化として定式化される。
本稿では, ペナル化問題に適用した近似勾配アルゴリズムが, 集中的な統計的誤差の順序の許容値まで線形に収束することを示す。
論文 参考訳（メタデータ） (2021-11-12T01:51:50Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Convergence Rates of Stochastic Gradient Descent under Infinite Noise
Variance [14.06947898164194]
ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。
SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。
その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
論文 参考訳（メタデータ） (2021-02-20T13:45:11Z) - Super fast rates in structured prediction [88.99819200562784]
連続的な問題が連続的な値を予測しているときに、離散的な問題が本質的に離散的なアウトプットを予測しているという事実を活用する方法を示す。
まず、近接する隣人に基づく予測器について説明し、二項分類で知られている確率を、構造的予測の枠組み内の任意の離散問題に一般化する。
次に、カーネルリッジの回帰について検討し、問題の硬さを特徴付けるパラメータによって、n-1/4$の既知のレートを任意に高速化する。
論文 参考訳（メタデータ） (2021-02-01T10:50:04Z) - Suboptimality of Constrained Least Squares and Improvements via
Non-Linear Predictors [3.5788754401889014]
有界ユークリッド球における正方形損失に対する予測問題と最良の線形予測器について検討する。
最小二乗推定器に対する$O(d/n)$過剰リスク率を保証するのに十分な分布仮定について論じる。
論文 参考訳（メタデータ） (2020-09-19T21:39:46Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳（メタデータ） (2020-06-29T21:06:52Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。