論文の概要: Robust Linear Regression for General Feature Distribution

• arxiv url: http://arxiv.org/abs/2202.02080v1
• Date: Fri, 4 Feb 2022 11:22:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-07 21:54:20.776266
• Title: Robust Linear Regression for General Feature Distribution
• Title（参考訳）: 一般特徴分布に対するロバスト線形回帰
• Authors: Tom Norman, Nir Weinberger, Kfir Y. Levy
• Abstract要約: 本研究では, 不正な相手によってデータが汚染されるような頑健な線形回帰について検討する。 必ずしもその機能が中心であるとは限らない。 特徴が中心ならば、標準収束率を得ることができる。
• 参考スコア（独自算出の注目度）: 21.0709900887309
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We investigate robust linear regression where data may be contaminated by an oblivious adversary, i.e., an adversary than may know the data distribution but is otherwise oblivious to the realizations of the data samples. This model has been previously analyzed under strong assumptions. Concretely, $\textbf{(i)}$ all previous works assume that the covariance matrix of the features is positive definite; and $\textbf{(ii)}$ most of them assume that the features are centered (i.e. zero mean). Additionally, all previous works make additional restrictive assumption, e.g., assuming that the features are Gaussian or that the corruptions are symmetrically distributed. In this work we go beyond these assumptions and investigate robust regression under a more general set of assumptions: $\textbf{(i)}$ we allow the covariance matrix to be either positive definite or positive semi definite, $\textbf{(ii)}$ we do not necessarily assume that the features are centered, $\textbf{(iii)}$ we make no further assumption beyond boundedness (sub-Gaussianity) of features and measurement noise. Under these assumption we analyze a natural SGD variant for this problem and show that it enjoys a fast convergence rate when the covariance matrix is positive definite. In the positive semi definite case we show that there are two regimes: if the features are centered we can obtain a standard convergence rate; otherwise the adversary can cause any learner to fail arbitrarily.
• Abstract（参考訳）: 我々は,データ分布を知らないが,データサンプルの実現には不適当であるような,不利な敵によってデータが汚染されるような頑健な線形回帰について検討する。 このモデルは、これまで強い仮定で分析されてきた。 具体的には$\textbf{ (i)}$すべての先行研究は、特徴の共分散行列が正定値であると仮定し、$\textbf{ (ii)}$ ほとんどの場合、その特徴が中心的であると仮定する(つまりゼロ平均)。 さらに、以前のすべての著作は、例えば、特徴がガウス的であるか、汚職が対称分布であることを仮定するなど、追加の制限的な仮定を下している。 この研究では、これらの仮定を超えて、より一般的な仮定のセットの下で堅牢な回帰を調べる。 (i)$ 共分散行列を正定値または正半定値、$\textbf{ のいずれかとする。 (ii)$ 我々は必ずしもフィーチャが中心であることを仮定していない。 (iii)$ 特徴量と測定ノイズの有界性(準ガウス性)以上の仮定はしない。 これらの仮定の下で,この問題に対する自然なsgd変種を分析し,共分散行列が正定値である場合の収束速度が速いことを示す。 正の半定値の場合、特徴が中心となる場合、標準収束率を得ることができ、そうでなければ、敵対者は任意の学習者が任意に失敗する可能性がある。

関連論文リスト

• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
  回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。 我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
  論文  参考訳（メタデータ） (2023-10-12T10:56:25Z)
• A Robustness Analysis of Blind Source Separation [91.3755431537592]
  ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。 このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。 定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-17T16:30:51Z)
• Dimension free ridge regression [10.434481202633458]
  我々は、リッジ回帰のバイアスとばらつきの観点から、すなわちデータ上のリッジ回帰を再考し、等価なシーケンスモデルのバイアスとばらつきの観点から、リッジ回帰のバイアスとばらつきを考察する。 新しい応用として、定期的に変化するスペクトルを持つヒルベルト共変量に対して、完全に明示的で鋭い尾根回帰特性を得る。
  論文  参考訳（メタデータ） (2022-10-16T16:01:05Z)
• Consistent Estimation for PCA and Sparse Regression with Oblivious Outliers [13.244654316770815]
  我々は効率よく計算可能で一貫した推定器を設計する機械を開発する。 スパース回帰では、最適なサンプルサイズ$ngsim (klog d)/alpha2$の整合性を達成する。 PCAの文脈では、パラメータ行列上の広いスパイキネス仮定の下で最適な誤差を保証する。
  論文  参考訳（メタデータ） (2021-11-04T15:59:44Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Convergence Rates of Stochastic Gradient Descent under Infinite Noise Variance [14.06947898164194]
  ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。 SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。 その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
  論文  参考訳（メタデータ） (2021-02-20T13:45:11Z)
• Optimal Sub-Gaussian Mean Estimation in $\mathbb{R}$ [5.457150493905064]
  ガウス下収束を考慮した新しい推定器を提案する。 我々の推定器はその分散に関する事前の知識を必要としない。 我々の推定器の構成と分析は、他の問題に一般化可能なフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-11-17T02:47:24Z)
• Unbiased Estimation Equation under $f$-Separable Bregman Distortion Measures [0.3553493344868413]
  単調に増大する関数$f$とブレグマン発散を用いた対象関数のクラスにおける非バイアス推定方程式について議論する。 関数 $f$ の選択は、外れ値に対するロバスト性のような望ましい性質を与える。 本研究では, バイアス補正項が消滅したブレグマン発散, 統計モデル, 関数$f$の組み合わせを明らかにする。
  論文  参考訳（メタデータ） (2020-10-23T10:33:55Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。