論文の概要: Globally-convergent Iteratively Reweighted Least Squares for Robust Regression Problems

• arxiv url: http://arxiv.org/abs/2006.14211v1
• Date: Thu, 25 Jun 2020 07:16:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 03:29:24.824413
• Title: Globally-convergent Iteratively Reweighted Least Squares for Robust Regression Problems
• Title（参考訳）: ロバスト回帰問題に対するグローバル収束反復重み付き最小方形
• Authors: Bhaskar Mukhoty and Govind Gopakumar and Prateek Jain and Purushottam Kar
• Abstract要約: 我々は、ロバスト回帰問題に対するIRLS(暫定的に重み付けされた最小二乗)に対する最初のグローバルモデル回復結果を提供する。 我々は、保証されたグローバルリカバリを提供するだけでなく、実際にロバストレグレッションのための最先端のアルゴリズムよりも優れている基本IRLSルーチンの拡張を提案する。
• 参考スコア（独自算出の注目度）: 15.823258699608994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We provide the first global model recovery results for the IRLS (iteratively reweighted least squares) heuristic for robust regression problems. IRLS is known to offer excellent performance, despite bad initializations and data corruption, for several parameter estimation problems. Existing analyses of IRLS frequently require careful initialization, thus offering only local convergence guarantees. We remedy this by proposing augmentations to the basic IRLS routine that not only offer guaranteed global recovery, but in practice also outperform state-of-the-art algorithms for robust regression. Our routines are more immune to hyperparameter misspecification in basic regression tasks, as well as applied tasks such as linear-armed bandit problems. Our theoretical analyses rely on a novel extension of the notions of strong convexity and smoothness to weighted strong convexity and smoothness, and establishing that sub-Gaussian designs offer bounded weighted condition numbers. These notions may be useful in analyzing other algorithms as well.
• Abstract（参考訳）: 我々は,ロバスト回帰問題に対するirls (iterative reweighted least squares) ヒューリスティックの最初のグローバルモデル回復結果を提供する。 IRLSは、いくつかのパラメータ推定問題に対して、悪い初期化とデータ破損にもかかわらず優れた性能を提供することが知られている。 既存のIRLSの分析は、しばしば慎重な初期化を必要とするため、局所収束保証のみを提供する。 我々は、グローバルリカバリが保証されるだけでなく、ロバストレグレッションのための最先端のアルゴリズムよりも優れている、基本的なIRLSルーチンに拡張を提案することでこれを改善する。 我々のルーチンは、線形武装バンディット問題などの応用タスクと同様に、基本的な回帰タスクにおけるハイパーパラメータの誤特定に対してより免疫性が高い。 我々の理論解析は、強い凸性と滑らか性の概念を、重み付き強い凸性および滑らか性へと拡張し、ガウス以下の設計が有界な重み付き条件数を提供することを示す。 これらの概念は他のアルゴリズムの解析にも有用である。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Finite-Sample Analysis of Learning High-Dimensional Single ReLU Neuron [121.10338065441417]
  我々は、GLM-tronと呼ばれるパーセプトロン型アルゴリズムを解析し、その次元自由リスク上限を高次元ReLU回帰のために提供する。 以上の結果から,GLM-tronは高次元ReLU回帰においてSGDよりも好ましい可能性が示唆された。
  論文  参考訳（メタデータ） (2023-03-03T23:02:23Z)
• A Bayesian Robust Regression Method for Corrupted Data Reconstruction [5.298637115178182]
  我々は適応的敵攻撃に抵抗できる効果的なロバスト回帰法を開発した。 まず TRIP (hard Thresholding approach to Robust regression with sImple Prior) アルゴリズムを提案する。 次に、より堅牢なBRHT (robust Bayesian Reweighting regression via Hard Thresholding) アルゴリズムを構築するためにベイズ再重み付け(Bayesian reweighting)というアイデアを用いる。
  論文  参考訳（メタデータ） (2022-12-24T17:25:53Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• SLURP: Side Learning Uncertainty for Regression Problems [3.5321916087562304]
  副学習者による回帰不確実性推定のための一般的な手法であるSLURPを提案する。 コンピュータビジョンにおける2つの重要な回帰タスク、すなわち単眼深度と光フロー推定でSLURPをテストする。
  論文  参考訳（メタデータ） (2021-10-21T14:50:42Z)
• The Benefits of Implicit Regularization from SGD in Least Squares Problems [116.85246178212616]
  勾配降下(SGD)はアルゴリズム正則化効果が強い。 我々は、(正規化されていない)平均SGDで得られる暗黙の正則化とリッジ回帰の明示的な正則化の比較を行う。
  論文  参考訳（メタデータ） (2021-08-10T09:56:47Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Towards Understanding Generalization via Decomposing Excess Risk Dynamics [13.4379473119565]
  一般化力学を解析してアルゴリズム依存境界(安定性など)を導出する。 ニューラルネットは、ノイズの嵌合時に緩やかな収束率を示すという観測から着想を得て、余剰リスクダイナミクスを分解することを提案する。 分解の枠組みの下では、新しい境界は安定性に基づく境界と一様収束境界よりも理論的および経験的証拠とよく一致している。
  論文  参考訳（メタデータ） (2021-06-11T03:42:45Z)
• Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
  順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。 近勾配法はOWL回帰を解くための標準手法として用いられる。 未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
  論文  参考訳（メタデータ） (2020-06-29T23:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。