論文の概要: Stochastic gradient descent for streaming linear and rectified linear systems with Massart noise

• arxiv url: http://arxiv.org/abs/2403.01204v1
• Date: Sat, 2 Mar 2024 12:45:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 14:49:22.933568
• Title: Stochastic gradient descent for streaming linear and rectified linear systems with Massart noise
• Title（参考訳）: マッサート雑音を伴うストリーミング線形および整流線形系の確率勾配降下
• Authors: Halyun Jeong, Deanna Needell, Elizaveta Rebrova
• Abstract要約: 我々は,SGD-expを最大50%のMassart汚職率で真のパラメータにほぼ線形収束する新しい保証を示す。 これはストリーミング環境での堅牢なReLU回帰に対する初めての収束保証結果である。
• 参考スコア（独自算出の注目度）: 9.841406613646813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose SGD-exp, a stochastic gradient descent approach for linear and ReLU regressions under Massart noise (adversarial semi-random corruption model) for the fully streaming setting. We show novel nearly linear convergence guarantees of SGD-exp to the true parameter with up to $50\%$ Massart corruption rate, and with any corruption rate in the case of symmetric oblivious corruptions. This is the first convergence guarantee result for robust ReLU regression in the streaming setting, and it shows the improved convergence rate over previous robust methods for $L_1$ linear regression due to a choice of an exponentially decaying step size, known for its efficiency in practice. Our analysis is based on the drift analysis of a discrete stochastic process, which could also be interesting on its own.
• Abstract（参考訳）: sgd-exp(sgd-exp)は,マッサートノイズ(逆半ランダム破壊モデル)下での線形回帰とrelu回帰の確率的勾配降下手法である。 我々は, sgd-exp を最大 50 % のマスアート汚損率で真のパラメータに近似し, 対称的絶対的汚損の場合はいかなる汚損率も持たない, 新たな線形収束保証を示す。 これはストリーミング設定におけるロバストなrelu回帰に対する最初の収束保証であり、実際の効率で知られている指数関数的に減衰するステップサイズの選択により、従来のロバストなl_1$線形回帰の収束速度が改善されたことを示している。 我々の分析は、離散確率過程のドリフト解析に基づいている。

関連論文リスト

• Implicit Bias and Fast Convergence Rates for Self-attention [30.08303212679308]
  トランスフォーマーのコアメカニズムであるセルフアテンションは、従来のニューラルネットワークと区別し、その優れたパフォーマンスを駆動する。 固定線形復号器をバイナリに固定した自己アテンション層をトレーニングする際の勾配降下(GD)の暗黙バイアスについて検討した。 W_t$ から $W_mm$ に対する最初の有限時間収束率と、注意写像のスペーサー化率を提供する。
  論文  参考訳（メタデータ） (2024-02-08T15:15:09Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping [1.5229257192293204]
  カーネルリッジ回帰(カーネルリッジ回帰、英: Kernel ridge regression、KRR)は、データにおいて非線形であるが、モデルパラメータでは線形である線形リッジ回帰の一般化である。 我々は、KRRの目的関数の等価な定式化を導入し、リッジペナルティを$ell_infty$と$ell_1$ペナルティに置き換えた。
  論文  参考訳（メタデータ） (2023-06-29T10:29:29Z)
• Gradient Descent Converges Linearly for Logistic Regression on Separable Data [17.60502131429094]
  変動学習率による勾配勾配降下は損失$f(x) leq 1.1 cdot f(x*) + epsilon$ロジスティック回帰目標を示す。 また、ロジスティックなレグレッションを緩やかなレグレッションに適用し、スペルシ・エラーのトレードオフを指数関数的に改善する。
  論文  参考訳（メタデータ） (2023-06-26T02:15:26Z)
• Near Optimal Private and Robust Linear Regression [47.2888113094367]
  本稿では,2つのアルゴリズムを改良したDP-SGDアルゴリズムを提案する。 ラベル破壊の下では、これは$(varepsilon,delta)$-DPとロバスト性の両方を保証する最初の効率的な線形回帰アルゴリズムである。
  論文  参考訳（メタデータ） (2023-01-30T20:33:26Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
  順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。 近勾配法はOWL回帰を解くための標準手法として用いられる。 未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
  論文  参考訳（メタデータ） (2020-06-29T23:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。