論文の概要: Stochastic gradient descent for streaming linear and rectified linear systems with Massart noise

• arxiv url: http://arxiv.org/abs/2403.01204v1
• Date: Sat, 2 Mar 2024 12:45:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 14:49:22.933568
• Title: Stochastic gradient descent for streaming linear and rectified linear systems with Massart noise
• Title（参考訳）: マッサート雑音を伴うストリーミング線形および整流線形系の確率勾配降下
• Authors: Halyun Jeong, Deanna Needell, Elizaveta Rebrova
• Abstract要約: 我々は,SGD-expを最大50%のMassart汚職率で真のパラメータにほぼ線形収束する新しい保証を示す。 これはストリーミング環境での堅牢なReLU回帰に対する初めての収束保証結果である。
• 参考スコア（独自算出の注目度）: 9.841406613646813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose SGD-exp, a stochastic gradient descent approach for linear and ReLU regressions under Massart noise (adversarial semi-random corruption model) for the fully streaming setting. We show novel nearly linear convergence guarantees of SGD-exp to the true parameter with up to $50\%$ Massart corruption rate, and with any corruption rate in the case of symmetric oblivious corruptions. This is the first convergence guarantee result for robust ReLU regression in the streaming setting, and it shows the improved convergence rate over previous robust methods for $L_1$ linear regression due to a choice of an exponentially decaying step size, known for its efficiency in practice. Our analysis is based on the drift analysis of a discrete stochastic process, which could also be interesting on its own.
• Abstract（参考訳）: sgd-exp(sgd-exp)は,マッサートノイズ(逆半ランダム破壊モデル)下での線形回帰とrelu回帰の確率的勾配降下手法である。 我々は, sgd-exp を最大 50 % のマスアート汚損率で真のパラメータに近似し, 対称的絶対的汚損の場合はいかなる汚損率も持たない, 新たな線形収束保証を示す。 これはストリーミング設定におけるロバストなrelu回帰に対する最初の収束保証であり、実際の効率で知られている指数関数的に減衰するステップサイズの選択により、従来のロバストなl_1$線形回帰の収束速度が改善されたことを示している。 我々の分析は、離散確率過程のドリフト解析に基づいている。

関連論文リスト

• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Max-affine regression via first-order methods [7.12511675782289]
  最大アフィンモデルは信号処理と統計学の応用においてユビキタスに現れる。 最大アフィン回帰に対する勾配降下(GD)とミニバッチ勾配降下(SGD)の非漸近収束解析を行った。
  論文  参考訳（メタデータ） (2023-08-15T23:46:44Z)
• Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping [1.5229257192293204]
  カーネルリッジ回帰(カーネルリッジ回帰、英: Kernel ridge regression、KRR)は、データにおいて非線形であるが、モデルパラメータでは線形である線形リッジ回帰の一般化である。 我々は、KRRの目的関数の等価な定式化を導入し、リッジペナルティを$ell_infty$と$ell_1$ペナルティに置き換えた。
  論文  参考訳（メタデータ） (2023-06-29T10:29:29Z)
• Gradient Descent Converges Linearly for Logistic Regression on Separable Data [17.60502131429094]
  変動学習率による勾配勾配降下は損失$f(x) leq 1.1 cdot f(x*) + epsilon$ロジスティック回帰目標を示す。 また、ロジスティックなレグレッションを緩やかなレグレッションに適用し、スペルシ・エラーのトレードオフを指数関数的に改善する。
  論文  参考訳（メタデータ） (2023-06-26T02:15:26Z)
• Near Optimal Private and Robust Linear Regression [47.2888113094367]
  本稿では,2つのアルゴリズムを改良したDP-SGDアルゴリズムを提案する。 ラベル破壊の下では、これは$(varepsilon,delta)$-DPとロバスト性の両方を保証する最初の効率的な線形回帰アルゴリズムである。
  論文  参考訳（メタデータ） (2023-01-30T20:33:26Z)
• Optimal Online Generalized Linear Regression with Stochastic Noise and Its Application to Heteroscedastic Bandits [88.6139446295537]
  一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。 ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。 本稿では,FTRLに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-28T08:25:26Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Robust Regression Revisited: Acceleration and Improved Estimation Rates [25.54653340884806]
  強い汚染モデルの下で, 統計的回帰問題に対する高速アルゴリズムについて検討する。 目的は、逆向きに破損したサンプルを与えられた一般化線形モデル(GLM)を概ね最適化することである。 実行時や推定保証が改善された頑健な回帰問題に対して,ほぼ直線的な時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:21:56Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。