論文の概要: Bootstrap SGD: Algorithmic Stability and Robustness

• arxiv url: http://arxiv.org/abs/2409.01074v1
• Date: Mon, 2 Sep 2024 08:56:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 07:38:47.764420
• Title: Bootstrap SGD: Algorithmic Stability and Robustness
• Title（参考訳）: Bootstrap SGD:アルゴリズムの安定性とロバスト性
• Authors: Andreas Christmann, Yunwen Lei,
• Abstract要約: 経験的ブートストラップ法を用いて勾配降下法(SGD)について検討した。 アルゴリズム的安定性に基づくタイプ1とタイプ2のブートストラップSGDの一般化解析を行う。 別のブートストラップSGDは、中央曲線の純粋に分布自由な点方向の信頼区間を構築することができることを示すために提案されている。
• 参考スコア（独自算出の注目度）: 32.855704793127444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper some methods to use the empirical bootstrap approach for stochastic gradient descent (SGD) to minimize the empirical risk over a separable Hilbert space are investigated from the view point of algorithmic stability and statistical robustness. The first two types of approaches are based on averages and are investigated from a theoretical point of view. A generalization analysis for bootstrap SGD of Type 1 and Type 2 based on algorithmic stability is done. Another type of bootstrap SGD is proposed to demonstrate that it is possible to construct purely distribution-free pointwise confidence intervals of the median curve using bootstrap SGD.
• Abstract（参考訳）: 本稿では,確率勾配降下(SGD)に対する経験的ブートストラップ法を用いて,分離可能なヒルベルト空間上の経験的リスクを最小限に抑える手法について,アルゴリズム的安定性と統計的ロバスト性の観点から検討する。 最初の2つのアプローチは平均に基づいており、理論的観点から検討されている。 アルゴリズム的安定性に基づくタイプ1とタイプ2のブートストラップSGDの一般化解析を行う。 また、ブートストラップSGDを用いて、中央曲線の純粋に分布自由な点方向の信頼区間を構築することが可能であることを実証するために、ブートストラップSGDの別のタイプを提案する。

関連論文リスト

• Robust Barycenter Estimation using Semi-Unbalanced Neural Optimal Transport [84.51977664336056]
  我々は,テクストロバスト連続バリセンタを推定するための,新しいスケーラブルなアプローチを提案する。 提案手法は$min$-$max$最適化問題であり,テキスト一般コスト関数に適応可能である。
  論文  参考訳（メタデータ） (2024-10-04T23:27:33Z)
• The Dimension Strikes Back with Gradients: Generalization of Gradient Methods in Stochastic Convex Optimization [30.26365073195728]
  基本凸最適化設定における勾配法の一般化性能について検討する。 同様の構成手法を適用すると、SGDのサンプル複雑性に対して同様の$Omega(sqrtd)$ローバウンドが得られ、非自明な経験的誤差に達することが示される。
  論文  参考訳（メタデータ） (2024-01-22T15:50:32Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Resampling Stochastic Gradient Descent Cheaply for Efficient Uncertainty Quantification [6.832893024035705]
  本稿では,SGDソリューションの信頼性区間を構築するために,計算的に安価に再サンプリングする2つの手法について検討する。 データのリサンプリングと置換によって複数のSGDを並行して使用するものもあれば、オンライン形式で運用するものもある。
  論文  参考訳（メタデータ） (2023-10-17T08:18:10Z)
• Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent Estimator [0.0]
  本稿では,凸問題の文脈における統計的推論のための勾配降下(SGD)の理論的性質について検討する。 多重誤差最小値を含む2つの干渉手順を提案する。
  論文  参考訳（メタデータ） (2023-06-03T22:08:10Z)
• Statistical inference with implicit SGD: proximal Robbins-Monro vs. Polyak-Ruppert [17.128639251861784]
  本稿では,滑らかな凸関数に対するISGDの2つのモード,すなわちRobins-Monro (proxRM) と Proximal Poylak-Ruppert (proxPR) を詳細に解析する。 我々は、proxRMとその制限分布の非漸近点推定誤差境界を導出し、ISGDの単一実行しか必要としないコライン行列のオンライン推定器を提案する。
  論文  参考訳（メタデータ） (2022-06-25T14:30:10Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Continuous Wasserstein-2 Barycenter Estimation without Minimax Optimization [94.18714844247766]
  ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。 本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-02T21:01:13Z)
• Continuous Regularized Wasserstein Barycenters [51.620781112674024]
  正規化ワッサーシュタイン・バリセンタ問題に対する新しい双対定式化を導入する。 我々は、強い双対性を確立し、対応する主対関係を用いて、正規化された輸送問題の双対ポテンシャルを用いて暗黙的にバリセンターをパラメトリゼーションする。
  論文  参考訳（メタデータ） (2020-08-28T08:28:06Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。