論文の概要: Only Tails Matter: Average-Case Universality and Robustness in the Convex Regime

• arxiv url: http://arxiv.org/abs/2206.09901v2
• Date: Wed, 22 Jun 2022 14:41:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 12:48:14.526172
• Title: Only Tails Matter: Average-Case Universality and Robustness in the Convex Regime
• Title（参考訳）: 尾のみ--凸系における平均ケース普遍性とロバスト性
• Authors: Leonardo Cunha, Gauthier Gidel, Fabian Pedregosa, Damien Scieur and Courtney Paquette
• Abstract要約: 予測スペクトル分布の端辺付近の固有値の濃度が問題の平均複雑性を決定することを示す。 平均ケースでは、ネステロフの手法は普遍的にほぼ最適であることを示す。
• 参考スコア（独自算出の注目度）: 34.34747805050984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recently developed average-case analysis of optimization methods allows a more fine-grained and representative convergence analysis than usual worst-case results. In exchange, this analysis requires a more precise hypothesis over the data generating process, namely assuming knowledge of the expected spectral distribution (ESD) of the random matrix associated with the problem. This work shows that the concentration of eigenvalues near the edges of the ESD determines a problem's asymptotic average complexity. This a priori information on this concentration is a more grounded assumption than complete knowledge of the ESD. This approximate concentration is effectively a middle ground between the coarseness of the worst-case scenario convergence and the restrictive previous average-case analysis. We also introduce the Generalized Chebyshev method, asymptotically optimal under a hypothesis on this concentration and globally optimal when the ESD follows a Beta distribution. We compare its performance to classical optimization algorithms, such as gradient descent or Nesterov's scheme, and we show that, in the average-case context, Nesterov's method is universally nearly optimal asymptotically.
• Abstract（参考訳）: 最近開発された最適化手法の平均ケース解析により、通常の最悪の結果よりも細粒度で代表的な収束解析が可能になる。 それと引き換えに、この分析はデータ生成プロセスに関するより正確な仮説、すなわち問題に関連するランダム行列の期待スペクトル分布(esd)の知識を仮定する必要がある。 この研究は、ESDの端付近の固有値の濃度が問題の漸近平均複雑性を決定することを示している。 この濃度に関する事前情報は、ESDの完全な知識よりも基礎的な仮定である。 この近似濃度は、最悪のシナリオ収束の粗さと制限的な前の平均ケース分析の中間点である。 また、この濃度に関する仮説の下で漸近的に最適であり、esdがベータ分布に従うとグローバルに最適である一般化されたchebyshev法も導入する。 我々はその性能を勾配降下やネステロフのスキームのような古典的な最適化アルゴリズムと比較し、平均的な文脈ではネステロフの手法は漸近的にほぼ最適であることを示す。

関連論文リスト

• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Sobolev Space Regularised Pre Density Models [51.558848491038916]
  本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。 この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
  論文  参考訳（メタデータ） (2023-07-25T18:47:53Z)
• Stochastic Approximation with Decision-Dependent Distributions: Asymptotic Normality and Optimality [8.771678221101368]
  我々は、アルゴリズムが使用するデータ分布が反復列に沿って進化する決定依存問題に対する近似を解析する。 軽微な仮定の下では、アルゴリズムの反復と解の偏差は正規であることを示す。 また,平均化アルゴリズムの性能は局所的に最小限であることを示す。
  論文  参考訳（メタデータ） (2022-07-09T01:44:17Z)
• Utilising the CLT Structure in Stochastic Gradient based Sampling : Improved Analysis and Faster Algorithms [14.174806471635403]
  粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。 近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。 この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
  論文  参考訳（メタデータ） (2022-06-08T10:17:40Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Mean-Square Analysis with An Application to Optimal Dimension Dependence of Langevin Monte Carlo [60.785586069299356]
  この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。 我々の理論解析は数値実験によってさらに検証される。
  論文  参考訳（メタデータ） (2021-09-08T18:00:05Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Fast Batch Nuclear-norm Maximization and Minimization for Robust Domain Adaptation [154.2195491708548]
  ランダムに選択されたデータバッチの分類出力行列の構造について検討し,予測可能性と多様性について検討した。 本稿では,目標出力行列上で核ノルムを行い,目標予測能力を向上するBatch Nuclear-norm Maximization and Minimizationを提案する。 実験により,本手法は3つの典型的なドメイン適応シナリオにおいて適応精度とロバスト性を高めることができることが示された。
  論文  参考訳（メタデータ） (2021-07-13T15:08:32Z)
• Gradient Descent Averaging and Primal-dual Averaging for Strongly Convex Optimization [15.731908248435348]
  強凸の場合の勾配降下平均化と主双進平均化アルゴリズムを開発する。 一次二重平均化は出力平均化の観点から最適な収束率を導出し、SC-PDAは最適な個々の収束を導出する。 SVMとディープラーニングモデルに関するいくつかの実験は、理論解析の正確性とアルゴリズムの有効性を検証する。
  論文  参考訳（メタデータ） (2020-12-29T01:40:30Z)
• Stochastic optimization with momentum: convergence, fluctuations, and traps avoidance [0.0]
  本稿では,重球法,ネステロフ加速勾配法(S-NAG),広く使用されているアダム法など,勾配勾配勾配のいくつかの変種を統一する一般最適化手法について検討する。 この回避は、非自明な常微分方程式のノイズ離散化として研究される。
  論文  参考訳（メタデータ） (2020-12-07T19:14:49Z)
• Outlier Robust Mean Estimation with Subgaussian Rates via Stability [46.03021473600576]
  本研究では,ロバストなアウトリール高次元平均推定問題について検討する。 外乱平均推定のために, ガウス平均を用いた第1次計算効率を得る。
  論文  参考訳（メタデータ） (2020-07-30T17:33:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。