論文の概要: Enhancing Stochastic Optimization for Statistical Efficiency Using ROOT-SGD with Diminishing Stepsize

• arxiv url: http://arxiv.org/abs/2407.10955v1
• Date: Mon, 15 Jul 2024 17:54:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 14:00:49.021446
• Title: Enhancing Stochastic Optimization for Statistical Efficiency Using ROOT-SGD with Diminishing Stepsize
• Title（参考訳）: ROOT-SGDと最小化ステップサイズを用いた統計的効率の確率最適化
• Authors: Tong Zhang, Chris Junchi Li,
• Abstract要約: 本稿では,最適化と統計効率のギャップを埋める手法であるtextsfROOT-SGDを再検討する。 提案手法は, 念入りに設計したステップサイズ戦略を統合することにより, テキストfROOT-SGDの性能と信頼性を向上させる。
• 参考スコア（独自算出の注目度）: 13.365997574848759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we revisit \textsf{ROOT-SGD}, an innovative method for stochastic optimization to bridge the gap between stochastic optimization and statistical efficiency. The proposed method enhances the performance and reliability of \textsf{ROOT-SGD} by integrating a carefully designed \emph{diminishing stepsize strategy}. This approach addresses key challenges in optimization, providing robust theoretical guarantees and practical benefits. Our analysis demonstrates that \textsf{ROOT-SGD} with diminishing achieves optimal convergence rates while maintaining computational efficiency. By dynamically adjusting the learning rate, \textsf{ROOT-SGD} ensures improved stability and precision throughout the optimization process. The findings of this study offer valuable insights for developing advanced optimization algorithms that are both efficient and statistically robust.
• Abstract（参考訳）: 本稿では,確率最適化の革新的手法であるtextsf{ROOT-SGD} を再検討し,確率最適化と統計的効率のギャップを埋める。 提案手法は,念入りに設計された 'emph{diminishing stepsize strategy} を統合することにより, \textsf{ROOT-SGD} の性能と信頼性を向上させる。 このアプローチは最適化における重要な課題に対処し、堅牢な理論的保証と実用的な利点を提供する。 解析により, 計算効率を保ちながら最適な収束率が得られることを示した。 学習速度を動的に調整することにより、最適化プロセス全体の安定性と精度を向上させることができる。 この研究の結果は、効率的かつ統計的に堅牢な高度な最適化アルゴリズムを開発する上で、貴重な洞察を与える。

関連論文リスト

• Adaptive Friction in Deep Learning: Enhancing Optimizers with Sigmoid and Tanh Function [0.0]
  我々は適応摩擦係数を統合する2つの新しい勾配であるsigSignGradとtanhSignGradを紹介する。 我々の理論解析は,摩擦係数Sの広帯域調整能力を示す。 ResNet50 と ViT アーキテクチャを用いた CIFAR-10, Mini-Image-Net 実験により,提案手法の優れた性能が確認された。
  論文  参考訳（メタデータ） (2024-08-07T03:20:46Z)
• Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
  本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。 我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。 本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2024-03-01T14:55:22Z)
• Towards Safe Multi-Task Bayesian Optimization [1.3654846342364308]
  システムの物理モデルを減らすことは最適化プロセスに組み込むことができ、それを加速することができる。 これらのモデルは実際のシステムの近似を提供することができ、それらの評価は極めて安価である。 安全はベイズ最適化のようなオンライン最適化手法にとって重要な基準である。
  論文  参考訳（メタデータ） (2023-12-12T13:59:26Z)
• Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis [0.7366405857677226]
  我々は、損失の大きさの経験的確率密度関数に基づく新しい枠組みを導入し、これを「緩やかな等級ヒストグラム」と呼ぶ。 そこで本稿では, 最適安全のための精密かつ高精度な探索空間を自動推定するために, 勾配等級ヒストグラムを用いた新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-20T04:34:19Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Advancements in Optimization: Adaptive Differential Evolution with Diversification Strategy [0.0]
  この研究は2次元空間において単目的最適化を採用し、複数の反復で各ベンチマーク関数上でADEDSを実行する。 ADEDSは、多くの局所最適化、プレート型、谷型、伸縮型、ノイズの多い機能を含む様々な最適化課題において、標準Dより一貫して優れている。
  論文  参考訳（メタデータ） (2023-10-02T10:05:41Z)
• Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability [67.8426046908398]
  汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。 本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
  論文  参考訳（メタデータ） (2022-04-08T20:46:16Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Mixed Strategies for Robust Optimization of Unknown Objectives [93.8672371143881]
  そこでは,不確実なパラメータの最悪の実現に対して,未知の目的関数を最適化することを目的として,ロバストな最適化問題を考察する。 我々は,未知の目的をノイズ点評価から逐次学習する,新しいサンプル効率アルゴリズムGP-MROを設計する。 GP-MROは、最悪のケースで期待される目標値を最大化する、堅牢でランダムな混合戦略の発見を目指している。
  論文  参考訳（メタデータ） (2020-02-28T09:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。