論文の概要: On the Algorithmic Stability and Generalization of Adaptive Optimization
Methods
- arxiv url: http://arxiv.org/abs/2211.03970v1
- Date: Tue, 8 Nov 2022 02:59:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 17:14:37.703280
- Title: On the Algorithmic Stability and Generalization of Adaptive Optimization
Methods
- Title(参考訳): 適応最適化法のアルゴリズム安定性と一般化について
- Authors: Han Nguyen, Hai Pham, Sashank J. Reddi, Barnab\'as P\'oczos
- Abstract要約: 本稿では,Adagrad, RMSProp, Adam, AdamW などの適応最適化手法の安定性と一般化について検討する。
1つのパラメータ$beta$に大きく依存するプロパティに関する証明可能な保証を示す。
- 参考スコア(独自算出の注目度): 16.327236320028426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their popularity in deep learning and machine learning in general,
the theoretical properties of adaptive optimizers such as Adagrad, RMSProp,
Adam or AdamW are not yet fully understood. In this paper, we develop a novel
framework to study the stability and generalization of these optimization
methods. Based on this framework, we show provable guarantees about such
properties that depend heavily on a single parameter $\beta_2$. Our empirical
experiments support our claims and provide practical insights into the
stability and generalization properties of adaptive optimization methods.
- Abstract(参考訳): ディープラーニングや機械学習全般で人気があるにもかかわらず、Adagrad、RMSProp、Adam、AdamWといった適応最適化器の理論的性質はまだ完全には理解されていない。
本稿では,これらの最適化手法の安定性と一般化を研究するための新しい枠組みを開発する。
このフレームワークに基づいて、単一のパラメータ$\beta_2$に大きく依存するそのような特性に関する証明可能な保証を示す。
我々の実験は,適応最適化手法の安定性と一般化性に関する実践的知見を提供する。
関連論文リスト
- Beyond Single-Model Views for Deep Learning: Optimization versus
Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。
我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。
本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
論文 参考訳(メタデータ) (2024-03-01T14:55:22Z) - Enhanced Bayesian Optimization via Preferential Modeling of Abstract
Properties [49.351577714596544]
本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。
優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
論文 参考訳(メタデータ) (2024-02-27T09:23:13Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳(メタデータ) (2023-01-28T01:50:42Z) - A Policy Optimization Method Towards Optimal-time Stability [15.722871779526526]
サンプリングに基づくリアプノフ安定性を取り入れた政策最適化手法を提案する。
我々のアプローチは、最適時間内にシステムの状態が平衡点に達することを可能にする。
論文 参考訳(メタデータ) (2023-01-02T04:19:56Z) - Exploring the Algorithm-Dependent Generalization of AUPRC Optimization
with List Stability [107.65337427333064]
AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。
本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。
3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
論文 参考訳(メタデータ) (2022-09-27T09:06:37Z) - Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and
Stability [67.8426046908398]
汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。
本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
論文 参考訳(メタデータ) (2022-04-08T20:46:16Z) - Adaptive Optimizer for Automated Hyperparameter Optimization Problem [0.0]
本稿では,最適化プロセスにおいて適切なパラメータを自動的に調整する適応型フレームワークを構築可能な汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2022-01-28T13:58:10Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳(メタデータ) (2020-10-15T18:09:48Z) - Stochastic batch size for adaptive regularization in deep network
optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。
一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文 参考訳(メタデータ) (2020-04-14T07:54:53Z) - Adaptive Stochastic Optimization [1.7945141391585486]
適応最適化手法は、大規模システムの訓練に際し、計算量を大幅に削減する可能性がある。
勾配法に基づく現代的なアプローチは、それぞれのアプリケーションに調整が必要な所定のパラメータ値を採用するという意味では適応的ではない。
論文 参考訳(メタデータ) (2020-01-18T16:30:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。