Fugu-MT 論文翻訳(概要): On the Algorithmic Stability and Generalization of Adaptive Optimization Methods

論文の概要: On the Algorithmic Stability and Generalization of Adaptive Optimization Methods

arxiv url: http://arxiv.org/abs/2211.03970v1
Date: Tue, 8 Nov 2022 02:59:39 GMT
ステータス: 処理完了
システム内更新日: 2022-11-09 17:14:37.703280
Title: On the Algorithmic Stability and Generalization of Adaptive Optimization Methods
Title（参考訳）: 適応最適化法のアルゴリズム安定性と一般化について
Authors: Han Nguyen, Hai Pham, Sashank J. Reddi, Barnab\'as P\'oczos
Abstract要約: 本稿では,Adagrad, RMSProp, Adam, AdamW などの適応最適化手法の安定性と一般化について検討する。 1つのパラメータ$beta$に大きく依存するプロパティに関する証明可能な保証を示す。
参考スコア（独自算出の注目度）: 16.327236320028426
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Despite their popularity in deep learning and machine learning in general, the theoretical properties of adaptive optimizers such as Adagrad, RMSProp, Adam or AdamW are not yet fully understood. In this paper, we develop a novel framework to study the stability and generalization of these optimization methods. Based on this framework, we show provable guarantees about such properties that depend heavily on a single parameter $\beta_2$. Our empirical experiments support our claims and provide practical insights into the stability and generalization properties of adaptive optimization methods.
Abstract（参考訳）: ディープラーニングや機械学習全般で人気があるにもかかわらず、Adagrad、RMSProp、Adam、AdamWといった適応最適化器の理論的性質はまだ完全には理解されていない。本稿では,これらの最適化手法の安定性と一般化を研究するための新しい枠組みを開発する。このフレームワークに基づいて、単一のパラメータ$\beta_2$に大きく依存するそのような特性に関する証明可能な保証を示す。我々の実験は,適応最適化手法の安定性と一般化性に関する実践的知見を提供する。

関連論文リスト

A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。非凸アルゴリズムに新しい統一仮定を導入する。
論文参考訳（メタデータ） (2025-02-17T21:25:31Z)
Exploring the Generalization Capabilities of AID-based Bi-level Optimization [50.3142765099442]
本稿では, 近似暗黙差分法 (AID) と反復差分法 (D) の2種類の二段階最適化手法を提案する。 AIDベースのメソッドは容易に変換できないが、2レベル構造に留まる必要がある。実世界のタスクにおけるこれらの手法の有効性と応用の可能性を示す。
論文参考訳（メタデータ） (2024-11-25T04:22:17Z)
Continuous-Time Analysis of Adaptive Optimization and Normalization [5.954511401622424]
適応最適化アルゴリズム、特にAdamとその変種AdamWは、現代のディープラーニングの基本コンポーネントである。この研究は、AdamとAdamWの連続的な時間的定式化を示し、トレーニングダイナミクスの抽出可能な解析を容易にする。
論文参考訳（メタデータ） (2024-11-08T18:07:55Z)
Learning Joint Models of Prediction and Optimization [56.04498536842065]
Predict-Then-Thenフレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。本稿では,共同予測モデルを用いて観測可能特徴から最適解を直接学習する手法を提案する。
論文参考訳（メタデータ） (2024-09-07T19:52:14Z)
WarpAdam: A new Adam optimizer based on Meta-Learning approach [0.0]
本研究ではメタラーニングからAdamへの'ウォード勾配下降'の概念を融合させる革新的なアプローチを紹介する。適応行列 P 内に学習可能な歪み行列 P を導入することにより,多様なデータ分布にまたがるモデルの能力を高めることを目指す。本研究は,理論的洞察と実証的評価を通じて,この新たなアプローチの可能性を示すものである。
論文参考訳（メタデータ） (2024-09-06T12:51:10Z)
Feature-Based Interpretable Surrogates for Optimization [0.8437187555622164]
本研究では、より一般的な最適化ルールを用いて解釈可能性を高める方法について検討する。提案したルールは、具体的な解ではなく、共通の特徴を特徴とする解の集合にマップされる。特に,提案手法が提案するソリューションの品質向上を,既存の解釈可能な最適化サロゲートと比較して実証する。
論文参考訳（メタデータ） (2024-09-03T13:12:49Z)
Memory-Efficient Optimization with Factorized Hamiltonian Descent [11.01832755213396]
本稿では,この課題に対処するためのメモリ効率因子化手法を取り入れた新しい適応型H-Facを提案する。運動量とスケーリングパラメータ推定器の両方にランク1パラメータ化を適用することで、H-Facはメモリコストをサブ線形レベルに削減する。我々はハミルトン力学から導かれる原理に基づいてアルゴリズムを開発し、最適化力学と収束保証において堅牢な理論的基盤を提供する。
論文参考訳（メタデータ） (2024-06-14T12:05:17Z)
Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
論文参考訳（メタデータ） (2024-03-01T14:55:22Z)
Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文参考訳（メタデータ） (2023-01-28T01:50:42Z)
Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
論文参考訳（メタデータ） (2022-09-27T09:06:37Z)
Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability [67.8426046908398]
汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
論文参考訳（メタデータ） (2022-04-08T20:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。