Fugu-MT 論文翻訳(概要): Modeling AdaGrad, RMSProp, and Adam with Integro-Differential Equations

論文の概要: Modeling AdaGrad, RMSProp, and Adam with Integro-Differential Equations

arxiv url: http://arxiv.org/abs/2411.09734v1
Date: Thu, 14 Nov 2024 19:00:01 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-18 15:37:00.947622
Title: Modeling AdaGrad, RMSProp, and Adam with Integro-Differential Equations
Title（参考訳）: 積分微分方程式を用いたAdaGrad, RMSProp, Adamのモデリング
Authors: Carlos Heredia,
Abstract要約: 本稿では,AdaGrad,RMSProp,Adam最適化アルゴリズムの連続時間定式化を提案する。我々はこれらの方程式の数値シミュレーションを行い、それらの妥当性を元のアルゴリズムの正確な近似として示す。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: In this paper, we propose a continuous-time formulation for the AdaGrad, RMSProp, and Adam optimization algorithms by modeling them as first-order integro-differential equations. We perform numerical simulations of these equations to demonstrate their validity as accurate approximations of the original algorithms. Our results indicate a strong agreement between the behavior of the continuous-time models and the discrete implementations, thus providing a new perspective on the theoretical understanding of adaptive optimization methods.
Abstract（参考訳）: 本稿では,AdaGrad,RMSProp,Adam最適化アルゴリズムを一階積分微分方程式としてモデル化し,連続時間定式化を提案する。我々はこれらの方程式の数値シミュレーションを行い、それらの妥当性を元のアルゴリズムの正確な近似として示す。本結果は,連続時間モデルの挙動と離散的な実装との間に強い一致を示し,適応最適化法の理論的理解に関する新たな視点を提供する。

関連論文リスト

Efficient Fairness-Performance Pareto Front Computation [51.558848491038916]
最適公正表現はいくつかの有用な構造特性を持つことを示す。そこで,これらの近似問題は,凹凸プログラミング法により効率的に解けることを示す。
論文参考訳（メタデータ） (2024-09-26T08:46:48Z)
A Markovian Model for Learning-to-Optimize [4.112909937203119]
本稿では,最適化アルゴリズムを念頭に置いて,反復アルゴリズムの確率モデルを提案する。このモデルに基づいて、学習アルゴリズムの軌道上で定義される関数に対するPAC-Bayesian一般化境界を示す。
論文参考訳（メタデータ） (2024-08-21T14:00:22Z)
Comparison of Single- and Multi- Objective Optimization Quality for Evolutionary Equation Discovery [77.34726150561087]
進化的微分方程式の発見は、より優先順位の低い方程式を得るための道具であることが証明された。提案した比較手法は、バーガーズ方程式、波動方程式、コルテヴェーグ・ド・ブリーズ方程式といった古典的なモデル例で示される。
論文参考訳（メタデータ） (2023-06-29T15:37:19Z)
An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文参考訳（メタデータ） (2023-06-10T08:25:16Z)
On the connections between optimization algorithms, Lyapunov functions, and differential equations: theory and insights [0.0]
Fazylabらによって導入されたフレームワークを再検討し、離散的かつ連続的な時間で最適化アルゴリズムのためのLyapunov関数を構築する。滑らかで強凸な目的関数に対して、そのような構成に必要な要求を緩和する。文献で利用できるものよりも良い収束率を証明します。
論文参考訳（メタデータ） (2023-05-15T14:03:16Z)
Distributed Bayesian Learning of Dynamic States [65.7870637855531]
提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
論文参考訳（メタデータ） (2022-12-05T19:40:17Z)
On the implementation of a global optimization method for mixed-variable problems [0.30458514384586394]
このアルゴリズムは、グットマンの放射基底関数と、レジスとシューメーカーの計量応答面法に基づいている。これら2つのアルゴリズムの一般化と改良を目的としたいくつかの修正を提案する。
論文参考訳（メタデータ） (2020-09-04T13:36:56Z)
Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文参考訳（メタデータ） (2020-07-11T19:44:09Z)
Adaptive Discretization for Model-Based Reinforcement Learning [10.21634042036049]
本稿では,適応離散化手法を導入し,効率的なモデルに基づくエピソード強化学習アルゴリズムを設計する。我々のアルゴリズムは、空間の適応的な離散化を維持するために拡張された楽観的なワンステップ値反復に基づいている。
論文参考訳（メタデータ） (2020-07-01T19:36:46Z)
Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文参考訳（メタデータ） (2020-02-13T05:42:27Z)
Analysis of Bayesian Inference Algorithms by the Dynamical Functional Approach [2.8021833233819486]
学生自明なシナリオにおいて,大ガウス潜在変数モデルを用いて近似推論のアルゴリズムを解析する。完全データモデルマッチングの場合、レプリカ法から派生した静的順序パラメータの知識により、効率的なアルゴリズム更新が得られる。
論文参考訳（メタデータ） (2020-01-14T17:22:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。