Fugu-MT 論文翻訳(概要): Modeling AdaGrad, RMSProp, and Adam with Integro-Differential Equations

論文の概要: Modeling AdaGrad, RMSProp, and Adam with Integro-Differential Equations

arxiv url: http://arxiv.org/abs/2411.09734v2
Date: Mon, 13 Oct 2025 06:50:24 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-14 15:48:07.968453
Title: Modeling AdaGrad, RMSProp, and Adam with Integro-Differential Equations
Title（参考訳）: 積分微分方程式を用いたAdaGrad, RMSProp, Adamのモデリング
Authors: Carlos Heredia,
Abstract要約: 本稿では,AdaGrad,RMSProp,Adam最適化アルゴリズムの連続時間定式化を提案する。我々はこれらの方程式の数値シミュレーションを行い、安定性と収束解析を行い、それらの妥当性を元のアルゴリズムの正確な近似として示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we propose a continuous-time formulation for the AdaGrad, RMSProp, and Adam optimization algorithms by modeling them as first-order integro-differential equations. We perform numerical simulations of these equations, along with stability and convergence analyses, to demonstrate their validity as accurate approximations of the original algorithms. Our results indicate a strong agreement between the behavior of the continuous-time models and the discrete implementations, thus providing a new perspective on the theoretical understanding of adaptive optimization methods.
Abstract（参考訳）: 本稿では,AdaGrad,RMSProp,Adam最適化アルゴリズムを一階積分微分方程式としてモデル化し,連続時間定式化を提案する。我々はこれらの方程式の数値シミュレーションを行い、安定性と収束解析を行い、それらの妥当性を元のアルゴリズムの正確な近似として示す。本結果は,連続時間モデルの挙動と離散的な実装との間に強い一致を示し,適応最適化法の理論的理解に関する新たな視点を提供する。

関連論文リスト

Self-Supervised Coarsening of Unstructured Grid with Automatic Differentiation [55.88862563823878]
本研究では,微分可能物理の概念に基づいて,非構造格子を階層化するアルゴリズムを提案する。多孔質媒質中のわずかに圧縮可能な流体流を制御した線形方程式と波動方程式の2つのPDE上でのアルゴリズムの性能を示す。その結果,検討したシナリオでは,関心点におけるモデル変数のダイナミクスを保ちながら,格子点数を最大10倍に削減した。
論文参考訳（メタデータ） (2025-07-24T11:02:13Z)
RL-finetuning LLMs from on- and off-policy data with a single algorithm [53.70731390624718]
大規模言語モデルを微調整するための新しい強化学習アルゴリズム(AGRO)を提案する。 AGROは生成整合性の概念を利用しており、最適ポリシーはモデルの任意の世代間での整合性の概念を満たすと述べている。サンプルベースの政策勾配による最適解を求めるアルゴリズムを導出し,その収束に関する理論的保証を提供する。
論文参考訳（メタデータ） (2025-03-25T12:52:38Z)
Efficient Fairness-Performance Pareto Front Computation [51.558848491038916]
最適公正表現はいくつかの有用な構造特性を持つことを示す。そこで,これらの近似問題は,凹凸プログラミング法により効率的に解けることを示す。
論文参考訳（メタデータ） (2024-09-26T08:46:48Z)
A Markovian Model for Learning-to-Optimize [4.112909937203119]
本稿では,最適化アルゴリズムを念頭に置いて,反復アルゴリズムの確率モデルを提案する。このモデルに基づいて、学習アルゴリズムの軌道上で定義される関数に対するPAC-Bayesian一般化境界を示す。
論文参考訳（メタデータ） (2024-08-21T14:00:22Z)
Conditional Mean and Variance Estimation via \ extit{k}-NN Algorithm with Automated Variance Selection [9.943131787772323]
条件平均と分散度を共同で推定するための新しいテクストリック・アレスト・ニアレスト回帰法(textitk-NN)を提案する。提案アルゴリズムは,古典的非パラメトリックテクトitk-NNモデルの計算効率と多様体学習能力を保持する。
論文参考訳（メタデータ） (2024-02-02T18:54:18Z)
Comparison of Single- and Multi- Objective Optimization Quality for Evolutionary Equation Discovery [77.34726150561087]
進化的微分方程式の発見は、より優先順位の低い方程式を得るための道具であることが証明された。提案した比較手法は、バーガーズ方程式、波動方程式、コルテヴェーグ・ド・ブリーズ方程式といった古典的なモデル例で示される。
論文参考訳（メタデータ） (2023-06-29T15:37:19Z)
An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文参考訳（メタデータ） (2023-06-10T08:25:16Z)
On the connections between optimization algorithms, Lyapunov functions, and differential equations: theory and insights [0.0]
Fazylabらによって導入されたフレームワークを再検討し、離散的かつ連続的な時間で最適化アルゴリズムのためのLyapunov関数を構築する。滑らかで強凸な目的関数に対して、そのような構成に必要な要求を緩和する。文献で利用できるものよりも良い収束率を証明します。
論文参考訳（メタデータ） (2023-05-15T14:03:16Z)
Distributed Bayesian Learning of Dynamic States [65.7870637855531]
提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
論文参考訳（メタデータ） (2022-12-05T19:40:17Z)
Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations [83.3201889218775]
広く使われている1次サドル点最適化法は、帰納的導出時に同一の連続時間常微分方程式(ODE)を導出する。しかし、これらの方法の収束特性は、単純な双線型ゲームでさえ質的に異なる。いくつかのサドル点最適化法のための微分方程式モデルの設計に流体力学の研究フレームワークを採用する。
論文参考訳（メタデータ） (2021-12-27T18:31:34Z)
Jointly Modeling and Clustering Tensors in High Dimensions [6.072664839782975]
テンソルの合同ベンチマークとクラスタリングの問題を考察する。本稿では,統計的精度の高い近傍に幾何的に収束する効率的な高速最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-04-15T21:06:16Z)
On the implementation of a global optimization method for mixed-variable problems [0.30458514384586394]
このアルゴリズムは、グットマンの放射基底関数と、レジスとシューメーカーの計量応答面法に基づいている。これら2つのアルゴリズムの一般化と改良を目的としたいくつかの修正を提案する。
論文参考訳（メタデータ） (2020-09-04T13:36:56Z)
Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文参考訳（メタデータ） (2020-07-11T19:44:09Z)
Adaptive Discretization for Model-Based Reinforcement Learning [10.21634042036049]
本稿では,適応離散化手法を導入し,効率的なモデルに基づくエピソード強化学習アルゴリズムを設計する。我々のアルゴリズムは、空間の適応的な離散化を維持するために拡張された楽観的なワンステップ値反復に基づいている。
論文参考訳（メタデータ） (2020-07-01T19:36:46Z)
Optimization with Momentum: Dynamical, Control-Theoretic, and Symplectic Perspectives [97.16266088683061]
この論文は、運動量に基づく最適化アルゴリズムにおいてシンプレクティックな離散化スキームが重要であることを厳格に証明している。これは加速収束を示すアルゴリズムの特性を提供する。
論文参考訳（メタデータ） (2020-02-28T00:32:47Z)
Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文参考訳（メタデータ） (2020-02-13T05:42:27Z)
Analysis of Bayesian Inference Algorithms by the Dynamical Functional Approach [2.8021833233819486]
学生自明なシナリオにおいて,大ガウス潜在変数モデルを用いて近似推論のアルゴリズムを解析する。完全データモデルマッチングの場合、レプリカ法から派生した静的順序パラメータの知識により、効率的なアルゴリズム更新が得られる。
論文参考訳（メタデータ） (2020-01-14T17:22:02Z)
Non-linear reduced modeling of dynamical systems using kernel methods and low-rank approximation [5.935306543481018]
我々は,カーネルヒルベルト空間における線形近似に基づく非線形力学のデータ駆動還元モデリングのための新しい効率的なアルゴリズムを提案する。このアルゴリズムは、カーネルベースの計算を有利に活用しながら、低ランク制約最適化問題の閉形式解を利用する。
論文参考訳（メタデータ） (2017-10-30T13:06:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。