論文の概要: Analysis of Adam Algorithms for Stochastic Dynamic Systems
- arxiv url: http://arxiv.org/abs/2606.28879v1
- Date: Sat, 27 Jun 2026 11:54:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.723029
- Title: Analysis of Adam Algorithms for Stochastic Dynamic Systems
- Title（参考訳）: 確率力学系に対するアダムアルゴリズムの解析
- Abstract要約: 適応モーメント推定アルゴリズムはAdamと呼ばれ、現代の機械学習で広く使われている。
広く使われているにもかかわらず、アダムの理論的基礎は時変系や非定常系についてほとんど解明されていない。
- 参考スコア（独自算出の注目度）: 6.655960359749289
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The adaptive moment estimation algorithm, known as Adam, is widely used in modern machine learning, owing to its low per-iteration complexity and strong empirical performance. Despite its prevalent use, the theoretical foundation of Adam remains largely unexplored for time-varying and nonstationary systems. In fact, the existing theoretical analyses of Adam-type algorithms are primarily concerned with time-invariant model parameters and explicitly or implicitly rely on independent and identically distributed (i.i.d.) data assumptions, under which the learning taskcan be formulated as minimizing a fixed expected objective with a static minimizer. However, such assumptions are often violated in time-varying and nonstationary systems, thereby calling for a theoretical investigation beyond the conventional yet idealized i.i.d. setting. The main objective of this paper is to solve this challenging problem by establishing a general theory of Adam for time-varying and nonstationary stochastic systems. We will introduce some new techniques for analyzing the products of nonstationary and dependent random matrices induced by Adam's coupled first- and second-moment recursions, and will construct a new stochastic Lyapunov function that blends these two moment dynamics. Under a stochastic excitation condition that allows nonstationary and dependent data, we will derive both parameter tracking and output prediction error bounds explicitly, quantifying the effects of stepsize, first- and second-momentum parameters, gradient noise and parameter drift. These bounds not only provide guarantees for Adam performance, but also provide guidelines for hyperparameter selection. Experiments on both synthetic and real-world data validate our theory and design guidelines.
- Abstract（参考訳）: アダプティブモーメント推定アルゴリズム(Adam)は、イテレーション当たりの複雑さが低く、経験的性能が強いため、現代の機械学習で広く使われている。
広く使われているにもかかわらず、アダムの理論的基礎は時変系や非定常系についてほとんど解明されていない。
実際、Adam型アルゴリズムの既存の理論的分析は、主に時間不変のモデルパラメータに関係しており、静的最小化器で固定された目標を最小化するために学習タスクを定式化できる独立で同一に分散されたデータ仮定に明示的にあるいは暗黙的に依存している。
しかし、そのような仮定は時変系や非定常系においてしばしば破られ、従って従来の理想化されたi.d.設定を超えて理論的な調査を求める。
本論文の主な目的は,時変および非定常確率系に対するAdamの一般理論を確立することにより,この問題を解決することである。
アダムの第一モーメント再帰と第二モーメント再帰によって誘導される非定常および従属ランダム行列の積を解析するための新しい手法を導入し、これらの2モーメント力学をブレンドする新しい確率リプノフ関数を構築する。
非定常かつ依存的なデータを許容する確率的励起条件の下では、パラメータ追跡と出力予測誤差境界を明示的に導出し、ステップサイズ、第1および第2モーメントパラメータ、勾配ノイズ、パラメータドリフトの効果を定量化する。
これらの境界はAdamのパフォーマンスを保証するだけでなく、ハイパーパラメータ選択のガイドラインも提供する。
合成データと実世界のデータの両方の実験は、我々の理論と設計ガイドラインを検証する。
関連論文リスト
- Non-Parametric Rehearsal Learning via Conditional Mean Embeddings [88.89267783967263]
本研究では,不必要な未来(AUF)問題をテキスト化するための非パラメトリックリハーサル学習手法を提案する。
具体的には、カーネル機械を用いてAUFの目的を、動作誘起分布変化から所望性モデリングを遠ざける統一表現に再構成する。
論文 参考訳（メタデータ） (2026-05-09T15:30:52Z) - Adaptive Learning via Off-Model Training and Importance Sampling for Fully Non-Markovian Optimal Stochastic Control. Complete version [0.0]
本稿では,制御状態が完全に非マルコフ的であり,未知のモデルパラメータに依存する連続時間制御問題について検討する。
従来の研究で開発された離散スケルトン法に基づいて, 組込み後進動的プログラミング方程式に対するモンテカルロ学習手法を提案する。
論文 参考訳（メタデータ） (2026-04-14T16:32:46Z) - The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。
時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。
本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
論文 参考訳（メタデータ） (2025-12-21T06:08:22Z) - PnP-DA: Towards Principled Plug-and-Play Integration of Variational Data Assimilation and Generative Models [0.1052166918701117]
地球系のモデリングは科学計算における根本的な課題である。
最も強力なAIや物理ベースの予測システムでさえ、徐々にエラーが蓄積される。
本稿では,背景予測に基づいて事前学習した事前条件を1つのフォワードパスで,軽量で勾配に基づく解析更新を置き換えるPlug-and-Playアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-08-01T05:19:19Z) - Smart Predict-then-Optimize Method with Dependent Data: Risk Bounds and Calibration of Autoregression [7.369846475695131]
本稿では,決定段階における最適化問題を直接対象とする自己回帰型SPO手法を提案する。
我々は, 絶対損失と最小二乗損失と比較して, SPO+サロゲートの有効性を示す実験を行った。
論文 参考訳（メタデータ） (2024-11-19T17:02:04Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - A Causality-Based Learning Approach for Discovering the Underlying
Dynamics of Complex Systems from Partial Observations with Stochastic
Parameterization [1.2882319878552302]
本稿では,部分的な観測を伴う複雑な乱流系の反復学習アルゴリズムを提案する。
モデル構造を識別し、観測されていない変数を復元し、パラメータを推定する。
数値実験により、新しいアルゴリズムはモデル構造を同定し、多くの複雑な非線形系に対して適切なパラメータ化を提供することに成功した。
論文 参考訳（メタデータ） (2022-08-19T00:35:03Z) - A Priori Denoising Strategies for Sparse Identification of Nonlinear
Dynamical Systems: A Comparative Study [68.8204255655161]
本研究では, 局所的およびグローバルな平滑化手法の性能と, 状態測定値の偏差について検討・比較する。
一般に,測度データセット全体を用いたグローバルな手法は,局所点の周辺に隣接するデータサブセットを用いる局所的手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-01-29T23:31:25Z) - Time varying regression with hidden linear dynamics [74.9914602730208]
線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。
反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
論文 参考訳（メタデータ） (2021-12-29T23:37:06Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳（メタデータ） (2021-02-02T06:15:15Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。