論文の概要: A Rod Flow Model for Adam at the Edge of Stability
- arxiv url: http://arxiv.org/abs/2605.06821v1
- Date: Thu, 07 May 2026 18:21:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.539669
- Title: A Rod Flow Model for Adam at the Edge of Stability
- Title（参考訳）: 安定端におけるアダムのロッドフローモデル
- Authors: Eric Regis, Sinho Chewi,
- Abstract要約: パラメータと第一モーメント $(w, m) のジョイント位相空間で作業することで、ロッドフローをアダムに拡張する。
また, 重い球運動量に対するロッドフローの開発も行っている。
8ドルでは、代表的機械学習アーキテクチャ上でのロッドフローを実証的に評価する。
- 参考スコア（独自算出の注目度）: 9.11122093402205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cohen et al. (arXiv:2207.14484) observed that adaptive gradient methods such as Adam operate at the edge of stability. While there has been significant work on continuous-time modeling of gradient descent at the edge of stability, extending these models to momentum methods remains underdeveloped. In the gradient descent setting, Regis et al. (arXiv:2602.01480) introduced rod flow, which models consecutive iterates as an extended one-dimensional object -- a "rod." Here we extend rod flow to Adam by working in the joint phase space of parameters and first moment $(w, m)$ and treating the second moment $ν$ as a smooth auxiliary variable. We also develop rod flows for heavy ball momentum, Nesterov momentum, and scalar and per-component versions of RMSProp, Adam, and NAdam. For all eight optimizers, we empirically evaluate rod flow on representative machine learning architectures, where it tracks the discrete iterates through the edge-of-stability regime significantly more accurately than the corresponding stable flow.
- Abstract（参考訳）: Cohen et al (arXiv:2207.14484) は、アダムのような適応勾配法が安定性の端で作用することを示した。
安定性の限界における勾配勾配勾配の連続時間モデリングには重要な研究があるが、これらのモデルから運動量法への拡張はいまだに未発達である。
勾配降下設定において、Regis et al (arXiv:2602.01480) はロッドフローを導入した。
ここでは、パラメータの合同位相空間と第一モーメント$(w, m)$で作業し、第二モーメント$ν$を滑らかな正則変数として扱うことにより、ロッドフローをアダムに拡張する。
また, 重い球運動量, ネステロフ運動量, RMSProp, Adam, NAdamのスカラー, 部品あたりのロッド流も開発した。
8つのオプティマイザすべてに対して、代表的な機械学習アーキテクチャ上でロッドフローを実証的に評価する。
関連論文リスト
- Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks [74.46751089984072]
深い線形ネットワークにおける勾配降下(SGD)ノイズの理解は不十分である。
本研究では,サドル・アンド・サドル体制におけるDLNの訓練におけるSGDの動態について検討した。
以上の結果から,SGDノイズは特徴学習の進行に関する情報を符号化するが,サドル・アンド・サドル・ダイナミクスを根本的に変えるものではないことが判明した。
論文 参考訳（メタデータ） (2026-04-07T18:43:08Z) - Rod Flow: A Continuous-Time Model for Gradient Descent at the Edge of Stability [9.11122093402205]
大きなステップサイズの勾配降下は、勾配流からしばしば遠ざかる。
Cohenらによって提唱された「中心流」は、GDダイナミクスの正確な近似を提供する。
簡単な玩具の例としては,GDのダイナミックスをよりよく捉えたRod Flowを提案する。
論文 参考訳（メタデータ） (2026-02-01T23:10:44Z) - Flow marching for a generative PDE foundation model [0.0]
本稿では,物理力学系における誤り蓄積の解析によって動機付けられたフローマッチングを用いて,ニューラル演算子の学習をブリッジするアルゴリズムであるフローマーチングを提案する。
また,物理制約付き変分オートエンコーダ(P2E)を導入し,物理軌道をコンパクトな潜在空間に埋め込む。
異なる12種類のPDEファミリーおよびP2EとFMTのトレインスイートの2.5Mトラジェクトリを複数スケールでキュレートする。
論文 参考訳（メタデータ） (2025-09-23T04:00:41Z) - A Langevin sampling algorithm inspired by the Adam optimizer [0.0]
本稿では,時間スケールのLangevinダイナミクスに基づく適応段階MCMCサンプリングのためのフレームワークを提案する。
我々のアルゴリズムは実装が簡単で、任意のオフザペグの固定ステップLangevinインテグレータと簡単に組み合わせることができる。
論文 参考訳（メタデータ） (2025-04-26T12:57:57Z) - Generative Modeling with Phase Stochastic Bridges [49.4474628881673]
拡散モデル(DM)は、連続入力のための最先端の生成モデルを表す。
我々はtextbfphase space dynamics に基づく新しい生成モデリングフレームワークを提案する。
我々のフレームワークは、動的伝播の初期段階において、現実的なデータポイントを生成する能力を示す。
論文 参考訳（メタデータ） (2023-10-11T18:38:28Z) - Data-driven low-dimensional dynamic model of Kolmogorov flow [0.0]
流れのダイナミクスを捉える低次モデル (ROM) はシミュレーションの計算コストの削減に重要である。
この研究は、フローのダイナミクスと特性を効果的にキャプチャする最小次元モデルのためのデータ駆動フレームワークを示す。
我々はこれをカオス的かつ断続的な行動からなる体制におけるコルモゴロフ流に適用する。
論文 参考訳（メタデータ） (2022-10-29T23:05:39Z) - Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。
これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。
暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文 参考訳（メタデータ） (2022-04-18T17:53:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。