論文の概要: Unifying Central Flow, Rod Flow, and the Edge Coupling
- arxiv url: http://arxiv.org/abs/2611.08358v1
- Date: Thu, 05 Nov 2026 17:37:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.602582
- Title: Unifying Central Flow, Rod Flow, and the Edge Coupling
- Title（参考訳）: 中央流, ロッド流, エッジ結合の統一
- Abstract要約: 安定性の端において、勾配降下の反復はヘッセンの鋭い方向に沿って振動する。
これは、通常の連続時間近似 -- 勾配流 -- は振動を認めないため、連続時間モデルにとって大きな課題となる。
いくつかの連続時間モデルが安定性の端で挙動を捉えるために提案されている。
- 参考スコア（独自算出の注目度）: 9.11122093402205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: At the edge of stability, the iterates of gradient descent oscillate along the sharp directions of the Hessian. This poses a significant challenge for continuous-time models as the usual continuous-time approximation -- the gradient flow -- admits no oscillations. Several continuous-time models have been proposed to capture the behavior at the edge of stability, among them central flow and rod flow. Although both models can be interpreted as performing a coarse-graining in time, the connection between them remains poorly understood. Here we show that both flows can be derived from a third object, the edge coupling: a functional on consecutive iterates whose critical points are the fixed points and period-two orbits of gradient descent. It is revealed that the two flows correspond to coarse-grainings at different time scales. Rod flow coarse-grains over only the fastest time scale, while central flow coarse-grains over both the fast and intermediate time scales. Furthermore, using the edge coupling, we derive rod flows and central flows for momentum methods such as heavy ball and Adam. We verify the derived flows experimentally on representative neural network architectures, where they track the discrete iterates throughout all phases of training -- including the transition from the stable regime to the edge of stability.
- Abstract（参考訳）: 安定性の端において、勾配降下の反復はヘッセンの鋭い方向に沿って振動する。
これは、通常の連続時間近似 -- 勾配流 -- は振動を認めないため、連続時間モデルにとって大きな課題となる。
いくつかの連続時間モデルが安定性の端で挙動を捉えるために提案されている。
どちらのモデルも粗粒化を時間内に行うと解釈できるが、それらの関係はいまだによく分かっていない。
ここでは、両フローが3番目の物体であるエッジカップリング(エッジカップリング)から導出可能であることを示す: 臨界点が固定点および周期2の勾配降下軌道である連続的反復関数。
この2つの流れは, 異なる時間スケールでの粗粒化に対応することが明らかとなった。
ロッドフローは最も速い時間スケールでのみ粗粒が、中央フローは速い時間スケールと中間の時間スケールで粗粒が形成される。
さらに, エッジ結合を用いて, 重いボールやアダムなどの運動量法において, 棒流と中心流を導出する。
そこでは、トレーニングのすべてのフェーズにおいて、安定した状態から安定性の端への遷移を含む、離散的なイテレーションを追跡する。
関連論文リスト
- Finite-Sample Approximation of Hessian-Guided Perturbed Wasserstein Gradient Flows [52.91692927889604]
累積曲率の明示的条件を満たす基準経路に対する高確率事象に対する目標値追跡境界を証明した。
また、分散余剰コサインモデル回復の条件を検証した結果、確率の増大が保証される。
論文 参考訳（メタデータ） (2026-10-07T15:13:56Z) - The Multiple Timescales of Gradient Descent on the Edge of Stability: A Perturbative Derivation of the Central Flow [8.426855646402238]
我々は、中心流が勾配降下の限界である摂動的体制を導出する。
最も急な方向に沿った振動の速い時間スケール、自己安定化機構の中間の時間スケール、そして中心フローの$g$-の最小値に沿った力学の遅い時間スケールである。
論文 参考訳（メタデータ） (2026-09-01T10:32:48Z) - Variational Structure at the Edge of Stability [0.0]
エッジ結合は対称ヴェレット作用と同一視できることを示す。
また、エッジカップリングは対称ヴェレット作用と同一視できることを示す。
論文 参考訳（メタデータ） (2026-08-21T22:05:12Z) - Edge Flow: A Tractable and Predictive Continuous-Time Model for Gradient Descent at the Edge of Stability [11.598128347617957]
安定の端における勾配降下ダイナミクス(EoS)のトラクタブルで忠実で予測的なモデルを提案する。
We show that Edge Flow track the dynamics of gradient descent least to faithfully as previously proposed continuous-time EoS model。
論文 参考訳（メタデータ） (2026-06-16T15:45:47Z) - A Rod Flow Model for Adam at the Edge of Stability [9.11122093402205]
パラメータと第一モーメント $(w, m) のジョイント位相空間で作業することで、ロッドフローをアダムに拡張する。
また, 重い球運動量に対するロッドフローの開発も行っている。
8ドルでは、代表的機械学習アーキテクチャ上でのロッドフローを実証的に評価する。
論文 参考訳（メタデータ） (2026-05-07T18:21:59Z) - ArcFlow: Unleashing 2-Step Text-to-Image Generation via High-Precision Non-Linear Flow Distillation [87.54456066636811]
拡散モデルは、シーケンシャルなデノナイジングステップに依存するため、かなりの推論コストに悩まされる。
ArcFlowは数段階の蒸留フレームワークであり、事前訓練された教師の軌跡を近似するために、非線形フロー軌跡を明示的に用いている。
2つのNFEで40倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2026-02-09T18:56:14Z) - Information scrambling and entanglement dynamics in Floquet Time Crystals [49.1574468325115]
本研究では, 乱れたシステムにおける情報伝達の指標として, 時間外相関器(OTOC)のダイナミクスとエントロピーの絡み合いについて検討する。
論文 参考訳（メタデータ） (2024-11-20T17:18:42Z) - Understanding Warmup-Stable-Decay Learning Rates: A River Valley Loss Landscape Perspective [66.80315289020487]
Warmup-Stable-Decay (WSD) スケジュールは、一定の学習率を使用して、所定の計算予算なしで無限に継続できるイテレーションのメインブランチを生成する。
プレトレーニング損失は,河底に川がある深い谷に類似した河谷景観を呈することを示す。
この理論にインスパイアされたWSD-Sは、従来のチェックポイントの崩壊フェーズを再利用し、メインブランチを1つだけ保持するWSDの変種である。
論文 参考訳（メタデータ） (2024-10-07T16:49:39Z) - Crossover from the discontinuous to continuous phase transitions in
dissipative spin system with collective decay [0.0]
準連続定常相転移は, 定常解の2つの枝の融合の結果であることがわかった。
有限サイズの系の集合の定常挙動を解析することにより、不安定性の出現を確認する。
論文 参考訳（メタデータ） (2023-04-19T13:24:32Z) - Long-lived period-doubled edge modes of interacting and disorder-free
Floquet spin chains [68.8204255655161]
障害のない状態でも、バルク加熱の存在下では、$pi$エッジモードは長く生きています。
生涯のトンネル推定は、ストロボスコープの時間進化をクリロフ部分空間内の単一粒子の力学にマッピングすることで得られる。
論文 参考訳（メタデータ） (2021-05-28T12:13:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。