論文の概要: Beyond Quadratic Loss: The Stability Phase Diagram of Adam

• arxiv url: http://arxiv.org/abs/2609.18314v1
• Date: Wed, 16 Sep 2026 08:34:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.713598
• Title: Beyond Quadratic Loss: The Stability Phase Diagram of Adam
• Title（参考訳）: 二次損失を超えて:Adamの安定相図
• Abstract要約: 損失スパイクは神経ネットワークトレーニングの繰り返し不安定であり、複数のメカニズムから生じうる。 アダムにとって、マクロな損失のスパイクは力学と結びついているが、その2つの運動量がどのようにそれらを支配するのかははっきりしていない。
• 参考スコア（独自算出の注目度）: 25.283350409716984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Loss spikes are recurrent instabilities in neural-network training and can arise from multiple mechanisms. For Adam in particular, macroscopic loss spikes have been linked to optimizer dynamics, yet how its two momentum timescales govern them remains unclear. We investigate this dependence by mapping training dynamics across the $(β_1,β_2)$ plane. Across a range of model--task settings, an approximately linear boundary, $1-β_2=C(1-β_1)$, separates spiky from non-spiky dynamics, whereas a one-dimensional quadratic loss produces approximately cubic slope. A one-dimensional superquadratic loss $L(x)\propto|x|^n$ recovers the near-linear scaling and links the boundary coefficient to the effective loss exponent $n$. We further show that confident cross-entropy losses develop a core--wall landscape comprising a narrow quadratic core followed by a steep wall, which produces effective superquadratic behavior at the scale of an optimizer update. Together, these results connect Adam loss spikes to both the mismatch between momentum timescales and finite-scale superquadratic loss geometry beyond the Hessian.
• Abstract（参考訳）: 損失スパイクは神経ネットワークトレーニングの繰り返し不安定であり、複数のメカニズムから生じうる。 特にアダムにとって、マクロな損失のスパイクはオプティマイザのダイナミクスと結びついているが、その2つの運動量の時間スケールがそれらをどのように支配するかは定かではない。 この依存度を$(β_1,β_2)$平面上でのトレーニングダイナミクスのマッピングにより検討する。 1-β_2=C(1-β_1)$と1-β_2=C(1-β_1)$のほぼ線形境界は、スパイキーと非スパイキー力学を分離する一方、1次元の二次損失はおよそ立方勾配を生成する。 1次元超四面体損失$L(x)\propto|x|^n$は、近線形スケーリングを回復し、境界係数を有効損失指数$n$にリンクする。 さらに, クロスエントロピーの損失は, 狭い2次コアと急な壁からなるコア・ウォールの景観を発達させ, オープティマイザ更新の規模で有効な2次的挙動を生み出すことを示す。 これらの結果は、アダムの損失スパイクを、運動量時間スケールとヘッセンの向こうの有限スケールの超四角形損失幾何学の間のミスマッチに結びつける。

関連論文リスト

• $\mathbfλ$-VAE: Variance Equalization for Posterior Collapse [0.0]
  変分オートエンコーダ(VAE)は、しばしば後方崩壊に悩まされる。 論理的に独立しているが結合した2つの原因を特定し定式化する。
  論文  参考訳（メタデータ） (2026-07-06T18:07:46Z)
• Semidefinite Relaxations for Collision-Free Motion Planning [53.160637667144876]
  C4トラジェクトリの観点で,inmathbbRn制約を通じて開始からゴールへ移動するポイントロボットに焦点をあてる。 C4トラジェクトリによる最小スナップ連続計画のプランナとしての有効性を示す。
  論文  参考訳（メタデータ） (2026-06-12T03:18:03Z)
• Escape dynamics and implicit bias of one-pass SGD in overparameterized quadratic networks [3.198538967655537]
  2層ニューラルネットワークの1パス勾配勾配勾配ダイナミクスを教師の枠組みで解析する。 本研究では,学生の進化を規定する低次元常微分方程式について考察する。
  論文  参考訳（メタデータ） (2026-04-03T14:47:24Z)
• Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks [59.552873049024775]
  計算最適化モデルでは, 極めて高精度な普遍性を示すことを示す。 学習速度が減衰すると、崩壊は非常に厳しくなり、モデル間の正規化曲線の差はノイズフロアより下になる。 これらの現象は、典型的なニューラルスケーリング法則において、崩壊とパワー・ロー構造を結びつけることによって説明される。
  論文  参考訳（メタデータ） (2025-07-02T20:03:34Z)
• Non-stationary Online Learning for Curved Losses: Improved Dynamic Regret via Mixability [65.99855403424979]
  混合可能性の概念を活用することで、動的後悔を著しく改善できることを示す。 固定共有更新を持つ指数重み付け法は,混合損失に対して$mathcalO(d T2/3 P_T2/3 log T)$ dynamic regretを達成できることを示す。
  論文  参考訳（メタデータ） (2025-06-12T12:00:08Z)
• The Epochal Sawtooth Phenomenon: Unveiling Training Loss Oscillations in Adam and Other Optimizers [8.770864706004472]
  テキストEpochal Sawtooth Phenomenon (ESP) と呼ばれる繰り返し学習損失パターンを特定し解析する。 このパターンは、各エポックの始めに急激な損失が減少し、その後徐々に増加し、ソートゥース状の損失曲線が生じる。
  論文  参考訳（メタデータ） (2024-10-14T00:51:21Z)
• Langevin dynamics for high-dimensional optimization: the case of multi-spiked tensor PCA [8.435118770300999]
  本研究では,最大SNRに伴うスパイクの回復に必要なサンプルの複雑さが,シングルスパイクの場合のよく知られたアルゴリズムしきい値と一致することを示す。 重要なステップとして、高次元の軌道力学を捉えるスパイクと相互作用の詳細なキャラクタリゼーションを提供する。
  論文  参考訳（メタデータ） (2024-08-12T12:09:25Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• Superdiffusion in random two dimensional system with time-reversal symmetry and long-range hopping [45.873301228345696]
  次元$d=2$とホッピング$V(r)proto r-2$の交叉系における局所化問題は、まだ解決されていない。 二次元異方性双極子-双極子相互作用によって決定されるホッピングには、弱い障害と強い障害の2つの区別可能な位相が存在することを示す。
  論文  参考訳（メタデータ） (2022-05-29T16:53:20Z)
• Upper Confidence Primal-Dual Reinforcement Learning for CMDP with Adversarial Loss [145.54544979467872]
  マルコフ決定過程(CMDP)に対するオンライン学習の検討 本稿では,遷移モデルから標本化した軌跡のみを必要とする,新しいEmphupper confidence primal-dualアルゴリズムを提案する。 我々の分析では、ラグランジュ乗算過程の新たな高確率ドリフト解析を、高信頼強化学習の記念後悔解析に組み入れている。
  論文  参考訳（メタデータ） (2020-03-02T05:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。