論文の概要: Percolation Dynamics in Optimization : Variance Cascades and Discrete Scale Invariance

• arxiv url: http://arxiv.org/abs/2609.02373v1
• Date: Wed, 02 Sep 2026 09:44:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.221597
• Title: Percolation Dynamics in Optimization : Variance Cascades and Discrete Scale Invariance
• Title（参考訳）: 最適化におけるパーコレーションダイナミクス : ばらつきカスケードと離散スケール不変性
• Abstract要約: 本研究では、より単純な作業に対応する不変集合に対してディープニューラルネットワークを操ることで知られているグラディエント・ディキセント(SGD)のダイナミクスについて検討する。 本稿では,SGF(グラデーションフロー)をパーコレーションプロセスとしてモデル化し,アーキテクチャの対称性を一度に1つではなく個別の同時ブロックにマージする手法を提案する。
• 参考スコア（独自算出の注目度）: 20.34299008085434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the dynamics of Stochastic Gradient Descent (SGD), which is known to steer deep neural networks toward invariant sets that correspond to simpler subnetworks. How this steering unfolds over time remains poorly understood. We answer this by modeling the stochastic gradient flow (SGF) as a percolation process, in which architectural symmetries force subnetworks to merge in discrete simultaneous blocks rather than one at a time. These structural transitions register as variance spikes in a macroscopic order parameter, echoing physical phase transitions. We further show this trapping mechanism and its associated scaling cascade extend to Adam and AdamW under an explicit heavy-tailed noise model.
• Abstract（参考訳）: より単純なサブネットワークに対応する不変集合に対してディープニューラルネットワークを操ることで知られているSGD(Stochastic Gradient Descent)のダイナミクスについて検討する。 このステアリングが時間の経過とともにどのように展開されるかは、いまだに理解されていない。 本稿では,確率勾配流(SGF)をパーコレーションのプロセスとしてモデル化することにより,サブネットワークを1回ではなく1回に1回ずつ個別のブロックにマージする手法を提案する。 これらの構造遷移は、分散スパイクとしてマクロ的な順序パラメータに登録され、物理相転移を反映する。 さらに、このトラップ機構とそれに伴うスケーリングカスケードをAdamとAdamWに拡張し、明示的な重み付き雑音モデルで示す。

関連論文リスト

• Why SGD is not Brownian Motion: A New Perspective on Stochastic Dynamics [92.39053980710702]
  グラディエント・Descent (SGD) は通常ランゲヴィン過程としてモデル化され、ミニバッチノイズがブラウン運動として働くと仮定される。 この近似は、連続時間制限と、離散的なSGD更新を有限学習率で一致しないsqrt(eta)ノイズスケーリングに依存している。 ミニバッチサンプリングによって誘導されるゆらぎのある損失景観における決定論的力学としてのSGDの別の定式化を提案する。
  論文  参考訳（メタデータ） (2026-05-21T15:50:40Z)
• Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks [74.46751089984072]
  深い線形ネットワークにおける勾配降下(SGD)ノイズの理解は不十分である。 本研究では,サドル・アンド・サドル体制におけるDLNの訓練におけるSGDの動態について検討した。 以上の結果から,SGDノイズは特徴学習の進行に関する情報を符号化するが,サドル・アンド・サドル・ダイナミクスを根本的に変えるものではないことが判明した。
  論文  参考訳（メタデータ） (2026-04-07T18:43:08Z)
• Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
  幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。 我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。 結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-16T23:11:02Z)
• Deep Delta Learning [91.75868893250662]
  本稿では,標準残差接続を一般化した新しいアーキテクチャであるDeep Delta Learning(DDL)を紹介する。 我々はこの演算子のスペクトル解析を行い、ゲート$(mathbfX)$がアイデンティティマッピング、投影、幾何反射のダイナミックな相互作用を可能にすることを示した。 この統合により、ネットワークは階層的な遷移作用素のスペクトルを明示的に制御することができ、複雑な非単調力学のモデリングを可能にする。
  論文  参考訳（メタデータ） (2026-01-01T18:11:38Z)
• Time-Scale Coupling Between States and Parameters in Recurrent Neural Networks [3.924071936547547]
  ゲーテッドニューラルネットワーク(RNN)は、適応的な学習速度の振る舞いを暗黙的に誘発する。 効果は状態空間の時間スケールとパラメータ空間のダイナミクスの結合から生じる。 経験的シミュレーションはこれらの主張を裏付ける。
  論文  参考訳（メタデータ） (2025-08-16T18:19:34Z)
• Noise Balance and Stationary Distribution of Stochastic Gradient Descent [10.621129623557884]
  損失関数が再スケーリングパラメータ対称性を含む場合, SGD のミニバッチノイズは, 雑音平衡解に対する解を正則化することを示す。 単純な拡散過程とSGD力学の違いは対称性が存在するときに最も重要であるため、この理論は損失関数対称性がSGDの働きの本質的なプローブとなることを示唆している。 この結果を用いて,任意の深さと幅を持つ対角線ネットワークにおける勾配流の定常分布を導出する。
  論文  参考訳（メタデータ） (2023-08-13T03:13:03Z)
• Stochastic Collapse: How Gradient Noise Attracts SGD Dynamics Towards Simpler Subnetworks [28.87871359825978]
  我々は、過度に表現力のあるネットワークをもっと単純な作業へと駆動する、降下勾配(SGD)の強い暗黙バイアスを明らかにする。 より単純な(疎あるいは低ランクな)作業に対応する不変集合の2つのクラスに焦点を合わせ、現代建築に一般的に現れる。 我々は、訓練されたディープニューラルネットワークにおける魅力的な不変集合の存在を経験的に観察し、SGDのダイナミクスが、冗長なニューロンで単純な処理を消滅させることがしばしばあることを示唆している。
  論文  参考訳（メタデータ） (2023-06-07T08:44:51Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations, and Anomalous Diffusion [29.489737359897312]
  勾配降下法(SGD)を訓練した深部ニューラルネットワークの限界ダイナミクスについて検討する。 これらのダイナミクスを駆動する重要な要素は、本来のトレーニング損失ではなく、位相空間の振動を引き起こす速度と確率電流を暗黙的に規則化する修正損失の組み合わせであることを示す。
  論文  参考訳（メタデータ） (2021-07-19T20:18:57Z)
• Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
  我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。 この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。 そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
  論文  参考訳（メタデータ） (2021-02-13T21:28:09Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。