論文の概要: Tunneling the Loss Landscape: Bypassing Memorization with Monte Carlo Parameter Swapping
- arxiv url: http://arxiv.org/abs/2608.01833v1
- Date: Mon, 03 Aug 2026 07:44:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.38613
- Title: Tunneling the Loss Landscape: Bypassing Memorization with Monte Carlo Parameter Swapping
- Title（参考訳）: 失われた景観のトンネル:モンテカルロパラメータスワッピングによる記憶のバイパス
- Abstract要約: グロキングはニューラルネットワークトレーニングにおいて顕著な現象であり、モデルが突然の一般化の前に記憶の長い期間を経ることができる。
標準最適化はガラス力学の明確なシグネチャを示し、グラッキングネットワークを運動的停止状態にトラップすることを示す。
我々は、一般化を加速できる最適化プラグインであるグラデーションスワッピングであるState-Aware Monte Carloを紹介する。
- 参考スコア（独自算出の注目度）: 10.558597505301611
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Grokking is a striking phenomenon in neural network training, where a model can undergo a prolonged period of pure memorization before abrupt generalization. While previous works have attempted to interpret it through classical machine learning mechanisms like weight norm, recent research draws an analogy from statistical physics, framing grokking as a form of computational glass relaxation. This theory defines the initial memorization as a result of `fast cooling' where the training loss is reduced so quickly that a glass state is formed, followed by a `slow relaxation' towards final generalization. Although providing a unifying framework for representative grokking theories, this perspective has remained largely at the theoretical on macroscopic level without direct empirical validation on training dynamics. Here we introduce a three-component framework to directly characterize the training dynamics via parameter mobility (PM), and two representative measurements from glassy dynamics: replica correlation (RC) and fractal dimension (FD). We demonstrate that standard optimization presents clear signatures of glass dynamics and inherently traps the grokking network in a kinetic arrested memorization state with a collapsed mobility, strong history dependence, and channel-like motions. This quantitative agreement motivates us to introduce State-Aware Monte Carlo Parameter Swapping (SAM-Swap), an optimization plug-in that can accelerate generalization, inspired by swap Monte Carlo algorithm widely used in glass dynamics. Comparing SAM-Swap, weight decay, and Gaussian gradient noise, we find that accelerated generalization is consistently associated with random exploration in the parameter space, similar to diffusion in physics.
- Abstract（参考訳）: グロキングはニューラルネットワークトレーニングにおいて顕著な現象であり、モデルが突然の一般化の前に、純粋な記憶の長い期間を経ることができる。
従来の研究は、ウェイトノルムのような古典的な機械学習メカニズムを通じてそれを解釈しようと試みてきたが、最近の研究は統計物理学、フレーミンググルーキングを計算ガラス緩和の一形態として用いている。
この理論は、初期の記憶は「高速冷却」の結果であり、トレーニング損失はガラス状態が形成されるほど早く減少し、続いて最終一般化に向けた「緩やかな緩和」と定義される。
代表的グルーキング理論の統一的枠組みを提供するが、この観点は、トレーニング力学の直接的な実証的検証を伴わずに、大部分はマクロレベルの理論に留まっている。
本稿では,パラメータモビリティ(PM)を介してトレーニングダイナミクスを直接特徴付ける3成分フレームワークを紹介し,ガラス力学の2つの代表的指標であるレプリカ相関(RC)とフラクタル次元(FD)について述べる。
標準最適化はガラス力学の明確なシグネチャを示し, 運動量低下, 強い履歴依存性, チャネルのような動きを伴う運動的逮捕記憶状態において, グラッキングネットワークを本質的にトラップすることを示した。
この量的合意は、ガラス力学で広く使われているモンテカルロアルゴリズムにインスパイアされて一般化を加速できる最適化プラグインであるState-Aware Monte Carlo Parameter Swapping (SAM-Swap)を導入する動機となっている。
SAM-Swap, 重量減衰, ガウス勾配雑音と比較すると, 加速一般化はパラメータ空間におけるランダムな探索と連続的に関連していることがわかった。
関連論文リスト
- On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models [50.824624057327725]
State Space Models (SSM) は Transformers の代替品として登場した。
我々は、このゲーティング機構がSSMにまず、重み付き「記憶」の解を学習させるという理論と実験を通して示している。
一方、ゲーティングは長い列長への一般化を改善するのにしばしば有用である。
論文 参考訳（メタデータ） (2026-09-15T02:36:13Z) - Interpreting learning dynamics of autoencoders: Transient scaling and emerging concepts of the Ising model [0.0]
イジングモデルからの顕微鏡的スピン構成で訓練された教師なしオートエンコーダは、マクロ的、理論関連変数を学習する。
複数の空間スケールでの学習を定量化し、2つの異なる力学状態を明らかにする。
学習のダイナミックな視点は、内在的特性が強制的変化の影響を表わすことによって確立される。
論文 参考訳（メタデータ） (2026-07-11T12:31:34Z) - OMNIFLOW: A Physics-Grounded Multimodal Agent for Generalized Scientific Reasoning [51.33849811496781]
大規模言語モデル (LLM) は例外的な論理的推論能力を示しているが、部分微分方程式 (PDE) による連続力学としばしば競合する。
OMNIFLOWは, 領域固有のパラメータ更新を必要とせず, 基本物理法則で凍結LDMを基底として設計したマルチモーダルシンボリックアーキテクチャである。
我々は, 微視的乱流, 理論的ナビエ・ストークス, マクロ的世界天気予報のベンチマークでこれを評価した。
論文 参考訳（メタデータ） (2026-03-16T18:29:01Z) - Digital Metabolism: Decoupling Logic from Facts via Regenerative Unlearning -- Towards a Pure Neural Logic Core [4.073707521515039]
デジタル代謝(Digital metabolism)とは、純粋な論理コアを蒸留するためには、標的となる忘れることが必要であるという仮説である。
本稿では,Regenerative Logic-Core Protocol (RLCP)を紹介した。
GSM8Kの実証分析により、「代謝」モデルが自然にシンボリック・チェーン・オブ・シンクの足場を採用することが明らかとなった。
論文 参考訳（メタデータ） (2026-01-15T19:21:16Z) - From Black Hole to Galaxy: Neural Operator: Framework for Accretion and Feedback Dynamics [70.27068115318681]
ニューラルベースの「サブグリッドブラックホール」を導入し、小さな局所力学を学習し、直接シミュレーションに組み込む。
微細な進化の大きなスピードアップにより、我々は、降着駆動のフィードバックで固有の変動を捉え、中心ブラックホールと銀河スケールのガスの動的結合を可能にした。
論文 参考訳（メタデータ） (2025-12-01T11:47:49Z) - The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold [5.076419064097734]
暗記後の学習は、制約付き最適化のレンズを通して理解することができると論じる。
勾配降下は、零損失多様体上の重みノルムを効果的に最小化することを示す。
実験により,予測勾配を用いた学習過程のシミュレーションは,グルーキングの遅延一般化と表現学習特性の両方を再現することを確認した。
論文 参考訳（メタデータ） (2025-11-02T18:44:42Z) - Mimicking the Physicist's Eye:A VLM-centric Approach for Physics Formula Discovery [98.58830663687911]
VIPERR-aq1は、方程式推論のための視覚誘導を行うマルチモーダルモデルである。
視覚知覚、軌跡データ、象徴的推論を統合し、科学的発見過程をエミュレートする。
常に最先端のVLMベースラインを精度と解釈性で上回る。
論文 参考訳（メタデータ） (2025-08-24T14:34:21Z) - Learning to Dissipate Energy in Oscillatory State-Space Models [51.98491034847041]
状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。
我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2025-05-17T23:15:17Z) - Is Grokking a Computational Glass Relaxation? [11.327748614675885]
トレーニング性能がほぼ完璧に到達した後,ニューラルネットワークが突然一般化するグラッキング現象について検討する。
グラッキングの記憶-一般化遷移におけるNOエントロピー障壁は、グラキングを一階相転移と定義する以前の理論に挑戦する。
グラッキングの非平衡な性質に触発され、ワンランダウ分子動力学に基づくおもちゃのWanDを開発し、グラッキングを制約なく排除し、高ノルム一般化解を求めることができる。
論文 参考訳（メタデータ） (2025-05-16T16:20:02Z) - The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations,
and Anomalous Diffusion [29.489737359897312]
勾配降下法(SGD)を訓練した深部ニューラルネットワークの限界ダイナミクスについて検討する。
これらのダイナミクスを駆動する重要な要素は、本来のトレーニング損失ではなく、位相空間の振動を引き起こす速度と確率電流を暗黙的に規則化する修正損失の組み合わせであることを示す。
論文 参考訳（メタデータ） (2021-07-19T20:18:57Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。