論文の概要: Double descent is the principle of least action

• arxiv url: http://arxiv.org/abs/2609.19076v2
• Date: Thu, 17 Sep 2026 11:08:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.916058
• Title: Double descent is the principle of least action
• Title（参考訳）: 二重降下は最小作用の原理である
• Abstract要約: パラメータ数に対してプロットされたモデルのテストエラー$d$fall、モデルのトレーニングデータに適合できるピーク、そして再びフォール。 我々はその現象を統計力学で説明する。
• 参考スコア（独自算出の注目度）: 0.10152838128195464
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The test error of a model plotted against its number of parameters $d$ falls, peaks when the model can just fit the training data, and falls again, exhibiting the double descent phenomenon. We explain the phenomenon with statistical mechanics. The training trajectory of a stochastic gradient-based method is a particle wandering over the energy landscape of the training loss at an induced temperature $T$, and a run that has equilibrated visits every parameter vector of a given training loss equally often, the fundamental postulate of statistical mechanics, with probability given by the Boltzmann distribution. Because training starts at an initial point and has only finite time to diffuse, it carries an effective weight decay, which makes every parameter a quadratic degree of freedom. The equipartition theorem then distributes the energy among the $d$ degrees of freedom in shares of $T/2$, so at a fixed training loss adding parameters lowers the temperature and drives the Boltzmann distribution toward the stationary path. Finally, adding parameters can only lower the $L^2$ norm of the stationary path, so a solution sampled at fixed loss is less likely to be large with increasing $d$, effectively increasing weight regularization.
• Abstract（参考訳）: パラメータ数に対してプロットされたモデルのテストエラー$d$ Fall、モデルがトレーニングデータに適合できるピーク、そして再びフォールし、二重降下現象を示す。 我々はその現象を統計力学で説明する。 確率勾配法(英語版)の訓練軌跡は、誘導温度$T$でトレーニング損失のエネルギーランドスケープをさまよう粒子であり、与えられたトレーニング損失のパラメータベクトルを等しく訪れたランは、ボルツマン分布によって与えられる確率を持つ統計力学の基本的な仮定である。 トレーニングは初期点から始まり、拡散するのに有限時間しかかからないため、効果的に重みの減衰を起こし、全てのパラメータを二次的な自由度にする。 等分法定理はその後、エネルギーを$d$自由度で$T/2$の株式に分配するので、一定の訓練損失でパラメータを加算すると温度が低下し、ボルツマン分布を定常経路へと誘導する。 最後に、パラメータを追加することは定常経路の$L^2$ノルムを下げることしかできないので、固定損失でサンプリングされた解は、$d$の増加とともに大きくなりにくくなり、実質的に重量正則化が増加する。

関連論文リスト

• Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
  自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。 我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。 この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
  論文  参考訳（メタデータ） (2026-08-01T13:49:46Z)
• Avoiding unsafe sets when training with Langevin Dynamics [1.0762008415887194]
  形状自由境界の $_t(mathcalA_H) le (mathcalA_H) le (mathcalA_H) le (mathcalA_H) le (mathcalA_H) le (mathcalA_H) le (mathcalA_H) le (mathcalA_H) について検討した。
  論文  参考訳（メタデータ） (2026-07-08T15:36:45Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• A Theoretical Framework for Grokking: Interpolation followed by Riemannian Norm Minimisation [17.31702538576744]
  一般訓練損失$F: mathbbRd から mathbbR$ への勾配流のダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2025-05-26T16:12:45Z)
• Temperature is All You Need for Generalization in Langevin Dynamics and other Markov Processes [43.857810191928166]
  過度にパラメータ化されたモデルのトレーニングにおいて、トレーニングとテストエラーのギャップを分析する。 トレーニング時間にもミキシングにも依存せず、次元や勾配規範にも依存せず、損失やモデルの他の特性にも依存しています。
  論文  参考訳（メタデータ） (2025-05-25T10:49:09Z)
• Better Training of GFlowNets with Local Credit and Incomplete Trajectories [81.14310509871935]
  エネルギー関数が終端状態だけでなく中間状態にも適用できる場合を考える。 これは例えば、エネルギー関数が加法的であるときに達成され、軌道に沿って項が利用できる。 これにより、不完全なトラジェクトリであってもパラメータの更新に適用可能なトレーニングの目標が可能になる。
  論文  参考訳（メタデータ） (2023-02-03T12:19:42Z)
• Global Convergence of Over-parameterized Deep Equilibrium Models [52.65330015267245]
  ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。 無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。 本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-27T08:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。