論文の概要: Entropic Confinement and Mode Connectivity in Overparameterized Neural Networks

• arxiv url: http://arxiv.org/abs/2512.06297v1
• Date: Sat, 06 Dec 2025 04:50:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.292343
• Title: Entropic Confinement and Mode Connectivity in Overparameterized Neural Networks
• Title（参考訳）: 過パラメータニューラルネットワークにおけるエントロピー閉じ込めとモード接続性
• Authors: Luca Di Carlo, Chase Goddard, David J. Schwab,
• Abstract要約: 我々は、曲率がミニマから体系的に上昇し、雑音が終端に向かって回復する効果的な力を生み出すことを発見した。 本研究は, 深層学習ランドスケープにおける接続性と閉じ込めの両面において, 曲率誘起エントロピー力が果たす役割を明らかにするものである。
• 参考スコア（独自算出の注目度）: 3.989035778149358
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern neural networks exhibit a striking property: basins of attraction in the loss landscape are often connected by low-loss paths, yet optimization dynamics generally remain confined to a single convex basin and rarely explore intermediate points. We resolve this paradox by identifying entropic barriers arising from the interplay between curvature variations along these paths and noise in optimization dynamics. Empirically, we find that curvature systematically rises away from minima, producing effective forces that bias noisy dynamics back toward the endpoints - even when the loss remains nearly flat. These barriers persist longer than energetic barriers, shaping the late-time localization of solutions in parameter space. Our results highlight the role of curvature-induced entropic forces in governing both connectivity and confinement in deep learning landscapes.
• Abstract（参考訳）: ロスランドスケープのアトラクションの盆地は、しばしば低損失経路で接続されているが、最適化のダイナミクスは一般に単一の凸盆地に限られており、中間点を探索することは稀である。 これらの経路に沿った曲率変動と最適化力学におけるノイズとの相互作用から生じるエントロピー障壁を同定することにより、このパラドックスを解消する。 経験的に、曲率がミニマから体系的に上昇し、損失がほぼ平らなままであっても、雑音が終端に向かって回復する効果的な力を生み出すことが分かる。 これらの障壁はエネルギー障壁よりも長く持続し、パラメータ空間における解の時間的局所化を形成する。 本研究は, 深層学習ランドスケープにおける接続性と閉じ込めの両面において, 曲率誘起エントロピー力が果たす役割を明らかにするものである。

関連論文リスト

• Controlling Dissipative Topology Through Floquet Driving: From Transient Diagnostics to Boundary States Isolation [0.0]
  本研究では,周期運転が消散位相を制御し,境界モードを動的に分離する強力なハンドラとして機能することを示す。 本研究は,周期運転が散逸位相を制御し,境界モードを動的に分離する強力なハンドラとして機能することを示す。
  論文  参考訳（メタデータ） (2025-11-28T14:38:22Z)
• Spin Glass Dynamics on Complex Hardware Topologies: A Bond-Correlated Percolation Approach [41.99844472131922]
  本稿では,スピングラスの量子アニールハードウェアに関連するネットワークアーキテクチャ上での非指数緩和挙動について検討する。 この枠組みにより、スピングラスのエネルギー景観をより包括的に特徴づけることができる。
  論文  参考訳（メタデータ） (2025-10-28T18:16:59Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• RainDiff: End-to-end Precipitation Nowcasting Via Token-wise Attention Diffusion [64.49056527678606]
  本稿では,U-Net拡散モデルだけでなく,レーダ時間エンコーダにも統合されたトークンワイドアテンションを提案する。 従来の手法とは異なり,本手法は,画素空間拡散の典型的な高資源コストを発生させることなく,アーキテクチャに注意を集中させる。 実験と評価により,提案手法は複雑な降水予測シナリオにおいて,最先端の手法,ロバストネスの局所的忠実度,一般化,優位性を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2025-10-16T17:59:13Z)
• Smearing of dynamical quantum phase transitions in dissipative free-fermion systems [0.0]
  消散性二次フェルミオン系におけるLoschmidtエコー(RLE)のリンドブラッドダイナミクスについて検討した。 対応するユニタリ力学に存在する非解析性は、純粋にゲインまたは純粋に損失過程の下で生き残ることができることを示す。 また, 発散動力学と単体動力学の微妙な相互作用は, RLEの力学においてネストした光錐構造を生じさせることを示した。
  論文  参考訳（メタデータ） (2025-09-25T20:59:20Z)
• Spline Deformation Field [21.755382164519776]
  帰納バイアスは、不適切なシナリオにおける標準空間コヒーレンスを妨げる。 本稿では,従来の結合技術に取って代わる,新しい低ランク空間符号化手法を提案する。 最先端の手法と比較して、競争力のある動的再構成品質を実現する。
  論文  参考訳（メタデータ） (2025-07-10T08:11:46Z)
• The Butterfly Effect: Neural Network Training Trajectories Are Highly Sensitive to Initial Conditions [51.68215326304272]
  たとえ小さな摂動であっても、同じ訓練軌跡を確実に引き起こすことで、トレーニング時間とともに急速に減少する効果が発散することを示します。 この結果から,ニューラルネットワークのトレーニング安定性,微調整,モデルマージ,モデルアンサンブルの多様性の実践的意味が示唆された。
  論文  参考訳（メタデータ） (2025-06-16T08:35:16Z)
• New Evidence of the Two-Phase Learning Dynamics of Neural Networks [59.55028392232715]
  時間ウィンドウ全体にわたってネットワーク状態を比較するインターバルワイズ・パースペクティブを導入する。 摂動に対するネットワークの応答はカオスから安定への移行を示す。 また、この遷移点の後に、モデルの関数軌道は狭い円錐形の部分集合に制限される。
  論文  参考訳（メタデータ） (2025-05-20T04:03:52Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。