論文の概要: Langevin dynamics along the zero set of real-analytic potentials

• arxiv url: http://arxiv.org/abs/2608.09840v1
• Date: Mon, 10 Aug 2026 16:55:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.390826
• Title: Langevin dynamics along the zero set of real-analytic potentials
• Title（参考訳）: 実解析ポテンシャルの零集合に沿ったランゲヴィンダイナミクス
• Abstract要約: 我々はランゲヴィン拡散 $dX_t = - nabla V(X_t) dt + sqrt2 dB_t$ を一般非負の実解析ポテンシャル $V$ と大きなパラメータ $$ とみなす。 ゼロ集合上の進化を制限する候補を導出する。
• 参考スコア（独自算出の注目度）: 0.8947188600472255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the Langevin diffusion $dX_t = - β\nabla V(X_t) dt + \sqrt{2} dB_t$ for a general nonnegative real-analytic potential $V$ and a large parameter $β$. In the large-$β$ limit the process is confined to the zero set of $V$, assuming that it starts there. We derive a candidate limiting evolution on the zero set. To do so, the zero set is partitioned into strata according to a measure of local codimension known as the local learning coefficient and its multiplicity. It is then shown that the Dirichlet form associated with $X$ converges in a certain sense to a hierarchy of Dirichlet forms corresponding to a stochastic evolution on the strata. This evolution is strongly biased toward higher-dimensional, or "more singular", strata. This result is motivated by a question from Watanabe's singular learning theory regarding the learning dynamics of overparameterized statistical models and the generalization puzzle in deep learning. The result suggests a mechanism for the observation that stochastic gradient methods tend to be biased toward singular solutions that generalize well.
• Abstract（参考訳）: 我々はランゲヴィン拡散 $dX_t = - β\nabla V(X_t) dt + \sqrt{2} dB_t$ を一般非負の実解析ポテンシャル $V$ と大きなパラメータ $β$ に対して考える。 大規模な$β$制限では、プロセスは$V$のゼロ集合に制限され、そこで開始すると仮定される。 ゼロ集合上の進化を制限する候補を導出する。 そのため、ゼロ集合は局所学習係数と呼ばれる局所余次元とその多重度の測定値に従って成層に分割される。 すると、$X$に付随するディリクレ形式は、ある意味で成層上の確率的進化に対応するディリクレ形式の階層に収束することが示される。 この進化は高次元の「より特異な」層に強く偏っている。 この結果は、過パラメータ化統計モデルの学習力学とディープラーニングにおける一般化パズルに関する渡辺の特異学習理論からの質問に動機づけられた。 この結果は、確率勾配法がよく一般化する特異解に偏りがあるという観察のメカニズムを示唆している。

関連論文リスト

• Escape dynamics and implicit bias of one-pass SGD in overparameterized quadratic networks [3.198538967655537]
  2層ニューラルネットワークの1パス勾配勾配勾配ダイナミクスを教師の枠組みで解析する。 本研究では,学生の進化を規定する低次元常微分方程式について考察する。
  論文  参考訳（メタデータ） (2026-04-03T14:47:24Z)
• Reflected diffusion models adapt to low-dimensional data [1.4273866043218157]
  本稿では、超キューブ$[0,1]D$が$d$次元線型部分空間上でサポートされている場合の反射拡散モデルの統計的解析を行う。 簡単に実装可能な遷移密度の無限級数展開を利用することで、スコア関数とその近似をスパースReLUネットワークで束縛する解析ツールを開発する。
  論文  参考訳（メタデータ） (2026-03-25T16:37:33Z)
• Dimension-Independent Convergence of Underdamped Langevin Monte Carlo in KL Divergence [50.719298242863744]
  Underdamped Langevin dynamics (ULD) は Gibbs 分布の$propto e-V$ に広く使われているサンプルである。 離散化LDDにおける最初の次元自由なKL分散境界を証明した。
  論文  参考訳（メタデータ） (2026-03-02T22:14:38Z)
• Quantitative Convergence of Wasserstein Gradient Flows of Kernel Mean Discrepancies [10.511277414974613]
  ケルネル平均離散関数のワッサーシュタイン勾配流の定量的収束について検討した。 我々の設定は、特に無限幅および連続時間制限における浅層ニューラルネットワークのトレーニング力学をカバーしている。
  論文  参考訳（メタデータ） (2026-03-02T15:32:54Z)
• Learning Shrinks the Hard Tail: Training-Dependent Inference Scaling in a Solvable Linear Model [2.7074235008521246]
  ニューラルネットワークのスケーリング法則を最終層微細チューニングの解法モデルで解析する。 学習がエラー分布の「ハードテール」を小さくすることを示す。
  論文  参考訳（メタデータ） (2026-01-07T10:00:17Z)
• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• Large Learning Rate Tames Homogeneity: Convergence and Balancing Effect [43.00475513526005]
  等質行列因数分解問題に対して,学習率の高いグラディエントDescent (GD) を用いることを検討する。 一定の大規模学習率に対する収束理論を2/L$以上で証明する。 我々はこのような大きな学習率によって引き起こされるGDの暗黙の偏見を厳格に確立し、「バランス」という。
  論文  参考訳（メタデータ） (2021-10-07T17:58:21Z)
• Locality defeats the curse of dimensionality in convolutional teacher-student scenarios [69.2027612631023]
  学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。 我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
  論文  参考訳（メタデータ） (2021-06-16T08:27:31Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Anisotropy-mediated reentrant localization [62.997667081978825]
  2次元双極子系、$d=2$、一般化双極子-双極子相互作用$sim r-a$、トラップイオン系やリドバーグ原子系で実験的に制御されたパワー$a$を考える。 異方性双極子交換を引き起こす双極子の空間的に均質な傾き$$beta$は、ロケータ展開を超えた非自明な再帰的局在をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-01-31T19:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。