論文の概要: Avoiding unsafe sets when training with Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2607.07538v1
• Date: Wed, 08 Jul 2026 15:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.440114
• Title: Avoiding unsafe sets when training with Langevin Dynamics
• Title（参考訳）: Langevin Dynamics を用いたトレーニングにおける安全でないセットの回避
• Abstract要約: ノイズ勾配勾配のモデルを訓練することは、損失ランドスケープにおけるランゲヴィン力学の過大な損傷として理想化できる。 我々はこれを,エネルギーギャップによって最小化器から分離された破壊領域と$d$次元の滑らかで強い凸損失について検討した。
• 参考スコア（独自算出の注目度）: 1.0762008415887194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training a model with noisy gradient descent can be idealized as overdamped Langevin dynamics on the loss landscape, and a natural safety question is to bound the probability $ν_t(\mathcal{A}_H) = \mathbb{P}(Q_t \in \mathcal{A}_H)$ that the trajectory lies in a designated failure region $\mathcal{A}_H$. We study this for a smooth, strongly convex loss in $d$ dimensions and a failure region separated from the minimizer by an energy gap. Three bounds emerge. At the end of training, the equilibrium mass $π(\mathcal{A}_H)$ is exponentially small in $d$, with a complementary energy-barrier rate when the noise is small. Along the trajectory, a shape-free bound $ν_t(\mathcal{A}_H) \le π(\mathcal{A}_H)(1 + \sqrt{χ_0^2/π(\mathcal{A}_H)}\,e^{-mt})$ shows that the in-set probability relaxes to (twice) the static value after a burn-in time of order $d$, using only the global spectral gap $m$ of the loss. A worked Ornstein-Uhlenbeck example shows this burn-in is necessary: an angular slice of the equilibrium shell can transiently swell by a factor exponential in $d$, even though its equilibrium mass is tiny. To rule such swelling out we introduce a local relaxation rate attached to the failure region, defined through the spectral measure of its centered indicator rather than a Dirichlet-form Rayleigh quotient. For geometrically isolated regions this rate exceeds the global one, shrinking the burn-in proportionally, and combined with a maximum-principle ceiling it caps the trajectory probability uniformly in time. The picture is that strong convexity sets how fast training relaxes, but the shape of the unsafe set decides whether the trajectory bulges through it on the way home.
• Abstract（参考訳）: ノイズ勾配勾配のモデルをトレーニングすることは、損失ランドスケープ上の過大なランゲヴィン力学として理想化することができ、自然な安全問題として、確率 $ν_t(\mathcal{A}_H) = \mathbb{P}(Q_t \in \mathcal{A}_H)$ を有界にすることで、軌道は指定された障害領域 $\mathcal{A}_H$ に属する。 我々はこれを,エネルギーギャップによって最小化器から分離された破壊領域と$d$次元の滑らかで強い凸損失について検討した。 3つの境界が現れる。 トレーニングの終わりに、平衡質量$π(\mathcal{A}_H)$は指数関数的に$d$で小さくなり、ノイズが小さいときに相補的なエネルギーバリアレートとなる。 軌道に沿って、形のない有界な$ν_t(\mathcal{A}_H) \le π(\mathcal{A}_H)(1 + \sqrt{*_0^2/π(\mathcal{A}_H)}\,e^{-mt})$ は、損失のグローバルなスペクトルギャップ$m$のみを用いて、不規則な確率が次数$d$のバーンイン時間後に(2つの)静的値に緩和することを示す。 平衡殻の角状のスライスはその平衡質量が小さいにもかかわらず、$d$で指数関数的に指数関数的に膨らむことができる。 このような膨らみを除外するために、ディリクレ形式のレイリー商ではなく、その中心の指標のスペクトル測度によって定義される障害領域に付随する局所緩和率を導入する。 幾何学的に孤立した領域では、この速度はグローバルな領域を超え、バーンインを比例的に縮小し、最大主天井と組み合わせることで軌道の確率を一定に抑える。 写真は、速いトレーニングがいかにリラックスするかを、強い凸性で決めていますが、安全でないセットの形状は、家に帰る途中で軌道が膨らむかどうかを判断します。

関連論文リスト

• KPZ Superdiffusion of Local Correlators in Diffusive Random Quantum Circuits [0.0]
  正規化された空間分布 $p(x,t)propto |G(x,t)|2$ のゆるやかな統計において、カルダル=パリ=チャンのスケーリングが見つかる。 特に、その中心である$langle x(t)rangleequivsum_x x, p(x,t)$waws on a length-scale $mathcalO(t2/3)$, while sample-to-sample fluctuations of $-logsum_x |G(x,t)|2$ scale as
  論文  参考訳（メタデータ） (2026-08-06T18:00:02Z)
• The Information Content of Krylov Observables: A Machine Learning Approach [0.0]
  拡散複雑性 $mathcalC(t)$, 離散ウィグナー負性$N(t)$, 正規化負性$(t)=N(t)/|S(t)|$, 生存振幅$S(t)$を定量化する。 GUE、GOE、Poissonのアンサンブルにまたがる$sim 57,000$のラベル付き進化の半分で、小さな残留ネットワーク(16-32ニューロン)とブーストツリーを訓練する。
  論文  参考訳（メタデータ） (2026-07-19T17:17:21Z)
• A Temporal Spatial Minimax Rate for Smoothly-Varying Distributions in Wasserstein Space [0.0]
  ワッサーシュタイン空間において、曲線 $tmapsto_t$ の将来の値 $t_n+h$ を推定するミニマックス速度について検討する。 我々の中心的な結果は、時間空間的ミニマックスの下位境界であり、正規で局所的な輸送に富むサブクラスである。
  論文  参考訳（メタデータ） (2026-06-05T14:43:10Z)
• Local LMO: Constrained Gradient Optimization via a Local Linear Minimization Oracle [51.714334316332476]
  Local Lは制約付き最適化のための新しいプロジェクションフリー型である。 局所LMOはGD(Gradient Descent)のオラクルと見なされる。
  論文  参考訳（メタデータ） (2026-05-09T10:03:24Z)
• When Does $\ell_2$-Boosting Overfit Benignly? High-Dimensional Risk Asymptotics and the $\ell_1$ Implicit Bias [15.113649527486276]
  良性オーバーフィッティングが線形レートで失敗することを示します。 この局所化機構は信号の存在下で持続するべきであるが、正確な信号-雑音分解は未解決の問題である。
  論文  参考訳（メタデータ） (2026-05-07T14:14:09Z)
• On the Superlinear Relationship between SGD Noise Covariance and Loss Landscape Curvature [1.6773271875801752]
  グラディエントDescent (SGD) は、損失ランドスケープの局所曲率と相関する異方性雑音を導入し、平坦なミニマに対して最適化を行う。 この仮定は、ディープニューラルネットワークでは通常違反される制約条件下でのみ成立することを示す。 データセット、アーキテクチャ、損失関数にわたる実験は、これらの境界を検証し、ディープラーニングにおけるノイズ-曲率関係を統一的に評価する。
  論文  参考訳（メタデータ） (2026-02-05T12:35:13Z)
• Anomalous energy correlations and spectral form factor in the nonergodic phase of the $β$-ensemble [0.0]
  臨界エネルギーが特性時間スケールを制御する$beta$-ensembleの力学特性について検討する。 時間窓$t_mathrmR t t_mathrmH$にエネルギー相関が存在しないことを示す。
  論文  参考訳（メタデータ） (2025-06-18T09:05:22Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• Random quantum circuits transform local noise into global white noise [118.18170052022323]
  低忠実度状態におけるノイズランダム量子回路の測定結果の分布について検討する。 十分に弱くユニタリな局所雑音に対して、一般的なノイズ回路インスタンスの出力分布$p_textnoisy$間の相関(線形クロスエントロピーベンチマークで測定)は指数関数的に減少する。 ノイズが不整合であれば、出力分布は、正確に同じ速度で均一分布の$p_textunif$に近づく。
  論文  参考訳（メタデータ） (2021-11-29T19:26:28Z)
• Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
  勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
  論文  参考訳（メタデータ） (2020-10-01T16:48:33Z)
• Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
  非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
  論文  参考訳（メタデータ） (2020-06-04T17:51:00Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)
• Data-driven Efficient Solvers for Langevin Dynamics on Manifold in High Dimensions [12.005576001523515]
  多様体構造を持つ物理系のランゲヴィン力学を$mathcalMsubsetmathbbRp$で研究する。 我々は、多様体 $mathcalN$ 上の対応するフォッカー・プランク方程式を、反応座標 $mathsfy$ の観点から活用する。 このFokker-Planck方程式に対して、実装可能で、無条件で安定な、データ駆動有限体積スキームを提案する。
  論文  参考訳（メタデータ） (2020-05-22T16:55:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。