論文の概要: Characterizing the Edge of Stability in Variational Training Without Priors
- arxiv url: http://arxiv.org/abs/2611.15990v1
- Date: Wed, 11 Nov 2026 20:43:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.271089
- Title: Characterizing the Edge of Stability in Variational Training Without Priors
- Title(参考訳): 事前知識のない変分訓練における安定性のエッジの特徴付け
- Abstract要約: 予測損失のトレーニングは、安定性の修正されたエッジで実行されることを示す。
予測損失のトレーニングは、勾配推定の信号対雑音比を特徴とする安定性の修正エッジで動作することを示す。
- 参考スコア(独自算出の注目度): 11.296548737163599
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Variational approaches in deep learning promise to deliver improved uncertainty quantification and out-of-distribution generalization by inferring a distribution over weights, regularized by a divergence to a chosen prior. However, prior elicitation presents a significant challenge in deep learning, resulting in the common practice of significantly downweighting the regularization term in the variational objective. Recently, it was proposed to train solely via the expected loss by relying on implicit regularization from the optimizer, rather than explicit regularization from the divergence to the prior. While this approach largely sidesteps the issue of prior elicitation, current theory lacks an understanding of how key optimization hyperparameters impact the implicit regularization. Here, we theoretically and empirically demonstrate that larger learning rates and fewer parameter samples lead to flatter minima of the loss landscape, which are known to generalize better. We show that training on the expected loss operates at a modified edge of stability, characterized by the signal-to-noise ratio of the gradient estimates and the number of Monte Carlo samples. Experiments on out-of-distribution benchmark datasets confirm the practical significance of the theoretical results.
- Abstract(参考訳): 深層学習における変分的アプローチは、選択された事前の偏差によって正規化された重みの分布を推定することにより、不確実性の定量化と分布外一般化を改善させることを約束する。
しかし,事前帰納は深層学習において大きな課題を呈し,変分目的における正規化項を著しく下方修正するという共通の実践がもたらされる。
近年、偏差から先行への明示的な正則化ではなく、オプティマイザからの暗黙的な正則化を頼りに、期待損失のみで訓練することを提案した。
このアプローチは、主に先験の問題の側面にあるが、現在の理論では、鍵最適化ハイパーパラメータが暗黙の正則化にどのように影響するかの理解が欠如している。
ここでは,学習速度の増大とパラメータサンプルの減少が損失景観の平ら化につながることを理論的,実証的に実証し,より一般化することが知られている。
予測損失のトレーニングは、勾配推定の信号対雑音比とモンテカルロサンプル数によって特徴付けられる、安定性の修正されたエッジで動作することを示す。
アウト・オブ・ディストリビューション・ベンチマーク・データセットの実験は、理論結果の実用的意義を裏付けるものである。
関連論文リスト
- Smart predict-then-robustly-optimize [0.5161531917413708]
本稿では,スマート予測最適化手法のロバストな変種を提案し,検討する。
私たちのフレームワークは、標準メソッドよりも大幅にパフォーマンスが向上します。
論文 参考訳(メタデータ) (2026-07-23T19:37:17Z) - Multiply Robust Conformal Risk Control with Coarsened Data [0.0]
コンフォーマル予測(CP)は近年,膨大な関心を集めている。
本稿では、粗いデータから得られる結果に対して、分布自由な有効予測領域を得るという一般的な問題について考察する。
半パラメトリック理論の原則的利用は、フレキシブルな機械学習手法の促進の鍵となる利点を持つ。
論文 参考訳(メタデータ) (2025-08-21T12:14:44Z) - Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization [12.58055746943097]
我々は、勾配降下の一般化性能を包括的に理解するには、これらの様々な形態の暗黙正則化の間の相互作用を分析する必要があると論じる。
単純な回帰タスクで訓練された対角線ネットワークに対して、暗黙バイアスだけでは一般化誤差を最小化しないことを示す。
論文 参考訳(メタデータ) (2025-05-27T16:51:06Z) - Variational Deep Learning via Implicit Regularization [11.296548737163599]
現代のディープラーニングモデルは、過度にパラメータ化され、明示的な正規化をほとんど、あるいは全く行わずに訓練されているにもかかわらず、非常によく分布する。
本稿では,(確率的な)勾配勾配の暗黙バイアスにのみ依存して,変分ニューラルネットワークの正規化を提案する。
論文 参考訳(メタデータ) (2025-05-26T17:15:57Z) - Unmasking Bias in Diffusion Model Training [40.90066994983719]
拡散モデルが画像生成の主流のアプローチとして登場した。
トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。
本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
論文 参考訳(メタデータ) (2023-10-12T16:04:41Z) - Model-Based Uncertainty in Value Functions [89.31922008981735]
MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。
従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
論文 参考訳(メタデータ) (2023-02-24T09:18:27Z) - Stochastic Training is Not Necessary for Generalization [57.04880404584737]
勾配降下の暗黙的な正則化(SGD)は、ニューラルネットワークで観測される印象的な一般化の振る舞いに基礎的であると広く信じられている。
本研究では,SGDと同等のCIFAR-10において,非確率的フルバッチトレーニングが強力な性能を発揮することを示す。
論文 参考訳(メタデータ) (2021-09-29T00:50:00Z) - Which Invariance Should We Transfer? A Causal Minimax Learning Approach [18.71316951734806]
本稿では、因果的観点からの包括的ミニマックス分析について述べる。
最小の最悪のリスクを持つサブセットを探索する効率的なアルゴリズムを提案する。
本手法の有効性と有効性は, 合成データとアルツハイマー病の診断で実証された。
論文 参考訳(メタデータ) (2021-07-05T09:07:29Z) - A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。
予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
論文 参考訳(メタデータ) (2020-07-08T11:35:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。