論文の概要: Noise Stability Optimization for Finding Flat Minima: A Hessian-based Regularization Approach
- arxiv url: http://arxiv.org/abs/2306.08553v4
- Date: Mon, 23 Sep 2024 16:52:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-09 15:02:22.816308
- Title: Noise Stability Optimization for Finding Flat Minima: A Hessian-based Regularization Approach
- Title（参考訳）: 平板最小値探索のための雑音安定性最適化:ヘッセン系正規化手法
- Authors: Hongyang R. Zhang, Dongyue Li, Haotian Ju,
- Abstract要約: 本稿では,ヘッセン損失行列を効果的に正規化できるアルゴリズムを提案する。
提案手法は,CLIPとチェーン・オブ・ファインチューニングデータセットの事前学習における一般化の改善に有効である。
- 参考スコア（独自算出の注目度）: 18.009376840944284
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The training of over-parameterized neural networks has received much study in recent literature. An important consideration is the regularization of over-parameterized networks due to their highly nonconvex and nonlinear geometry. In this paper, we study noise injection algorithms, which can regularize the Hessian of the loss, leading to regions with flat loss surfaces. Specifically, by injecting isotropic Gaussian noise into the weight matrices of a neural network, we can obtain an approximately unbiased estimate of the trace of the Hessian. However, naively implementing the noise injection via adding noise to the weight matrices before backpropagation presents limited empirical improvements. To address this limitation, we design a two-point estimate of the Hessian penalty, which injects noise into the weight matrices along both positive and negative directions of the random noise. In particular, this two-point estimate eliminates the variance of the first-order Taylor's expansion term on the Hessian. We show a PAC-Bayes generalization bound that depends on the trace of the Hessian (and the radius of the weight space), which can be measured from data. We conduct a detailed experimental study to validate our approach and show that it can effectively regularize the Hessian and improve generalization. First, our algorithm can outperform prior approaches on sharpness-reduced training, delivering up to a 2.4% test accuracy increase for fine-tuning ResNets on six image classification datasets. Moreover, the trace of the Hessian reduces by 15.8%, and the largest eigenvalue is reduced by 9.7% with our approach. We also find that the regularization of the Hessian can be combined with weight decay and data augmentation, leading to stronger regularization. Second, our approach remains effective for improving generalization in pretraining multimodal CLIP models and chain-of-thought fine-tuning.
- Abstract（参考訳）: 過度にパラメータ化されたニューラルネットワークのトレーニングは、最近の文献で多くの研究を受けている。
重要な考慮事項は、その非凸性や非線形幾何学のため、過度にパラメータ化されたネットワークの正規化である。
本稿では、損失のヘシアンを正規化できるノイズ注入アルゴリズムについて検討し、平面的な損失面を持つ領域を導出する。
具体的には、ニューラルネットワークの重み行列に等方性ガウスノイズを注入することにより、ヘッセンの痕跡のほぼ偏りのない推定値を得ることができる。
しかし、バックプロパゲーション前に重み行列にノイズを加えることでノイズ注入を鼻で行うと、経験的改善は限られる。
この制限に対処するために、ランダムノイズの正方向と負方向の両方に沿って重み行列に雑音を注入するヘッセンペナルティの2点推定を設計する。
特に、この2点推定は、ヘッセン上の一階テイラーの展開項の分散を排除している。
我々は、データから測定できるヘッセン(および重み空間の半径)のトレースに依存するPAC-ベイズ一般化の有界性を示す。
我々は,我々のアプローチを検証するための詳細な実験を行い,ヘッセン語を効果的に正則化し,一般化を向上させることができることを示す。
まず,6つの画像分類データセット上での微調整ResNetの精度を最大2.4%向上させることができる。
さらに、ヘッセンの痕跡は15.8%減少し、最大の固有値は我々のアプローチにより9.7%減少する。
また、ヘッセンの正則化と重みの減衰とデータ増大が組み合わされ、より強い正則化がもたらされる。
第2に,本手法はマルチモーダルCLIPモデルとチェーン・オブ・ファインタニングの事前学習における一般化の改善に有効である。
関連論文リスト
- Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。
圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
論文 参考訳（メタデータ） (2024-09-19T17:56:16Z) - Epistemic Uncertainty and Observation Noise with the Neural Tangent Kernel [12.464924018243988]
近年の研究では、勾配降下による広いニューラルネットワークのトレーニングは、ガウス過程における後部分布の平均を計算することと正式に等価であることが示されている。
非ゼロアレタリックノイズに対処する方法を示し, 後部共分散推定器を導出する。
論文 参考訳（メタデータ） (2024-09-06T00:34:44Z) - The Inductive Bias of Flatness Regularization for Deep Matrix
Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。
測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文 参考訳（メタデータ） (2023-06-22T23:14:57Z) - Robust Fine-Tuning of Deep Neural Networks with Hessian-based
Generalization Guarantees [20.2407347618552]
オーバーフィッティングの問題を理解するために,ファインチューニングの一般化特性について検討する。
本稿では,クラス条件独立ノイズモデルに基づくアルゴリズムと一般化誤差保証を提案する。
論文 参考訳（メタデータ） (2022-06-06T14:52:46Z) - Error-Correcting Neural Networks for Two-Dimensional Curvature
Computation in the Level-Set Method [0.0]
本稿では,2次元曲率をレベルセット法で近似するための誤差ニューラルモデルに基づく手法を提案する。
我々の主な貢献は、需要に応じて機械学習操作を可能にする数値スキームに依存する、再設計されたハイブリッド・ソルバである。
論文 参考訳（メタデータ） (2022-01-22T05:14:40Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。
MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
論文 参考訳（メタデータ） (2020-10-12T17:41:44Z) - Learning Rates as a Function of Batch Size: A Random Matrix Theory
Approach to Neural Network Training [2.9649783577150837]
スパイクされたフィールド依存ランダム行列理論を用いて, ニューラルネットの損失景観に及ぼすミニバッチの影響について検討した。
我々は、スムーズで非ニュートンディープニューラルネットワークのための最大降下および適応訓練規則の解析式を導出する。
VGG/ResNetおよびImageNetデータセットのクレームを検証する。
論文 参考訳（メタデータ） (2020-06-16T11:55:45Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳（メタデータ） (2020-06-04T21:51:21Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。