論文の概要: Unlocking Tuning-free Generalization: Minimizing the PAC-Bayes Bound
with Trainable Priors
- arxiv url: http://arxiv.org/abs/2305.19243v2
- Date: Sun, 1 Oct 2023 22:36:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 14:23:12.628645
- Title: Unlocking Tuning-free Generalization: Minimizing the PAC-Bayes Bound
with Trainable Priors
- Title(参考訳): アンロックチューニングフリー一般化: PAC-Bayes境界とトレーニング可能な事前条件の最小化
- Authors: Xitong Zhang, Avrajit Ghosh, Guangliang Liu and Rongrong Wang
- Abstract要約: PAC-Bayesトレーニングフレームワークはほぼチューニング不要で、追加の正規化を必要としない。
提案アルゴリズムは、深層ニューラルネットワークにおける最先端性能を達成するためのPACトレーニングの顕著な可能性を実証する。
- 参考スコア(独自算出の注目度): 11.952542165016222
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is widely recognized that the generalization ability of neural networks
can be greatly enhanced through carefully designing the training procedure. The
current state-of-the-art training approach involves utilizing stochastic
gradient descent (SGD) or Adam optimization algorithms along with a combination
of additional regularization techniques such as weight decay, dropout, or noise
injection. Optimal generalization can only be achieved by tuning a multitude of
hyperparameters through grid search, which can be time-consuming and
necessitates additional validation datasets. To address this issue, we
introduce a practical PAC-Bayes training framework that is nearly tuning-free
and requires no additional regularization while achieving comparable testing
performance to that of SGD/Adam after a complete grid search and with extra
regularizations. Our proposed algorithm demonstrates the remarkable potential
of PAC training to achieve state-of-the-art performance on deep neural networks
with enhanced robustness and interpretability.
- Abstract(参考訳): トレーニング手順を慎重に設計することにより,ニューラルネットワークの一般化能力が大幅に向上することが広く認識されている。
現在の最先端のトレーニングアプローチでは、確率勾配降下(SGD)またはアダム最適化アルゴリズムと、重み付け減衰、ドロップアウト、ノイズ注入といった追加の正規化手法を組み合わせる。
最適な一般化は、グリッド検索を通じて多数のハイパーパラメータをチューニングすることによってのみ達成できる。
そこで本研究では,完全グリッド探索と余分な正規化により,sgd/adamと同等のテスト性能を実現すると同時に,ほぼチューニングフリーで追加の正規化を必要としない,実用的なpac-bayesトレーニングフレームワークを提案する。
提案アルゴリズムは,高ロバスト性と解釈性を有するディープニューラルネットワーク上での最先端性能を実現するためのPACトレーニングの可能性を示す。
関連論文リスト
- Function-Space Regularization in Neural Networks: A Probabilistic
Perspective [51.133793272222874]
所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。
本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
論文 参考訳(メタデータ) (2023-12-28T17:50:56Z) - PAC-tuning:Fine-tuning Pretrained Language Models with PAC-driven
Perturbed Gradient Descent [11.866227238721939]
本稿では,この最適化課題に対処する2段階ファインチューニング手法であるPACチューニングを提案する。
PACチューニングは、適切なパラメータ分布を学習するために、PAC-Bayes境界を直接最小化する。
第2に、PACチューニングは、トレーニング中にモデルパラメータに学習したノイズを注入することで勾配を調整し、摂動降下の変異をもたらす。
論文 参考訳(メタデータ) (2023-10-26T17:09:13Z) - Achieving Constraints in Neural Networks: A Stochastic Augmented
Lagrangian Approach [49.1574468325115]
DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。
制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。
我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
論文 参考訳(メタデータ) (2023-10-25T13:55:35Z) - Split-Boost Neural Networks [1.1549572298362787]
本稿では,スプリットブートと呼ばれるフィードフォワードアーキテクチャの革新的なトレーニング戦略を提案する。
このような新しいアプローチは、最終的に正規化項を明示的にモデル化することを避けることができる。
提案した戦略は、ベンチマーク医療保険設計問題内の実世界の(匿名化された)データセットでテストされる。
論文 参考訳(メタデータ) (2023-09-06T17:08:57Z) - SING: A Plug-and-Play DNN Learning Technique [25.563053353709627]
我々は,Adam(W)の安定性とロバスト性を向上させるプラグアンドプレイ技術であるSING(StabIlized and Normalized Gradient)を提案する。
SINGは実装が簡単で、最小限の計算オーバーヘッドを持ち、Adam(W)に供給される勾配の層単位での標準化しか必要としない。
論文 参考訳(メタデータ) (2023-05-25T12:39:45Z) - AskewSGD : An Annealed interval-constrained Optimisation method to train
Quantized Neural Networks [12.229154524476405]
我々は、深層ニューラルネットワーク(DNN)を量子化重みでトレーニングするための新しいアルゴリズム、Annealed Skewed SGD - AskewSGDを開発した。
アクティブなセットと実行可能な方向を持つアルゴリズムとは異なり、AskewSGDは実行可能な全セットの下でのプロジェクションや最適化を避けている。
実験結果から,AskewSGDアルゴリズムは古典的ベンチマークの手法と同等以上の性能を示した。
論文 参考訳(メタデータ) (2022-11-07T18:13:44Z) - Stochastic Training is Not Necessary for Generalization [57.04880404584737]
勾配降下の暗黙的な正則化(SGD)は、ニューラルネットワークで観測される印象的な一般化の振る舞いに基礎的であると広く信じられている。
本研究では,SGDと同等のCIFAR-10において,非確率的フルバッチトレーニングが強力な性能を発揮することを示す。
論文 参考訳(メタデータ) (2021-09-29T00:50:00Z) - Better Training using Weight-Constrained Stochastic Dynamics [0.0]
我々は、トレーニングを通してディープニューラルネットワークのパラメータ空間を制御するために制約を用いる。
カスタマイズされた適切な設計の制約を使用することで、消滅/展開の問題を減らすことができる。
グラデーションランゲヴィンフレームワークに制約を効率的に組み込むための一般的なアプローチを提供する。
論文 参考訳(メタデータ) (2021-06-20T14:41:06Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳(メタデータ) (2020-06-11T16:36:31Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z) - Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。
本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。
分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文 参考訳(メタデータ) (2020-02-04T23:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。