論文の概要: Auto-tune: PAC-Bayes Optimization over Prior and Posterior for Neural Networks

• arxiv url: http://arxiv.org/abs/2305.19243v1
• Date: Tue, 30 May 2023 17:31:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 14:36:29.315049
• Title: Auto-tune: PAC-Bayes Optimization over Prior and Posterior for Neural Networks
• Title（参考訳）: Auto-Tune: ニューラルネットワークの事前および後処理に対するPAC-Bayes最適化
• Authors: Xitong Zhang, Avrajit Ghosh, Guangliang Liu and Rongrong Wang
• Abstract要約: PAC-Bayesトレーニングフレームワークはほぼチューニング不要で、追加の正規化を必要としない。 提案アルゴリズムは、深層ニューラルネットワークにおける最先端性能を達成するためのPACトレーニングの顕著な可能性を実証する。
• 参考スコア（独自算出の注目度）: 9.908229602946388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is widely recognized that the generalization ability of neural networks can be greatly enhanced through carefully designing the training procedure. The current state-of-the-art training approach involves utilizing stochastic gradient descent (SGD) or Adam optimization algorithms along with a combination of additional regularization techniques such as weight decay, dropout, or noise injection. Optimal generalization can only be achieved by tuning a multitude of hyperparameters through grid search, which can be time-consuming and necessitates additional validation datasets. To address this issue, we introduce a practical PAC-Bayes training framework that is nearly tuning-free and requires no additional regularization while achieving comparable testing performance to that of SGD/Adam after a complete grid search and with extra regularizations. Our proposed algorithm demonstrates the remarkable potential of PAC training to achieve state-of-the-art performance on deep neural networks with enhanced robustness and interpretability.
• Abstract（参考訳）: トレーニング手順を慎重に設計することにより,ニューラルネットワークの一般化能力が大幅に向上することが広く認識されている。 現在の最先端のトレーニングアプローチでは、確率勾配降下(SGD)またはアダム最適化アルゴリズムと、重み付け減衰、ドロップアウト、ノイズ注入といった追加の正規化手法を組み合わせる。 最適な一般化は、グリッド検索を通じて多数のハイパーパラメータをチューニングすることによってのみ達成できる。 そこで本研究では,完全グリッド探索と余分な正規化により,sgd/adamと同等のテスト性能を実現すると同時に,ほぼチューニングフリーで追加の正規化を必要としない,実用的なpac-bayesトレーニングフレームワークを提案する。 提案アルゴリズムは,高ロバスト性と解釈性を有するディープニューラルネットワーク上での最先端性能を実現するためのPACトレーニングの可能性を示す。

関連論文リスト

• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• PAC-tuning:Fine-tuning Pretrained Language Models with PAC-driven Perturbed Gradient Descent [11.866227238721939]
  本稿では,この最適化課題に対処する2段階ファインチューニング手法であるPACチューニングを提案する。 PACチューニングは、適切なパラメータ分布を学習するために、PAC-Bayes境界を直接最小化する。 第2に、PACチューニングは、トレーニング中にモデルパラメータに学習したノイズを注入することで勾配を調整し、摂動降下の変異をもたらす。
  論文  参考訳（メタデータ） (2023-10-26T17:09:13Z)
• Provably Efficient UCB-type Algorithms For Learning Predictive State Representations [55.00359893021461]
  逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である 本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。 PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
  論文  参考訳（メタデータ） (2023-07-01T18:35:21Z)
• Improving Robust Generalization by Direct PAC-Bayesian Bound Minimization [27.31806334022094]
  最近の研究では、敵の攻撃に対して訓練されたモデルが、テストセットよりも高い堅牢性を示すという、オーバーフィッティングのような現象が示されている。 本稿では、ロバストなPAC-ベイジアン境界の異なる形式を考察し、モデル後部に関して直接最小化する。 我々は、視覚変換器(ViT)を用いたCIFAR-10/100とImageNetに対するTrH正規化手法を評価し、ベースライン対向ロバスト性アルゴリズムと比較した。
  論文  参考訳（メタデータ） (2022-11-22T23:12:00Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• A Provably Efficient Model-Free Posterior Sampling Method for Episodic Reinforcement Learning [50.910152564914405]
  強化学習のための既存の後方サンプリング手法は、モデルベースであるか、線形MDPを超える最悪の理論的保証がないかによって制限される。 本稿では,理論的保証を伴うより一般的な補足的強化学習問題に適用可能な,後部サンプリングのモデルフリーな新しい定式化を提案する。
  論文  参考訳（メタデータ） (2022-08-23T12:21:01Z)
• Conditional Gaussian PAC-Bayes [19.556744028461004]
  本稿では,サロゲート損失に頼らずにPAC-ベイズ境界を最適化する新しいトレーニングアルゴリズムを提案する。 実験結果から,本手法で得られた境界は文献より厳密であることが示唆された。
  論文  参考訳（メタデータ） (2021-10-22T16:12:03Z)
• PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior [36.38937352131301]
  PAC-Bayes相対エントロピー境界に基づくメタラーニングのための3つの新しい一般化誤差境界を導出する。 メタラーニングのための提案された3つのPAC-Bayes境界は、競合する一般化性能を保証する。
  論文  参考訳（メタデータ） (2021-02-07T09:03:43Z)
• PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
  PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。 我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
  論文  参考訳（メタデータ） (2020-02-13T15:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。