Fugu-MT 論文翻訳(概要): Demystify Optimization and Generalization of Over-parameterized PAC-Bayesian Learning

論文の概要: Demystify Optimization and Generalization of Over-parameterized PAC-Bayesian Learning

arxiv url: http://arxiv.org/abs/2202.01958v1
Date: Fri, 4 Feb 2022 03:49:11 GMT
ステータス: 処理完了
システム内更新日: 2022-02-07 15:34:21.458625
Title: Demystify Optimization and Generalization of Over-parameterized PAC-Bayesian Learning
Title（参考訳）: 過パラメータPAC-ベイズ学習のデミスティフィズ最適化と一般化
Authors: Wei Huang, Chunrui Liu, Yilan Chen, Tianyu Liu, and Richard Yi Da Xu
Abstract要約: PAC-Bayesianは、後部分布における仮説の重み付け平均としてトレーニングエラーを表現できる分析フレームワークである。 PAC-Bayes学習を適用すると、収束結果がカーネルリッジ回帰の解に一致することを示す。我々はさらに、非確率的ニューラルネットワークに対するラデマッハ複雑性に基づくバウンダリを改良した、均一なPAC-ベイズ一般化バウンダリを特徴付ける。
参考スコア（独自算出の注目度）: 20.295960197612743
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: PAC-Bayesian is an analysis framework where the training error can be expressed as the weighted average of the hypotheses in the posterior distribution whilst incorporating the prior knowledge. In addition to being a pure generalization bound analysis tool, PAC-Bayesian bound can also be incorporated into an objective function to train a probabilistic neural network, making them a powerful and relevant framework that can numerically provide a tight generalization bound for supervised learning. For simplicity, we call probabilistic neural network learned using training objectives derived from PAC-Bayesian bounds as {\it PAC-Bayesian learning}. Despite their empirical success, the theoretical analysis of PAC-Bayesian learning for neural networks is rarely explored. This paper proposes a new class of convergence and generalization analysis for PAC-Bayes learning when it is used to train the over-parameterized neural networks by the gradient descent method. For a wide probabilistic neural network, we show that when PAC-Bayes learning is applied, the convergence result corresponds to solving a kernel ridge regression when the probabilistic neural tangent kernel (PNTK) is used as its kernel. Based on this finding, we further characterize the uniform PAC-Bayesian generalization bound which improves over the Rademacher complexity-based bound for non-probabilistic neural network. Finally, drawing the insight from our theoretical results, we propose a proxy measure for efficient hyperparameters selection, which is proven to be time-saving.
Abstract（参考訳）: PAC-Bayesianは、事前の知識を取り入れつつ、後部分布における仮説の重み付け平均としてトレーニングエラーを表現できる分析フレームワークである。純粋な一般化境界解析ツールであるだけでなく、PAC-Bayesian境界は確率的ニューラルネットワークをトレーニングする目的関数にも組み込むことができ、教師付き学習のための厳密な一般化境界を数値的に提供する強力な関連フレームワークとなる。簡単に言うと、我々はPAC-Bayesian境界から学習した確率論的ニューラルネットワークを {\it PAC-Bayesian Learning} と呼ぶ。実験的な成功にもかかわらず、ニューラルネットワークに対するPAC-ベイズ学習の理論解析はめったに行われない。本稿では,勾配勾配勾配法による過パラメータニューラルネットワークのトレーニングにPAC-Bayes学習を用いた新しい収束・一般化分析法を提案する。広範確率論的ニューラルネットワークでは、PAC-Bayes学習を適用すると、その収束結果は、確率論的ニューラルタンジェントカーネル(PNTK)をカーネルとして使用する場合のカーネルリッジ回帰の解に一致することを示す。この知見に基づき、ラデマッハ複雑性に基づく非確率ニューラルネットワークのバウンドよりも改善される一様pac-ベイズ一般化バウンドをさらに特徴付ける。最後に,我々の理論的結果から得られた知見を抽出し,効率的なハイパーパラメータ選択のためのプロキシ尺度を提案する。

関連論文リスト

Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文参考訳（メタデータ） (2022-11-14T08:51:04Z)
PAC-Bayesian Learning of Aggregated Binary Activated Neural Networks with Probabilities over Representations [2.047424180164312]
本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
論文参考訳（メタデータ） (2021-10-28T14:11:07Z)
Wide stochastic networks: Gaussian limit and PAC-Bayesian training [21.979820411421827]
極端に大きなネットワークは、訓練前後のガウス過程によって近似されることを示す。出力分布の明示的な評価は、境界を直接最適化するPAC-ベイズ訓練手順を可能にする。大規模だが有限幅のネットワークでは、このトレーニング手法が標準的なPAC-ベイジアン法より優れていることを実証的に示す。
論文参考訳（メタデータ） (2021-06-17T20:25:38Z)
Training Sparse Neural Network by Constraining Synaptic Weight on Unit Lp Sphere [2.429910016019183]
単位 Lp-球面上のシナプス重みを制約することにより、p で空間を柔軟に制御することができる。このアプローチは、幅広いドメインをカバーするベンチマークデータセットの実験によって検証されます。
論文参考訳（メタデータ） (2021-03-30T01:02:31Z)
Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文参考訳（メタデータ） (2021-03-09T14:51:34Z)
A General Framework for the Practical Disintegration of PAC-Bayesian Bounds [2.516393111664279]
我々は、分解された境界を与えるために原性を持つ新しいPAC-ベイズ一般化境界を導入する。我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。
論文参考訳（メタデータ） (2021-02-17T09:36:46Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文参考訳（メタデータ） (2020-07-11T18:19:50Z)
PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
論文参考訳（メタデータ） (2020-02-13T15:01:38Z)
Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。