Fugu-MT 論文翻訳(概要): A General Framework for the Practical Disintegration of PAC-Bayesian Bounds

論文の概要: A General Framework for the Practical Disintegration of PAC-Bayesian Bounds

arxiv url: http://arxiv.org/abs/2102.08649v3
Date: Mon, 18 Sep 2023 09:02:40 GMT
ステータス: 処理完了
システム内更新日: 2023-09-22 02:56:43.447373
Title: A General Framework for the Practical Disintegration of PAC-Bayesian Bounds
Title（参考訳）: PAC-Bayesian境界の実用的崩壊のための一般的な枠組み
Authors: Paul Viallard (SIERRA), Pascal Germain, Amaury Habrard (LHC), Emilie Morvant (LHC)
Abstract要約: 我々は、分解された境界を与えるために原性を持つ新しいPAC-ベイズ一般化境界を導入する。我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。
参考スコア（独自算出の注目度）: 2.516393111664279
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: PAC-Bayesian bounds are known to be tight and informative when studying the generalization ability of randomized classifiers. However, they require a loose and costly derandomization step when applied to some families of deterministic models such as neural networks. As an alternative to this step, we introduce new PAC-Bayesian generalization bounds that have the originality to provide disintegrated bounds, i.e., they give guarantees over one single hypothesis instead of the usual averaged analysis. Our bounds are easily optimizable and can be used to design learning algorithms. We illustrate this behavior on neural networks, and we show a significant practical improvement over the state-of-the-art framework.
Abstract（参考訳）: PAC-ベイズ境界は、ランダム化分類器の一般化能力を研究する際に、厳密で情報的であることが知られている。しかし、ニューラルネットワークのような決定論的モデルに適用される場合、それらはゆるくコストのかかる非ランダム化ステップを必要とする。このステップの代替として、分解された境界を与えるオリジナル性を持つ新しいPAC-ベイジアン一般化境界を導入する。我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。この動作をニューラルネットワークで説明し,最先端のフレームワークに対する実用的改善を示す。

関連論文リスト

Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation [4.239829789304117]
最適学習の設定にはPAC-ベイズ理論を用いる。証明可能な一般化保証付き最適化アルゴリズムを学習する最初のフレームワークを提示する。学習アルゴリズムは、(決定論的)最悪のケース分析から得られた関連アルゴリズムを確実に上回ります。
論文参考訳（メタデータ） (2024-04-04T08:24:57Z)
Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文参考訳（メタデータ） (2024-01-17T09:01:29Z)
Provably Efficient UCB-type Algorithms For Learning Predictive State Representations [55.00359893021461]
逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。 PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
論文参考訳（メタデータ） (2023-07-01T18:35:21Z)
PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization [48.26492774959634]
線形部分空間におけるニューラルネットワークパラメータの量子化に基づく圧縮手法を開発した。我々は、オッカムのカミソリをカプセル化した大きなモデルを、以前に知られていたよりもはるかに大きな範囲に圧縮できることを発見した。
論文参考訳（メタデータ） (2022-11-24T13:50:16Z)
Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文参考訳（メタデータ） (2022-11-14T08:51:04Z)
PAC-Bayesian Learning of Optimization Algorithms [6.624726878647541]
PAC-Bayes理論を学習最適化の設定に適用する。証明可能な一般化保証(PAC-bounds)と高収束確率と高収束速度との間の明示的なトレードオフを持つ最適化アルゴリズムを学習する。この結果は指数族に基づく一般の非有界損失関数に対してPAC-Bayes境界に依存する。
論文参考訳（メタデータ） (2022-10-20T09:16:36Z)
PAC-Bayesian Domain Adaptation Bounds for Multiclass Learners [13.33450619901885]
マルチクラス学習者を対象とした最初のPAC-Bayesian適応境界を提案する。 Gibbs予測器に依存する発散に対して、追加のPAC-ベイズ適応境界を提案する。我々はニューラルネットワークを用いた共通適応アルゴリズムの解析に境界を適用した。
論文参考訳（メタデータ） (2022-07-12T17:07:59Z)
On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文参考訳（メタデータ） (2022-07-01T17:58:29Z)
Demystify Optimization and Generalization of Over-parameterized PAC-Bayesian Learning [20.295960197612743]
PAC-Bayesianは、後部分布における仮説の重み付け平均としてトレーニングエラーを表現できる分析フレームワークである。 PAC-Bayes学習を適用すると、収束結果がカーネルリッジ回帰の解に一致することを示す。我々はさらに、非確率的ニューラルネットワークに対するラデマッハ複雑性に基づくバウンダリを改良した、均一なPAC-ベイズ一般化バウンダリを特徴付ける。
論文参考訳（メタデータ） (2022-02-04T03:49:11Z)
Wide stochastic networks: Gaussian limit and PAC-Bayesian training [21.979820411421827]
極端に大きなネットワークは、訓練前後のガウス過程によって近似されることを示す。出力分布の明示的な評価は、境界を直接最適化するPAC-ベイズ訓練手順を可能にする。大規模だが有限幅のネットワークでは、このトレーニング手法が標準的なPAC-ベイジアン法より優れていることを実証的に示す。
論文参考訳（メタデータ） (2021-06-17T20:25:38Z)
PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
論文参考訳（メタデータ） (2020-02-13T15:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。