論文の概要: More PAC-Bayes bounds: From bounded losses, to losses with general tail behaviors, to anytime validity
- arxiv url: http://arxiv.org/abs/2306.12214v4
- Date: Tue, 4 Jun 2024 14:09:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 14:26:34.275798
- Title: More PAC-Bayes bounds: From bounded losses, to losses with general tail behaviors, to anytime validity
- Title（参考訳）: さらなるPAC-Bayes境界: 有界損失、一般的な尾動作による損失、任意の有効性
- Authors: Borja Rodríguez-Gálvez, Ragnar Thobaben, Mikael Skoglund,
- Abstract要約: 我々は、異なる種類の損失に対して、新しい高確率PAC-Bayes境界を提案する。
有界範囲の損失に対して、すべてのパラメータ値に対して一様に保持されるカトーニ境界の強化版を復元する。
より一般的な尾の挙動を持つ損失に対して、2つの新しいパラメータフリー境界を導入する。
- 参考スコア（独自算出の注目度）: 27.87324770020133
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present new high-probability PAC-Bayes bounds for different types of losses. Firstly, for losses with a bounded range, we recover a strengthened version of Catoni's bound that holds uniformly for all parameter values. This leads to new fast-rate and mixed-rate bounds that are interpretable and tighter than previous bounds in the literature. In particular, the fast-rate bound is equivalent to the Seeger--Langford bound. Secondly, for losses with more general tail behaviors, we introduce two new parameter-free bounds: a PAC-Bayes Chernoff analogue when the loss' cumulative generating function is bounded, and a bound when the loss' second moment is bounded. These two bounds are obtained using a new technique based on a discretization of the space of possible events for the ``in probability'' parameter optimization problem. This technique is both simpler and more general than previous approaches optimizing over a grid on the parameters' space. Finally, using a simple technique that is applicable to any existing bound, we extend all previous results to anytime-valid bounds.
- Abstract（参考訳）: 本稿では,異なる種類の損失に対して,新しい高確率PAC-Bayes境界を提案する。
まず、有界範囲の損失に対して、すべてのパラメータ値に対して一様に保持されるカトーニ境界の強化版を復元する。
これにより、文学における以前の境界よりも解釈可能で厳密な新しい高速・混合レート境界が導かれる。
特に、高速レート境界はシーガー-ラングフォード境界と同値である。
次に,損失の累積生成関数が有界なときのPAC-Bayes Chernoffアナログと,損失の第2モーメントが有界なときの有界という2つの新しいパラメータフリー境界を導入する。
これらの2つの境界は `in probability'' パラメータ最適化問題に対する事象の空間の離散化に基づく新しい手法を用いて得られる。
この手法は、パラメータの空間上の格子を最適化する従来の手法よりもシンプルでより一般的なものである。
最後に、既存の任意の境界に適用可能な単純な手法を用いて、すべての前の結果を任意の時値境界まで拡張する。
関連論文リスト
- A note on generalization bounds for losses with finite moments [28.102352176005514]
本論文は,有界分散を有する損失に対して高確率PAC-Bayesを導出する。
結果は、期待と単線PAC-Bayesの保証にまで拡張される。
論文 参考訳（メタデータ） (2024-03-25T12:15:55Z) - PAC-Bayes-Chernoff bounds for unbounded losses [9.987130158432755]
PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。
我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
論文 参考訳（メタデータ） (2024-01-02T10:58:54Z) - Closing the Gap Between the Upper Bound and the Lower Bound of Adam's
Iteration Complexity [51.96093077151991]
我々はAdamの新しい収束保証を導出し、$L$-smooth条件と有界雑音分散仮定のみを導出する。
本証明は,運動量と適応学習率の絡み合いを扱うために,新しい手法を利用する。
論文 参考訳（メタデータ） (2023-10-27T09:16:58Z) - Exactly Tight Information-Theoretic Generalization Error Bound for the
Quadratic Gaussian Problem [16.04977600068383]
我々は、厳密な情報理論の一般化誤差境界(すなわち、定数さえ一致する)を提供する。
既存の境界はこの設定で順序的に緩い。
その後、分解可能な損失関数に対して洗練された境界が提案され、ベクトル設定に対して厳密な境界が導かれる。
論文 参考訳（メタデータ） (2023-05-01T15:22:58Z) - STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。
我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
論文 参考訳（メタデータ） (2021-11-01T15:43:36Z) - Minimax Optimal Quantile and Semi-Adversarial Regret via
Root-Logarithmic Regularizers [31.102181563065844]
量子的(そしてより一般的には、KL)後悔は、最高の個人専門家と競争する目標を緩和し、敵対的なデータに関して、ほとんどの専門家と競争するだけである。
最近では、半対人パラダイム(Bilodeau、Negrea、Roy 2020)は、完全に対人的でも対人的でもないデータを考えることによって、対人的オンライン学習の代替緩和を提供する。
我々は、FTRLと別個のルート対数正規化器を併用したFTRLを用いて、両方のパラダイムにおいて最小限の後悔を達成し、どちらも正規Hedgeの変種と解釈できる。
論文 参考訳（メタデータ） (2021-10-27T22:38:52Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳（メタデータ） (2021-06-28T00:17:01Z) - Universal Online Convex Optimization Meets Second-order Bounds [74.0120666722487]
ユニバーサルオンライン凸最適化のための簡単な戦略を提案する。
主要なアイデアは、オリジナルのオンライン機能を処理するための専門家のセットを構築し、線形化された損失に対してメタアルゴリズムをデプロイすることである。
このようにして、私たちはブラックボックスの専門家として、既成のオンライン問題解決者をプラグインして、問題依存の後悔の限界を提供することができます。
論文 参考訳（メタデータ） (2021-05-08T11:43:49Z) - Tighter expected generalization error bounds via Wasserstein distance [23.52237892358981]
ワッサーシュタイン距離に基づくいくつかの予測一般化誤差境界を導入する。
標準設定とランダム化サブサンプル設定の両方に、フルデータセット、シングルレター、ランダムサブセット境界を示す。
異なる情報測度に基づく新しい境界が提示された境界からどのように導出されるかを示す。
論文 参考訳（メタデータ） (2021-01-22T20:13:59Z) - On Lower Bounds for Standard and Robust Gaussian Process Bandit
Optimization [55.937424268654645]
有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。
本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
論文 参考訳（メタデータ） (2020-08-20T03:48:14Z) - Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。
ラグランジアン分解に基づく新しい手法を提案する。
ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
論文 参考訳（メタデータ） (2020-02-24T17:55:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。