Fugu-MT 論文翻訳(概要): PAC-Bayes-Chernoff bounds for unbounded losses

論文の概要: PAC-Bayes-Chernoff bounds for unbounded losses

arxiv url: http://arxiv.org/abs/2401.01148v1
Date: Tue, 2 Jan 2024 10:58:54 GMT
ステータス: 処理完了
システム内更新日: 2024-01-03 14:10:42.557699
Title: PAC-Bayes-Chernoff bounds for unbounded losses
Title（参考訳）: 非有界損失に対するPAC-Bayes-Chernoff境界
Authors: Ioar Casado, Luis A. Ortega, Andr\'es R. Masegosa and Aritz P\'erez
Abstract要約: 非有界損失に対する新しい高確率PAC-Bayes有界オラクルを提案する。この結果はチャーノフ境界のPAC-ベイズ版として理解することができる。
参考スコア（独自算出の注目度）: 1.9799527196428246
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We present a new high-probability PAC-Bayes oracle bound for unbounded losses. This result can be understood as a PAC-Bayes version of the Chernoff bound. The proof technique relies on uniformly bounding the tail of certain random variable based on the Cram\'er transform of the loss. We highlight two applications of our main result. First, we show that our bound solves the open problem of optimizing the free parameter on many PAC-Bayes bounds. Finally, we show that our approach allows working with flexible assumptions on the loss function, resulting in novel bounds that generalize previous ones and can be minimized to obtain Gibbs-like posteriors.
Abstract（参考訳）: 非有界損失に対する新しい高確率PAC-Bayesオラクルを提案する。この結果はチャーノフ境界のPAC-ベイズ版として理解することができる。証明手法は、損失のCram\'er変換に基づいて、ある確率変数のテールを均一に有界化することに依存する。主な結果の2つの応用を強調する。まず、多くのPAC-Bayes境界上の自由パラメータを最適化するオープンな問題を解くことを示す。最後に,本手法では損失関数を柔軟に仮定することで,従来手法を一般化し,ギブス状後肢を最小化できる新たな境界が実現可能であることを示す。

関連論文リスト

Tighter Generalisation Bounds via Interpolation [16.74864438507713]
本稿では、$(f, Gamma)$-divergenceに基づいて、新しいPAC-Bayes一般化境界を導出するレシピを提案する。また、PAC-Bayes一般化バウンダリでは、一連の確率発散を補間する。
論文参考訳（メタデータ） (2024-02-07T18:55:22Z)
More PAC-Bayes bounds: From bounded losses, to losses with general tail behaviors, to anytime validity [27.87324770020133]
我々は、異なる種類の損失に対して、新しい高確率PAC-Bayes境界を提案する。有界範囲の損失に対して、すべてのパラメータ値に対して一様に保持されるカトーニ境界の強化版を復元する。より一般的な尾の挙動を持つ損失に対して、2つの新しいパラメータフリー境界を導入する。
論文参考訳（メタデータ） (2023-06-21T12:13:46Z)
A unified recipe for deriving (time-uniform) PAC-Bayes bounds [31.921092049934654]
PAC-ベイジアン一般化境界を導出するための統一的枠組みを提案する。私たちの境界は任意の時効値(すなわち、時間ユニフォーム)であり、すべての停止時間を保持することを意味する。
論文参考訳（メタデータ） (2023-02-07T12:11:59Z)
On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文参考訳（メタデータ） (2022-10-12T12:49:20Z)
Bayesian decision-making under misspecified priors with applications to meta-learning [64.38020203019013]
トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。性能は不特定な事前条件で優雅に低下することを示す。
論文参考訳（メタデータ） (2021-07-03T23:17:26Z)
Tighter expected generalization error bounds via Wasserstein distance [23.52237892358981]
ワッサーシュタイン距離に基づくいくつかの予測一般化誤差境界を導入する。標準設定とランダム化サブサンプル設定の両方に、フルデータセット、シングルレター、ランダムサブセット境界を示す。異なる情報測度に基づく新しい境界が提示された境界からどのように導出されるかを示す。
論文参考訳（メタデータ） (2021-01-22T20:13:59Z)
On Lower Bounds for Standard and Robust Gaussian Process Bandit Optimization [55.937424268654645]
有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
論文参考訳（メタデータ） (2020-08-20T03:48:14Z)
Relative Deviation Margin Bounds [55.22251993239944]
我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
論文参考訳（メタデータ） (2020-06-26T12:37:17Z)
Free Energy Wells and Overlap Gap Property in Sparse PCA [81.64027805404483]
我々は「ハード」体制におけるスパースPCA問題(主成分分析)の変種について検討する。問題に自然に関連付けられた様々なギブズ測度に対する自由エネルギー井戸の深さの有界性を示す。我々は、オーバーラップギャップ特性(OGP)がハードレジームの重要な部分を占めていることを証明した。
論文参考訳（メタデータ） (2020-06-18T17:18:02Z)
PAC-Bayes unleashed: generalisation bounds with unbounded losses [12.078257783674923]
非有界損失関数を持つ学習問題に対する新しいPAC-Bayesian一般化法を提案する。これにより、PAC-Bayes学習フレームワークの妥当性と適用性が拡張される。
論文参考訳（メタデータ） (2020-06-12T15:55:46Z)
Lower bounds in multiple testing: A framework based on derandomized proxies [107.69746750639584]
本稿では, 各種コンクリートモデルへの適用例を示す, デランドマイズに基づく分析戦略を提案する。これらの下界のいくつかを数値シミュレーションし、Benjamini-Hochberg (BH) アルゴリズムの実際の性能と密接な関係を示す。
論文参考訳（メタデータ） (2020-05-07T19:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。