論文の概要: On change of measure inequalities for $f$-divergences
- arxiv url: http://arxiv.org/abs/2202.05568v1
- Date: Fri, 11 Feb 2022 11:53:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-14 15:18:50.601728
- Title: On change of measure inequalities for $f$-divergences
- Title(参考訳): $f$-divergences の測度不等式の変化について
- Authors: Antoine Picard-Weibel and Benjamin Guedj
- Abstract要約: 戦略は、$f$-divergencesのルジャンドル変換とヤング・フェンシェルの不等式を組み合わせることに依存する。
我々は、$f$-divergencesを含む複雑さを伴う新しいPAC-Bayesian一般化を導出する。
最も人気のある$f$-divergencesに対して、結果をインスタンス化する。
- 参考スコア(独自算出の注目度): 5.799808780731661
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose new change of measure inequalities based on $f$-divergences (of
which the Kullback-Leibler divergence is a particular case). Our strategy
relies on combining the Legendre transform of $f$-divergences and the
Young-Fenchel inequality. By exploiting these new change of measure
inequalities, we derive new PAC-Bayesian generalisation bounds with a
complexity involving $f$-divergences, and holding in mostly unchartered
settings (such as heavy-tailed losses). We instantiate our results for the most
popular $f$-divergences.
- Abstract(参考訳): 我々は、$f$-divergences(Kulback-Leiblerの発散が特別な場合)に基づく測度不等式の新しい変更を提案する。
我々の戦略は、$f$-divergences のルジャンドル変換とヤング・フェンシェルの不等式を組み合わせたものである。
これらの新しい測度不等式の変化を利用して、新しいPAC-ベイジアン一般化は、$f$-divergencesを含む複雑さを伴い、ほとんどチャーターされていない設定(重み付き損失など)を保持する。
私たちは最も人気のある$f$-divergencesのために結果をインスタンス化する。
関連論文リスト
- Variance-Dependent Regret Bounds for Non-stationary Linear Bandits [52.872628573907434]
報酬分布の分散と$B_K$の分散を利用するアルゴリズムを提案する。
Restarted Weighted$textOFUL+$とRestarted$textSAVE+$の2つの新しいアルゴリズムを紹介します。
特に、V_K$が$K$よりはるかに小さい場合、我々のアルゴリズムは、異なる設定下での非定常線形バンドレットの最先端結果よりも優れている。
論文 参考訳(メタデータ) (2024-03-15T23:36:55Z) - Quantum Rényi and $f$-divergences from integral representations [11.74020933567308]
Smooth Csisz'ar $f$-divergences はいわゆるホッケースティックの発散に対する積分として表すことができる。
R'enyi の発散は、新しい量子 $f$-divergences によって定義されるが、一般には加法ではない。
差分プライバシーにおけるアプリケーションに対する新しい逆ピンスカー不等式を含む、さまざまな不等式を導出する。
論文 参考訳(メタデータ) (2023-06-21T15:39:38Z) - Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文 参考訳(メタデータ) (2023-02-27T16:34:21Z) - A Primal-Dual Approach to Solving Variational Inequalities with General Constraints [54.62996442406718]
Yang et al. (2023) は最近、一般的な変分不等式を解決するために一階勾配法を使う方法を示した。
この方法の収束性を証明し、演算子が$L$-Lipschitz と monotone である場合、この手法の最後の繰り返しのギャップ関数が$O(frac1sqrtK)$で減少することを示す。
論文 参考訳(メタデータ) (2022-10-27T17:59:09Z) - Benefits of Permutation-Equivariance in Auction Mechanisms [90.42990121652956]
競売人の収益を最大化しつつ、競売人の過去の後悔を最小限にする競売メカニズムは、経済学において重要であるが複雑な問題である。
ニューラルネットワークによる最適なオークションメカニズムの学習を通じて、注目すべき進歩が達成されている。
論文 参考訳(メタデータ) (2022-10-11T16:13:25Z) - Function-space regularized R\'enyi divergences [6.221019624345409]
変分関数空間によってパラメトリズされた正則化 R'enyi divergences の新しい族を提案する。
これらの新しい発散のいくつかの性質を証明し、古典的な R'enyi 発散と IPM 間を補間していることを示す。
提案した正規化 R'enyi は、絶対連続でない分布を比較する能力など、IMM から特徴を継承することを示した。
論文 参考訳(メタデータ) (2022-10-10T19:18:04Z) - Split-kl and PAC-Bayes-split-kl Inequalities [15.63537071742102]
我々は、klの不等式と低分散を活用できる能力を組み合わせた分割kl不等式(split-kl inequality)と呼ぶ。
ベルヌーイ確率変数の場合、kl不等式は経験的ベルンシュタインよりも厳密であり、経験的ベルンシュタイン不等式は kl よりも厳密である。
余剰損失の有界化に対する分割-kl不等式の適用について論じる。
論文 参考訳(メタデータ) (2022-06-01T18:42:02Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳(メタデータ) (2021-12-07T01:23:20Z) - Linear Contextual Bandits with Adversarial Corruptions [91.38793800392108]
本稿では,敵対的腐敗の存在下での線形文脈的包帯問題について検討する。
逆汚染レベルに適応する分散認識アルゴリズムをC$で提案する。
論文 参考訳(メタデータ) (2021-10-25T02:53:24Z) - Moreau-Yosida $f$-divergences [0.0]
$f$-divergencesの変分表現は多くの機械学習アルゴリズムの中心である。
コンパクト計量空間上の確率測度の場合、$f$-divergencesのいわゆるタイトな変動表現を一般化する。
我々は、Kullback-Leibler, reverse Kullback-Leibler, $chi2$, reverse $chi2$, squared Hellinger, Jensen-Shannon, Jeffreys, triangular discrimination and total variation divergencesの変分式の実装を提供する。
論文 参考訳(メタデータ) (2021-02-26T11:46:10Z) - Novel Change of Measure Inequalities with Applications to PAC-Bayesian
Bounds and Monte Carlo Estimation [29.919144859026016]
我々は、$f$-divergencesの変動表現が、測度の不等式を新しく変化させることを示す。
また、$alpha$-divergencesに対する測度不等式の乗法的変化と、Hammersley-Chapman-Robbinsの不等式の一般化版を示す。
論文 参考訳(メタデータ) (2020-02-25T05:36:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。