論文の概要: Optimal Bounds between $f$-Divergences and Integral Probability Metrics
- arxiv url: http://arxiv.org/abs/2006.05973v3
- Date: Sat, 5 Jun 2021 19:47:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 06:42:08.233595
- Title: Optimal Bounds between $f$-Divergences and Integral Probability Metrics
- Title（参考訳）: f$-divergences と積分確率計量の間の最適境界
- Authors: Rohit Agrawal, Thibaut Horel
- Abstract要約: 確率分布の類似性を定量化するために、$f$-divergencesとIntegral Probability Metricsが広く使われている。
両家系の関係を凸双対性の観点から体系的に研究する。
我々は、Hoeffdingの補題のような統一的な方法でよく知られた結果を回復しながら、新しい境界を得る。
- 参考スコア（独自算出の注目度）: 8.401473551081748
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The families of $f$-divergences (e.g. the Kullback-Leibler divergence) and
Integral Probability Metrics (e.g. total variation distance or maximum mean
discrepancies) are widely used to quantify the similarity between probability
distributions. In this work, we systematically study the relationship between
these two families from the perspective of convex duality. Starting from a
tight variational representation of the $f$-divergence, we derive a
generalization of the moment-generating function, which we show exactly
characterizes the best lower bound of the $f$-divergence as a function of a
given IPM. Using this characterization, we obtain new bounds while also
recovering in a unified manner well-known results, such as Hoeffding's lemma,
Pinsker's inequality and its extension to subgaussian functions, and the
Hammersley-Chapman-Robbins bound. This characterization also allows us to prove
new results on topological properties of the divergence which may be of
independent interest.
- Abstract（参考訳）: f$-divergences(例えば、kullback-leibler divergence)と積分確率メトリクス(例えば、全変動距離または最大平均偏差)の族は、確率分布間の類似性を定量するために広く使われている。
本研究では,これら2家族間の関係を凸双対性の観点から体系的に研究する。
例えば、$f$-divergence の厳密な変動表現から、モーメント生成関数の一般化を導出し、与えられた IPM の関数として$f$-divergence の最良の下界を正確に特徴づけることを示す。
この特性を用いて,hoeffdingの補題,pinskerの不等式,サブガウジアン関数への拡張,hammersley-chapman-robbins の結合など,統一的によく知られた結果を回復しながら,新たな境界を得る。
この特徴付けにより、独立な興味を持つかもしれない発散の位相的性質に関する新しい結果も証明できる。
関連論文リスト
- Statistical Inference of Optimal Allocations I: Regularities and their Implications [3.904240476752459]
まず、ソート作用素の一般性質の詳細な解析を通して、値関数のアダマール微分可能性(英語版)を導出する。
アダマール微分可能性の結果に基づいて、関数デルタ法を用いて値関数プロセスの特性を直接導出する方法を実証する。
論文 参考訳（メタデータ） (2024-03-27T04:39:13Z) - Divergences induced by dual subtractive and divisive normalizations of
exponential families and their convex deformations [7.070726553564701]
指数関数の確率密度間のスキュード・バタチャリヤ距離は累積関数によって誘導されるスキュード・ジェンセン発散量であることを示す。
次に、擬算術的手段の対に対する比較凸性は、凸函数とそれらの引数の両方を変形させることができることを示す。
論文 参考訳（メタデータ） (2023-12-20T08:59:05Z) - High-Probability Bounds for Stochastic Optimization and Variational
Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。
これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文 参考訳（メタデータ） (2023-02-02T10:37:23Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Function-space regularized R\'enyi divergences [6.221019624345409]
変分関数空間によってパラメトリズされた正則化 R'enyi divergences の新しい族を提案する。
これらの新しい発散のいくつかの性質を証明し、古典的な R'enyi 発散と IPM 間を補間していることを示す。
提案した正規化 R'enyi は、絶対連続でない分布を比較する能力など、IMM から特徴を継承することを示した。
論文 参考訳（メタデータ） (2022-10-10T19:18:04Z) - Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。
本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
論文 参考訳（メタデータ） (2022-08-29T16:16:22Z) - Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。
線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
論文 参考訳（メタデータ） (2022-04-20T21:15:38Z) - Generalization Bounds via Convex Analysis [12.411844611718958]
連関出力分布の強い凸関数によって相互情報を置き換えることが可能であることを示す。
例えば、$p$-normの発散とワッサーシュタイン2距離の項で表される境界がある。
論文 参考訳（メタデータ） (2022-02-10T12:30:45Z) - R\'enyi divergence inequalities via interpolation, with applications to
generalised entropic uncertainty relations [91.3755431537592]
量子R'enyiエントロピー量、特に'サンドウィッチ'の発散量について検討する。
我々は、R'enyi相互情報分解規則、R'enyi条件エントロピー三部類連鎖規則に対する新しいアプローチ、より一般的な二部類比較を示す。
論文 参考訳（メタデータ） (2021-06-19T04:06:23Z) - Federated Functional Gradient Boosting [75.06942944563572]
フェデレーション学習における機能最小化に関する研究
FFGB.C と FFGB.L は、特徴分布がより均一になるにつれて収束半径が 0 に縮まる。
論文 参考訳（メタデータ） (2021-03-11T21:49:19Z) - $(f,\Gamma)$-Divergences: Interpolating between $f$-Divergences and
Integral Probability Metrics [6.221019624345409]
我々は、$f$-divergences と積分確率メトリクス(IPMs)の両方を仮定する情報理論の分岐を構築するためのフレームワークを開発する。
2段階の質量再分配/物質輸送プロセスとして表現できることが示される。
統計的学習を例として,重み付き,絶対連続的なサンプル分布に対するGAN(generative adversarial network)の訓練において,その優位性を示す。
論文 参考訳（メタデータ） (2020-11-11T18:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。