論文の概要: $(f,\Gamma)$-Divergences: Interpolating between $f$-Divergences and
Integral Probability Metrics
- arxiv url: http://arxiv.org/abs/2011.05953v3
- Date: Wed, 15 Sep 2021 14:25:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-26 23:23:40.815927
- Title: $(f,\Gamma)$-Divergences: Interpolating between $f$-Divergences and
Integral Probability Metrics
- Title（参考訳）: $(f,\Gamma)$-Divergences:$f$-Divergencesと積分確率メトリクスの補間
- Authors: Jeremiah Birrell, Paul Dupuis, Markos A. Katsoulakis, Yannis Pantazis,
Luc Rey-Bellet
- Abstract要約: 我々は、$f$-divergences と積分確率メトリクス(IPMs)の両方を仮定する情報理論の分岐を構築するためのフレームワークを開発する。
2段階の質量再分配/物質輸送プロセスとして表現できることが示される。
統計的学習を例として,重み付き,絶対連続的なサンプル分布に対するGAN(generative adversarial network)の訓練において,その優位性を示す。
- 参考スコア（独自算出の注目度）: 6.221019624345409
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a rigorous and general framework for constructing
information-theoretic divergences that subsume both $f$-divergences and
integral probability metrics (IPMs), such as the $1$-Wasserstein distance. We
prove under which assumptions these divergences, hereafter referred to as
$(f,\Gamma)$-divergences, provide a notion of `distance' between probability
measures and show that they can be expressed as a two-stage
mass-redistribution/mass-transport process. The $(f,\Gamma)$-divergences
inherit features from IPMs, such as the ability to compare distributions which
are not absolutely continuous, as well as from $f$-divergences, namely the
strict concavity of their variational representations and the ability to
control heavy-tailed distributions for particular choices of $f$. When
combined, these features establish a divergence with improved properties for
estimation, statistical learning, and uncertainty quantification applications.
Using statistical learning as an example, we demonstrate their advantage in
training generative adversarial networks (GANs) for heavy-tailed,
not-absolutely continuous sample distributions. We also show improved
performance and stability over gradient-penalized Wasserstein GAN in image
generation.
- Abstract（参考訳）: 我々は、$f$-divergencesと$$$-Wasserstein距離などの積分確率指標(IPMs)の両方を仮定する情報理論の分岐を構築するための厳密で一般的なフレームワークを開発する。
以下に示すのが$(f,\Gamma)$-divergences という仮定で、確率測度間の '距離' の概念を示し、2段階の質量再分配/質量移動過程として表せることを示す。
$(f,\Gamma)$-divergencesは、絶対連続ではない分布を比較できる機能や、$f$-divergences、すなわち、変動表現の厳密な凹凸性、および$f$の特定の選択に対する重み付き分布を制御する機能など、IMMから機能を継承する。
これらの特徴が組み合わされると、推定、統計学習、不確実性定量化のための改良された特性を持つ分岐が確立される。
統計的学習を例に,重み付き非絶対連続サンプル分布に対する生成逆ネットワーク(gans)の訓練において,その利点を示す。
また,画像生成における勾配ペナル化ワッサースタインGANの性能と安定性も向上した。
関連論文リスト
- Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。
我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文 参考訳（メタデータ） (2024-08-25T10:28:31Z) - Robust Generative Learning with Lipschitz-Regularized $α$-Divergences Allows Minimal Assumptions on Target Distributions [12.19634962193403]
本稿では,Lipschitz-regularized $alpha$-divergencesの生成モデルにおける目的関数としてのロバスト性を示す。
GANや勾配流などの生成モデルの安定な訓練に不可欠な変分微分の存在と有限性を証明する。
数値実験により、Lipschitz-regularized $alpha$-divergencesを利用した生成モデルは、様々な困難なシナリオで安定して分布を学習できることが確認された。
論文 参考訳（メタデータ） (2024-05-22T19:58:13Z) - Gaussian-Smoothed Sliced Probability Divergences [15.123608776470077]
滑らか化とスライシングが計量特性と弱位相を保存することを示す。
また、滑らかなパラメータに関して異なる発散の連続性を含む他の性質も導出する。
論文 参考訳（メタデータ） (2024-04-04T07:55:46Z) - Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳（メタデータ） (2024-03-03T23:15:48Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Ensemble Multi-Quantiles: Adaptively Flexible Distribution Prediction
for Uncertainty Quantification [4.728311759896569]
本稿では,機械学習における不確実性を定量化するために,分布予測の新しい,簡潔かつ効果的な手法を提案する。
これは回帰タスクにおいて$mathbbP(mathbfy|mathbfX=x)$の適応的に柔軟な分布予測を組み込む。
UCIデータセットからの大規模な回帰タスクでは、EMQが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2022-11-26T11:45:32Z) - Function-space regularized R\'enyi divergences [6.221019624345409]
変分関数空間によってパラメトリズされた正則化 R'enyi divergences の新しい族を提案する。
これらの新しい発散のいくつかの性質を証明し、古典的な R'enyi 発散と IPM 間を補間していることを示す。
提案した正規化 R'enyi は、絶対連続でない分布を比較する能力など、IMM から特徴を継承することを示した。
論文 参考訳（メタデータ） (2022-10-10T19:18:04Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳（メタデータ） (2021-12-07T01:23:20Z) - GFlowNet Foundations [66.69854262276391]
Generative Flow Networks (GFlowNets) は、多様な候補をアクティブな学習コンテキストでサンプリングする方法として導入された。
GFlowNetのさらなる理論的性質について述べる。
論文 参考訳（メタデータ） (2021-11-17T17:59:54Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳（メタデータ） (2020-07-13T02:52:18Z) - Optimal Bounds between $f$-Divergences and Integral Probability Metrics [8.401473551081748]
確率分布の類似性を定量化するために、$f$-divergencesとIntegral Probability Metricsが広く使われている。
両家系の関係を凸双対性の観点から体系的に研究する。
我々は、Hoeffdingの補題のような統一的な方法でよく知られた結果を回復しながら、新しい境界を得る。
論文 参考訳（メタデータ） (2020-06-10T17:39:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。