論文の概要: Function-space regularized R\'enyi divergences

• arxiv url: http://arxiv.org/abs/2210.04974v1
• Date: Mon, 10 Oct 2022 19:18:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 14:27:19.377897
• Title: Function-space regularized R\'enyi divergences
• Title（参考訳）: 関数空間正規化 r\'enyi divergences
• Authors: Jeremiah Birrell, Yannis Pantazis, Paul Dupuis, Markos A. Katsoulakis, Luc Rey-Bellet
• Abstract要約: 変分関数空間によってパラメトリズされた正則化 R'enyi divergences の新しい族を提案する。 これらの新しい発散のいくつかの性質を証明し、古典的な R'enyi 発散と IPM 間を補間していることを示す。 提案した正規化 R'enyi は、絶対連続でない分布を比較する能力など、IMM から特徴を継承することを示した。
• 参考スコア（独自算出の注目度）: 6.221019624345409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new family of regularized R\'enyi divergences parametrized not only by the order $\alpha$ but also by a variational function space. These new objects are defined by taking the infimal convolution of the standard R\'enyi divergence with the integral probability metric (IPM) associated with the chosen function space. We derive a novel dual variational representation that can be used to construct numerically tractable divergence estimators. This representation avoids risk-sensitive terms and therefore exhibits lower variance, making it well-behaved when $\alpha>1$; this addresses a notable weakness of prior approaches. We prove several properties of these new divergences, showing that they interpolate between the classical R\'enyi divergences and IPMs. We also study the $\alpha\to\infty$ limit, which leads to a regularized worst-case-regret and a new variational representation in the classical case. Moreover, we show that the proposed regularized R\'enyi divergences inherit features from IPMs such as the ability to compare distributions that are not absolutely continuous, e.g., empirical measures and distributions with low-dimensional support. We present numerical results on both synthetic and real datasets, showing the utility of these new divergences in both estimation and GAN training applications; in particular, we demonstrate significantly reduced variance and improved training performance.
• Abstract（参考訳）: 正規化 r\'enyi divergences の新たな族は、$\alpha$ の順序だけでなく、変分関数空間によってもパラメトリゼーションされる。 これらの新しい対象は、選択された函数空間に付随する積分確率計量(IPM)と標準 R'enyi 分岐の不完全畳み込みをとることによって定義される。 本稿では, 数値的にトラクタブルな分散推定器を構築するのに使用できる新しい双対変分表現を導出する。 この表現はリスクに敏感な用語を回避し、従って低い分散を示すため、$\alpha>1$の場合にはよく理解される。 これらの新しい発散のいくつかの性質を証明し、古典的な R'enyi 発散と IPM との補間を示す。 また、$\alpha\to\infty$ limitも検討し、これは古典的な場合において、正規化された最悪のケース-regretと新しい変分表現をもたらす。 さらに,提案する正規化 r\'enyi の発散は,ipm から完全連続ではない分布,例えば経験的測度や低次元支援のある分布を比較できるような特徴を継承していることを示す。 本研究では,合成データと実データの両方について数値的な結果を示し,推定とgan訓練の両方において,これら新たな多様性の有用性を示し,特に分散の低減とトレーニング性能の向上を実証した。

関連論文リスト

• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Learning to Transfer with von Neumann Conditional Divergence [14.926485055255942]
  我々は、複数の領域間の転送可能性を改善するために、最近提案されたフォン・ノイマン条件分岐を導入する。 本研究では,これらの課題が同時に,あるいは逐次的に観察されることを前提として,新たな学習目標を設計する。 どちらのシナリオでも、新しいタスクの一般化誤差が小さく、(シーケンシャルな設定で)ソースタスクを忘れないという点で、最先端のメソッドに対して好ましい性能が得られる。
  論文  参考訳（メタデータ） (2021-08-07T22:18:23Z)
• R\'enyi divergence inequalities via interpolation, with applications to generalised entropic uncertainty relations [91.3755431537592]
  量子R'enyiエントロピー量、特に'サンドウィッチ'の発散量について検討する。 我々は、R'enyi相互情報分解規則、R'enyi条件エントロピー三部類連鎖規則に対する新しいアプローチ、より一般的な二部類比較を示す。
  論文  参考訳（メタデータ） (2021-06-19T04:06:23Z)
• A unified view of likelihood ratio and reparameterization gradients [91.4645013545015]
  我々は、LRとRPが確率質量の運動を追跡する代替方法であることを示すために、第一原理のアプローチを用いる。 LRとRPを組み合わせた全ての可能な推定器の空間は、流れ場によって完全にパラメータ化可能であることを示す。 したがって、より優れたモンテカルロ勾配推定器をどこに探すべきかを明確にする。
  論文  参考訳（メタデータ） (2021-05-31T11:53:08Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• $(f,\Gamma)$-Divergences: Interpolating between $f$-Divergences and Integral Probability Metrics [6.221019624345409]
  我々は、$f$-divergences と積分確率メトリクス(IPMs)の両方を仮定する情報理論の分岐を構築するためのフレームワークを開発する。 2段階の質量再分配/物質輸送プロセスとして表現できることが示される。 統計的学習を例として,重み付き,絶対連続的なサンプル分布に対するGAN(generative adversarial network)の訓練において,その優位性を示す。
  論文  参考訳（メタデータ） (2020-11-11T18:17:09Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Variational Representations and Neural Network Estimation of R\'enyi Divergences [4.2896536463351]
  確率測度 $Q$ と $P$ の間に R'enyi 族の発散式 $R_alpha(Q|P)$ を導出する。 この理論をニューラルネットワーク推定器に適用することにより、ニューラルネットワークファミリーが普遍近似特性の強化されたバージョンのうちの1つを満たすと、対応するR'enyi分散推定器が一貫したことを示す。
  論文  参考訳（メタデータ） (2020-07-07T22:34:30Z)
• Cumulant GAN [17.4556035872983]
  GAN(Generative Adversarial Networks)を学習するための新しい損失関数を提案する。 対応する最適化問題は R'enyi divergence minimization と同値であることを示す。 我々は,画像生成がWasserstein GANに対してより堅牢であることを実験的に実証した。
  論文  参考訳（メタデータ） (2020-06-11T17:23:02Z)
• Optimal Bounds between $f$-Divergences and Integral Probability Metrics [8.401473551081748]
  確率分布の類似性を定量化するために、$f$-divergencesとIntegral Probability Metricsが広く使われている。 両家系の関係を凸双対性の観点から体系的に研究する。 我々は、Hoeffdingの補題のような統一的な方法でよく知られた結果を回復しながら、新しい境界を得る。
  論文  参考訳（メタデータ） (2020-06-10T17:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。