論文の概要: Variational Representations and Neural Network Estimation of R\'enyi Divergences

• arxiv url: http://arxiv.org/abs/2007.03814v4
• Date: Tue, 20 Jul 2021 16:12:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 19:42:52.077617
• Title: Variational Representations and Neural Network Estimation of R\'enyi Divergences
• Title（参考訳）: R'enyi分枝の変分表現とニューラルネットワーク推定
• Authors: Jeremiah Birrell, Paul Dupuis, Markos A. Katsoulakis, Luc Rey-Bellet, Jie Wang
• Abstract要約: 確率測度 $Q$ と $P$ の間に R'enyi 族の発散式 $R_alpha(Q|P)$ を導出する。 この理論をニューラルネットワーク推定器に適用することにより、ニューラルネットワークファミリーが普遍近似特性の強化されたバージョンのうちの1つを満たすと、対応するR'enyi分散推定器が一貫したことを示す。
• 参考スコア（独自算出の注目度）: 4.2896536463351
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We derive a new variational formula for the R\'enyi family of divergences, $R_\alpha(Q\|P)$, between probability measures $Q$ and $P$. Our result generalizes the classical Donsker-Varadhan variational formula for the Kullback-Leibler divergence. We further show that this R\'enyi variational formula holds over a range of function spaces; this leads to a formula for the optimizer under very weak assumptions and is also key in our development of a consistency theory for R\'enyi divergence estimators. By applying this theory to neural-network estimators, we show that if a neural network family satisfies one of several strengthened versions of the universal approximation property then the corresponding R\'enyi divergence estimator is consistent. In contrast to density-estimator based methods, our estimators involve only expectations under $Q$ and $P$ and hence are more effective in high dimensional systems. We illustrate this via several numerical examples of neural network estimation in systems of up to 5000 dimensions.
• Abstract（参考訳）: 確率測度$Q$と$P$の間にR_\alpha(Q\|P)$という発散のR'enyi族に対する新しい変分式を導出する。 この結果は、Kulback-Leibler分散に対する古典的なドンスカー・バラダン変分式を一般化する。 さらに、この R'enyi 変分式は、函数空間の幅を超えて成り立つことを示し、これは非常に弱い仮定の下で最適化者の公式となり、R'enyi 変分推定器の整合理論の開発にも鍵となる。 この理論をニューラルネットワーク推定器に適用することにより、ニューラルネットワークファミリーが普遍近似特性のいくつかの強化バージョンのいずれかを満たすと、対応するr\'enyi divergence推定器が一致することを示す。 密度推定法とは対照的に、我々の推定値は q$ と $p$ 未満の期待しか含まないため、高次元システムではより効果的である。 最大5000次元のシステムにおけるニューラルネットワーク推定の数値的な例を通してこれを解説する。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Function-space regularized R\'enyi divergences [6.221019624345409]
  変分関数空間によってパラメトリズされた正則化 R'enyi divergences の新しい族を提案する。 これらの新しい発散のいくつかの性質を証明し、古典的な R'enyi 発散と IPM 間を補間していることを示す。 提案した正規化 R'enyi は、絶対連続でない分布を比較する能力など、IMM から特徴を継承することを示した。
  論文  参考訳（メタデータ） (2022-10-10T19:18:04Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Neural Estimation of Statistical Divergences [24.78742908726579]
  ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法 特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。 NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:42:44Z)
• Estimation of a regression function on a manifold by fully connected deep neural networks [6.058868817939519]
  ReLUアクティベーション関数を用いたディープニューラルネットワークの完全連結空間に基づく最小二乗推定の収束率を解析した。 予測変数の分布が多様体に集中している場合、これらの推定は多様体の次元に依存し、予測変数の成分数に依存しない収束率を達成する。
  論文  参考訳（メタデータ） (2021-07-20T14:43:59Z)
• A unified view of likelihood ratio and reparameterization gradients [91.4645013545015]
  我々は、LRとRPが確率質量の運動を追跡する代替方法であることを示すために、第一原理のアプローチを用いる。 LRとRPを組み合わせた全ての可能な推定器の空間は、流れ場によって完全にパラメータ化可能であることを示す。 したがって、より優れたモンテカルロ勾配推定器をどこに探すべきかを明確にする。
  論文  参考訳（メタデータ） (2021-05-31T11:53:08Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations [37.02511585732081]
  我々は,最近提案された連続深度ニューラルネットワークのファミリーにおいて,スケーラブルな近似推論を行う。 我々は勾配に基づく変分推論を示し、任意フレキシブルな近似後部を生成する。 このアプローチは、さらにメモリ効率の高いトレーニングとニューラルODEのチューナブルな精度を継承する。
  論文  参考訳（メタデータ） (2021-02-12T14:48:58Z)
• The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks [46.677567663908185]
  変分ベイズ推論は、ベイズニューラルネットワークの重み付けを近似する一般的な手法である。 最近の研究は、性能向上を期待して、近似後部のよりリッチなパラメータ化を探求している。 これらの変動パラメータを低ランク因子化に分解することにより、モデルの性能を低下させることなく変動近似をよりコンパクトにすることができる。
  論文  参考訳（メタデータ） (2020-02-07T07:33:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。