論文の概要: The Representation Jensen-Shannon Divergence
- arxiv url: http://arxiv.org/abs/2305.16446v3
- Date: Mon, 2 Oct 2023 20:48:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 08:15:35.866630
- Title: The Representation Jensen-Shannon Divergence
- Title(参考訳): ジェンセン・シャノンの多様性の表現
- Authors: Jhoan K. Hoyos-Osorio, Santiago Posso-Murillo, Luis G. Sanchez-Giraldo
- Abstract要約: 統計分岐は確率分布の違いを定量化する。
本研究では,確率密度関数の推定を回避したJensen-Shannon発散にインスパイアされた発散を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Statistical divergences quantify the difference between probability
distributions, thereby allowing for multiple uses in machine-learning. However,
a fundamental challenge of these quantities is their estimation from empirical
samples since the underlying distributions of the data are usually unknown. In
this work, we propose a divergence inspired by the Jensen-Shannon divergence
which avoids the estimation of the probability density functions. Our approach
embeds the data in an reproducing kernel Hilbert space (RKHS) where we
associate data distributions with uncentered covariance operators in this
representation space. Therefore, we name this measure the representation
Jensen-Shannon divergence (RJSD). We provide an estimator from empirical
covariance matrices by explicitly mapping the data to an RKHS using Fourier
features. This estimator is flexible, scalable, differentiable, and suitable
for minibatch-based optimization problems. Additionally, we provide an
estimator based on kernel matrices without an explicit mapping to the RKHS. We
provide consistency convergence results for the proposed estimator. Moreover,
we demonstrate that this quantity is a lower bound on the Jensen-Shannon
divergence, leading to a variational approach to estimate it with theoretical
guarantees. We leverage the proposed divergence to train generative networks,
where our method mitigates mode collapse and encourages samples diversity.
Additionally, RJSD surpasses other state-of-the-art techniques in multiple
two-sample testing problems, demonstrating superior performance and reliability
in discriminating between distributions.
- Abstract(参考訳): 統計的分岐は確率分布の違いを定量化し、機械学習における複数の利用を可能にする。
しかしながら、これらの量の基本的な課題は、データの基礎となる分布が通常不明であるため、経験的なサンプルからの推定である。
本研究では,確率密度関数の推定を回避したJensen-Shannon分散にインスパイアされた分岐を提案する。
提案手法は、データ分布と非中心共分散演算子を関連付ける再生カーネルヒルベルト空間(RKHS)にデータを埋め込む。
したがって、この測度をJensen-Shannon divergence (RJSD) という。
フーリエ特徴量を用いてデータをRKHSに明示的にマッピングすることで,経験的共分散行列から推定する。
この推定器は柔軟で、スケーラブルで、微分可能で、ミニバッチベースの最適化問題に適している。
さらに、RKHSに明示的にマッピングすることなく、カーネル行列に基づく推定器を提供する。
提案する推定器の整合性収束結果を提供する。
さらに、この量はjensen-shannonの発散より低い値であることが証明され、理論的な保証により推定する変分的アプローチが導かれる。
本研究では,提案手法を用いて生成ネットワークの学習を行い,モードの崩壊を緩和し,サンプルの多様性を奨励する。
さらに、RJSDは、複数の2サンプルテスト問題において、他の最先端技術を超え、分散の識別において、優れたパフォーマンスと信頼性を示す。
関連論文リスト
- Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - Non-asymptotic Convergence of Discrete-time Diffusion Models: New
Approach and Improved Rate [54.596887384531236]
我々は離散時間拡散モデルの下で、分布のかなり大きなクラスに対する収束保証を確立する。
パラメータ依存を明示した分布の興味深いクラスに対して,結果の専門化を行う。
本稿では,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を桁違いに向上することを示す。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - Uncertainty Quantification via Stable Distribution Propagation [60.065272548502]
本稿では,ニューラルネットワークによる安定確率分布の伝播手法を提案する。
提案手法は局所線形化に基づいており,ReLU非線型性に対する全変動距離の近似値として最適であることを示す。
論文 参考訳(メタデータ) (2024-02-13T09:40:19Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Distributed Bayesian Estimation in Sensor Networks: Consensus on
Marginal Densities [15.038649101409804]
連続変数上の確率分布の関数空間において、確率的確率的アルゴリズムを導出する。
これらの結果を利用して、個々のエージェントが観測する変数のサブセットに制限された新しい分散推定器を得る。
これは、協調的なローカライゼーションやフェデレートドラーニングのような応用に関係しており、任意のエージェントで収集されたデータは、関心のあるすべての変数のサブセットに依存する。
論文 参考訳(メタデータ) (2023-12-02T21:10:06Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - The Representation Jensen-Reny\'i Divergence [0.0]
無限に分割可能なカーネルによって定義されるカーネルヒルベルト空間の再生における演算子に基づくデータ分布間の測度を導入する。
提案手法は,データに基づく確率分布の推定を回避している。
論文 参考訳(メタデータ) (2021-12-02T19:51:52Z) - Non-Asymptotic Performance Guarantees for Neural Estimation of
$\mathsf{f}$-Divergences [22.496696555768846]
統計的距離は確率分布の相似性を定量化する。
このようなデータからの距離を推定する現代的な方法は、ニューラルネットワーク(NN)による変動形態のパラメータ化と最適化に依存する。
本稿では,このトレードオフを非漸近誤差境界を用いて検討し,SDの3つの一般的な選択に焦点をあてる。
論文 参考訳(メタデータ) (2021-03-11T19:47:30Z) - A Convenient Infinite Dimensional Framework for Generative Adversarial
Learning [4.396860522241306]
生成的対角学習のための無限次元理論的枠組みを提案する。
本フレームワークでは, 逆学習手順から生成元が誘導する分布とデータ生成分布とのJensen-Shannon分散が0に収束する。
論文 参考訳(メタデータ) (2020-11-24T13:45:17Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。