論文の概要: Fast approximations of the Jeffreys divergence between univariate
Gaussian mixture models via exponential polynomial densities
- arxiv url: http://arxiv.org/abs/2107.05901v1
- Date: Tue, 13 Jul 2021 07:58:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-14 14:29:11.579879
- Title: Fast approximations of the Jeffreys divergence between univariate
Gaussian mixture models via exponential polynomial densities
- Title（参考訳）: 指数多項式密度による不定値ガウス混合モデル間のジェフリーズ発散の高速近似
- Authors: Frank Nielsen
- Abstract要約: ジェフリーズ・ダイバージェンス(英: Jeffreys divergence)は、機械学習、信号処理、情報科学でよく用いられる統計学のクルバック・リブラーの有名な対称性である。
任意の成分数の2つのGMM間のジェフリーズ偏差を近似するために, 単純かつ高速な関数を提案する。
- 参考スコア（独自算出の注目度）: 16.069404547401373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Jeffreys divergence is a renown symmetrization of the statistical
Kullback-Leibler divergence which is often used in machine learning, signal
processing, and information sciences. Since the Jeffreys divergence between the
ubiquitous Gaussian Mixture Models are not available in closed-form, many
techniques with various pros and cons have been proposed in the literature to
either (i) estimate, (ii) approximate, or (iii) lower and upper bound this
divergence. In this work, we propose a simple yet fast heuristic to approximate
the Jeffreys divergence between two GMMs of arbitrary number of components. The
heuristic relies on converting GMMs into pairs of dually parameterized
probability densities belonging to exponential families. In particular, we
consider Polynomial Exponential Densities, and design a goodness-of-fit
criterion to measure the dissimilarity between a GMM and a PED which is a
generalization of the Hyv\"arinen divergence. This criterion allows one to
select the orders of the PEDs to approximate the GMMs. We demonstrate
experimentally that the computational time of our heuristic improves over the
stochastic Monte Carlo estimation baseline by several orders of magnitude while
approximating reasonably well the Jeffreys divergence, specially when the
univariate mixtures have a small number of modes.
- Abstract（参考訳）: ジェフリーズ偏差(英: Jeffreys divergence)は、機械学習、信号処理、情報科学でよく用いられる統計的なクルバック・リーブラー偏差の有名な対称性である。
ユビキタス・ガウス混合モデル間のジェフリーズ発散は閉形式では利用できないため、(i)推定、(ii)近似、(iii)この発散を下限と上限のいずれかに様々な長所と短所を持つ多くの手法が文献に提案されている。
本研究では,任意の成分の2つのGMM間のジェフリーズ偏差を近似する単純かつ高速なヒューリスティックを提案する。
ヒューリスティックはGMMを指数族に属する双対パラメータ化された確率密度のペアに変換することに頼っている。
特に,ポリノミアル指数密度を考察し,Hyv\"arinen分散の一般化であるGMMとPEDの相違性を測定するために,適合度基準を設計する。
この基準により、PEDの順序を選択してGMMを近似することができる。
実験により,確率的モンテカルロ推定基準値に対するヒューリスティックの計算時間は数桁の精度で改善され,ジェフリーズ偏差を適切に近似し,特に単変量混合が少数のモードを持つ場合について実験的に検証した。
関連論文リスト
- Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。
MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。
モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文 参考訳（メタデータ） (2023-08-29T15:01:01Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳（メタデータ） (2023-07-12T19:30:04Z) - Towards Convergence Rates for Parameter Estimation in Gaussian-gated
Mixture of Experts [40.24720443257405]
ガウスゲートMOEモデルにおける最大推定値(MLE)の収束解析を行う。
以上の結果から,MLEはガウスゲーティング関数の位置パラメータの2つの相補的な設定の下で異なる挙動を示すことが明らかとなった。
特に、これらの挙動は2つの異なる方程式系の可解性によって特徴づけられる。
論文 参考訳（メタデータ） (2023-05-12T16:02:19Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - On the Kullback-Leibler divergence between pairwise isotropic
Gaussian-Markov random fields [93.35534658875731]
2つの対の等方性ガウス-マルコフ確率場間のクルバック-リーブラ分散の式を導出する。
提案した方程式は、画像処理と機械学習の応用において、新しい類似度尺度の開発を可能にする。
論文 参考訳（メタデータ） (2022-03-24T16:37:24Z) - Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient
Methods [73.35353358543507]
SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。
本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。
本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
論文 参考訳（メタデータ） (2022-02-15T09:17:39Z) - Nonparametric mixture MLEs under Gaussian-smoothed optimal transport
distance [0.39373541926236766]
我々は、真のデータ生成分布を近似するために、非平滑なフレームワークの代わりにGOTフレームワークを適用する。
我々の分析における重要なステップは、ガウス畳み込みリプシッツ函数の新しいジャクソン型近似の確立である。
この洞察は、非パラメトリックMLEと新しいGOTフレームワークを分析する既存のテクニックを橋渡しする。
論文 参考訳（メタデータ） (2021-12-04T20:05:58Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳（メタデータ） (2021-06-10T18:17:57Z) - Learning Gaussian Mixtures with Generalised Linear Models: Precise
Asymptotics in High-dimensions [79.35722941720734]
多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。
実験的リスク最小化による高次元推定器の精度を実証する。
合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
論文 参考訳（メタデータ） (2021-06-07T16:53:56Z) - Likelihood Ratio Exponential Families [43.98796887171374]
幾何学的混合経路を指数関数分布の族として熱力学的変分対象(tvo)を分析する。
これらの可能性比指数ファミリーを拡張し、レート歪み(RD)最適化、情報ボトルネック(IB)方法、および最近のレート歪み分類アプローチの解決策を含む。
論文 参考訳（メタデータ） (2020-12-31T07:13:58Z) - A similarity-based Bayesian mixture-of-experts model [0.5156484100374058]
多変量回帰問題に対する新しい非パラメトリック混合実験モデルを提案する。
条件付きモデルを用いて、サンプル外入力の予測は、観測された各データポイントと類似性に基づいて行われる。
混合物のパラメータと距離測定値に基づいて後部推論を行う。
論文 参考訳（メタデータ） (2020-12-03T18:08:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。