論文の概要: Theoretical Error Analysis of Entropy Approximation for Gaussian Mixture

• arxiv url: http://arxiv.org/abs/2202.13059v4
• Date: Tue, 6 Feb 2024 14:11:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 21:41:26.482912
• Title: Theoretical Error Analysis of Entropy Approximation for Gaussian Mixture
• Title（参考訳）: ガウス混合系のエントロピー近似の理論的誤差解析
• Authors: Takashi Furuya, Hiroyuki Kusumoto, Koichi Taniguchi, Naoya Kanno, Kazuma Suetake
• Abstract要約: 本稿では,真のエントロピーと近似値との近似誤差を分析し,この近似が有効に動作するかどうかを明らかにする。 我々の結果は、この近似が高次元問題でうまく機能することを保証している。
• 参考スコア（独自算出の注目度）: 0.7499722271664147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian mixture distributions are commonly employed to represent general probability distributions. Despite the importance of using Gaussian mixtures for uncertainty estimation, the entropy of a Gaussian mixture cannot be analytically calculated. Notably, Gal and Ghahramani [2016] proposed the approximate entropy that is the sum of the entropies of unimodal Gaussian distributions. This approximation is easy to analytically calculate regardless of dimension, but there lack theoretical guarantees. In this paper, we theoretically analyze the approximation error between the true entropy and the approximate one to reveal when this approximation works effectively. This error is controlled by how far apart each Gaussian component of the Gaussian mixture. To measure such separation, we introduce the ratios of the distances between the means to the sum of the variances of each Gaussian component of the Gaussian mixture, and we reveal that the error converges to zero as the ratios tend to infinity. This convergence situation is more likely to occur in higher dimensional spaces. Therefore, our results provide a guarantee that this approximation works well in higher dimension problems, particularly in scenarios such as neural networks that involve a large number of weights.
• Abstract（参考訳）: ガウス混合分布は一般に一般確率分布を表すために用いられる。 不確実性推定にガウス混合を用いる重要性はあるが、ガウス混合のエントロピーは解析的に計算することはできない。 特に、Gal と Ghahramani [2016] は、非モダルガウス分布のエントロピーの和である近似エントロピーを提案した。 この近似は次元に関係なく解析的に計算し易いが、理論的な保証はない。 本稿では, 真のエントロピーと近似エントロピーの近似誤差を理論的に解析し, この近似が効果的に働くときに明らかにする。 この誤差は、ガウス混合物の各ガウス成分がどれだけ離れているかによって制御される。 このような分離を測定するために、ガウス混合のそれぞれのガウス成分の分散の和に対する平均間の距離の比率を導入し、その比率が無限になるにつれて誤差がゼロに収束することを示す。 この収束状況は高次元空間においてより起こりやすい。 したがって,この近似が高次元問題,特に重みを多用するニューラルネットワークのようなシナリオにおいて有効であることを保証できる。

関連論文リスト

• Theoretical Guarantees for Variational Inference with Fixed-Variance Mixture of Gaussians [27.20127082606962]
  変分推論(VI)はベイズ推定において一般的なアプローチである。 この研究は、非ガウスの場合のVIの理論研究に寄与することを目的としている。
  論文  参考訳（メタデータ） (2024-06-06T12:38:59Z)
• On the best approximation by finite Gaussian mixtures [7.084611118322622]
  一般ガウス位置混合を有限混合で近似する問題を考える。 所定の精度を達成する有限混合の最小順序は定数係数で決定される。
  論文  参考訳（メタデータ） (2024-04-13T06:57:44Z)
• The Parametric Stability of Well-separated Spherical Gaussian Mixtures [7.238973585403367]
  分布空間の小さな摂動下で球状ガウス混合モデル(sGMM)のパラメータ安定性を定量化する。 既定義モデルクラスにおける球面ガウス$P$(sGMM)の混合に対して、全変動距離におけるこのモデルクラスの他のすべてのsGMMは、Pに小さいパラメータ距離を持つことを示す最初の明示的境界を導出する。
  論文  参考訳（メタデータ） (2023-02-01T04:52:13Z)
• Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
  ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
  論文  参考訳（メタデータ） (2022-05-30T22:16:25Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data [71.9573352891936]
  本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。 楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。 合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T10:01:37Z)
• Clustering a Mixture of Gaussians with Unknown Covariance [4.821312633849745]
  最大極大推定に基づくMax-Cut整数プログラムを導出する。 最適な速度を得るが、2次サンプルサイズを必要とする効率的なスペクトルアルゴリズムを開発する。 我々は Max-Cut プログラムを$k$-means プログラムに一般化する。
  論文  参考訳（メタデータ） (2021-10-04T17:59:20Z)
• Mean-Square Analysis with An Application to Optimal Dimension Dependence of Langevin Monte Carlo [60.785586069299356]
  この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。 我々の理論解析は数値実験によってさらに検証される。
  論文  参考訳（メタデータ） (2021-09-08T18:00:05Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Maximum Multiscale Entropy and Neural Network Regularization [28.00914218615924]
  よく知られた結果は、平均的制約の下での最大エントロピー分布は、ギブス・ボルツマン分布と呼ばれる指数形式を持つことを示している。 本稿では,これらの結果のマルチスケール設定への一般化について検討する。
  論文  参考訳（メタデータ） (2020-06-25T17:56:11Z)
• Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
  Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。 単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
  論文  参考訳（メタデータ） (2020-02-26T16:37:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。