論文の概要: Theoretical Error Analysis of Entropy Approximation for Gaussian Mixture

• arxiv url: http://arxiv.org/abs/2202.13059v4
• Date: Tue, 6 Feb 2024 14:11:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 21:41:26.482912
• Title: Theoretical Error Analysis of Entropy Approximation for Gaussian Mixture
• Title（参考訳）: ガウス混合系のエントロピー近似の理論的誤差解析
• Authors: Takashi Furuya, Hiroyuki Kusumoto, Koichi Taniguchi, Naoya Kanno, Kazuma Suetake
• Abstract要約: 本稿では,真のエントロピーと近似値との近似誤差を分析し,この近似が有効に動作するかどうかを明らかにする。 我々の結果は、この近似が高次元問題でうまく機能することを保証している。
• 参考スコア（独自算出の注目度）: 0.7499722271664147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian mixture distributions are commonly employed to represent general probability distributions. Despite the importance of using Gaussian mixtures for uncertainty estimation, the entropy of a Gaussian mixture cannot be analytically calculated. Notably, Gal and Ghahramani [2016] proposed the approximate entropy that is the sum of the entropies of unimodal Gaussian distributions. This approximation is easy to analytically calculate regardless of dimension, but there lack theoretical guarantees. In this paper, we theoretically analyze the approximation error between the true entropy and the approximate one to reveal when this approximation works effectively. This error is controlled by how far apart each Gaussian component of the Gaussian mixture. To measure such separation, we introduce the ratios of the distances between the means to the sum of the variances of each Gaussian component of the Gaussian mixture, and we reveal that the error converges to zero as the ratios tend to infinity. This convergence situation is more likely to occur in higher dimensional spaces. Therefore, our results provide a guarantee that this approximation works well in higher dimension problems, particularly in scenarios such as neural networks that involve a large number of weights.
• Abstract（参考訳）: ガウス混合分布は一般に一般確率分布を表すために用いられる。 不確実性推定にガウス混合を用いる重要性はあるが、ガウス混合のエントロピーは解析的に計算することはできない。 特に、Gal と Ghahramani [2016] は、非モダルガウス分布のエントロピーの和である近似エントロピーを提案した。 この近似は次元に関係なく解析的に計算し易いが、理論的な保証はない。 本稿では, 真のエントロピーと近似エントロピーの近似誤差を理論的に解析し, この近似が効果的に働くときに明らかにする。 この誤差は、ガウス混合物の各ガウス成分がどれだけ離れているかによって制御される。 このような分離を測定するために、ガウス混合のそれぞれのガウス成分の分散の和に対する平均間の距離の比率を導入し、その比率が無限になるにつれて誤差がゼロに収束することを示す。 この収束状況は高次元空間においてより起こりやすい。 したがって,この近似が高次元問題,特に重みを多用するニューラルネットワークのようなシナリオにおいて有効であることを保証できる。

関連論文リスト

• On the best approximation by finite Gaussian mixtures [7.084611118322622]
  一般ガウス位置混合を有限混合で近似する問題を考える。 所定の精度を達成する有限混合の最小順序は定数係数で決定される。
  論文  参考訳（メタデータ） (2024-04-13T06:57:44Z)
• Non-asymptotic approximations for Pearson's chi-square statistic and its application to confidence intervals for strictly convex functions of the probability weights of discrete distributions [0.0]
  多項確率に対する非漸近局所正規近似を開発した。 この結果を用いて離散分布の負エントロピーに対する信頼区間を求める。
  論文  参考訳（メタデータ） (2023-09-05T01:18:48Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
  ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
  論文  参考訳（メタデータ） (2022-05-30T22:16:25Z)
• Joint Probability Estimation Using Tensor Decomposition and Dictionaries [3.4720326275851994]
  本研究では, 与えられた離散確率と連続確率変数の連立確率の非パラメトリック推定を, それらの(経験的推定)2次元境界値から検討した。 我々は、データを調べて分布の様々なファミリーの辞書を作成し、それを混合した製品の各分解因子を近似するために利用する。
  論文  参考訳（メタデータ） (2022-03-03T11:55:51Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data [71.9573352891936]
  本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。 楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。 合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T10:01:37Z)
• Clustering a Mixture of Gaussians with Unknown Covariance [4.821312633849745]
  最大極大推定に基づくMax-Cut整数プログラムを導出する。 最適な速度を得るが、2次サンプルサイズを必要とする効率的なスペクトルアルゴリズムを開発する。 我々は Max-Cut プログラムを$k$-means プログラムに一般化する。
  論文  参考訳（メタデータ） (2021-10-04T17:59:20Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Uniform Convergence Rates for Maximum Likelihood Estimation under Two-Component Gaussian Mixture Models [13.769786711365104]
  パラメータ推定のための最大極大推定器と最小極小境界に対する一様収束率を導出する。 混合成分の混合割合は, 既知, 固定されていると仮定するが, 混合成分の分離仮定は行わない。
  論文  参考訳（メタデータ） (2020-06-01T04:13:48Z)
• Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
  Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。 単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
  論文  参考訳（メタデータ） (2020-02-26T16:37:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。