論文の概要: Theoretical Error Analysis of Entropy Approximation for Gaussian Mixtures

• arxiv url: http://arxiv.org/abs/2202.13059v6
• Date: Wed, 22 Jan 2025 13:42:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:52:40.795032
• Title: Theoretical Error Analysis of Entropy Approximation for Gaussian Mixtures
• Title（参考訳）: ガウス混合系のエントロピー近似の理論誤差解析
• Authors: Takashi Furuya, Hiroyuki Kusumoto, Koichi Taniguchi, Naoya Kanno, Kazuma Suetake,
• Abstract要約: 本稿では, 混合係数による一様ガウス分布のエントロピーの和として表される近似エントロピーについて検討する。 理論的には、真と近似エントロピーの間の近似誤差を解析し、この近似が効果的に機能するかどうかを明らかにする。 本結果は,ニューラルネットワークなどの高次元問題に対して,この近似が有効であることを示す。
• 参考スコア（独自算出の注目度）: 0.6990493129893112
• License:
• Abstract: Gaussian mixture distributions are commonly employed to represent general probability distributions. Despite the importance of using Gaussian mixtures for uncertainty estimation, the entropy of a Gaussian mixture cannot be calculated analytically. In this paper, we study the approximate entropy represented as the sum of the entropies of unimodal Gaussian distributions with mixing coefficients. This approximation is easy to calculate analytically regardless of dimension, but there is a lack of theoretical guarantees. We theoretically analyze the approximation error between the true and the approximate entropy to reveal when this approximation works effectively. This error is essentially controlled by how far apart each Gaussian component of the Gaussian mixture is. To measure such separation, we introduce the ratios of the distances between the means to the sum of the variances of each Gaussian component of the Gaussian mixture, and we reveal that the error converges to zero as the ratios tend to infinity. In addition, the probabilistic estimate indicates that this convergence situation is more likely to occur in higher-dimensional spaces. Therefore, our results provide a guarantee that this approximation works well for high-dimensional problems, such as neural networks that involve a large number of parameters.
• Abstract（参考訳）: ガウス混合分布は一般に一般確率分布を表すために用いられる。 不確実性推定にガウス混合物を使うことの重要性にもかかわらず、ガウス混合物のエントロピーは解析的に計算できない。 本稿では, 混合係数による一様ガウス分布のエントロピーの和として表される近似エントロピーについて検討する。 この近似は次元に関係なく解析的に計算し易いが、理論的な保証がない。 理論的には、真と近似エントロピーの間の近似誤差を解析し、この近似が効果的に機能するかどうかを明らかにする。 この誤差は本質的に、ガウス混合のそれぞれのガウス成分がどこまで離れているかによって制御される。 そのような分離を測るために、ガウス混合の各ガウス成分の分散の和に対する手段間の距離の比を導入し、比が無限大になるにつれて誤差が0に収束することを示した。 さらに、確率的推定は、この収束状況が高次元空間でより起こりやすいことを示している。 したがって, この近似は, 多数のパラメータを含むニューラルネットワークなどの高次元問題に対して有効であることを示す。

関連論文リスト

• On the best approximation by finite Gaussian mixtures [7.084611118322622]
  一般ガウス位置混合を有限混合で近似する問題を考える。 所定の精度を達成する有限混合の最小順序は定数係数で決定される。
  論文  参考訳（メタデータ） (2024-04-13T06:57:44Z)
• Non-asymptotic approximations for Pearson's chi-square statistic and its application to confidence intervals for strictly convex functions of the probability weights of discrete distributions [0.0]
  多項確率に対する非漸近局所正規近似を開発した。 この結果を用いて離散分布の負エントロピーに対する信頼区間を求める。
  論文  参考訳（メタデータ） (2023-09-05T01:18:48Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
  ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
  論文  参考訳（メタデータ） (2022-05-30T22:16:25Z)
• Joint Probability Estimation Using Tensor Decomposition and Dictionaries [3.4720326275851994]
  本研究では, 与えられた離散確率と連続確率変数の連立確率の非パラメトリック推定を, それらの(経験的推定)2次元境界値から検討した。 我々は、データを調べて分布の様々なファミリーの辞書を作成し、それを混合した製品の各分解因子を近似するために利用する。
  論文  参考訳（メタデータ） (2022-03-03T11:55:51Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data [71.9573352891936]
  本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。 楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。 合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T10:01:37Z)
• Clustering a Mixture of Gaussians with Unknown Covariance [4.821312633849745]
  最大極大推定に基づくMax-Cut整数プログラムを導出する。 最適な速度を得るが、2次サンプルサイズを必要とする効率的なスペクトルアルゴリズムを開発する。 我々は Max-Cut プログラムを$k$-means プログラムに一般化する。
  論文  参考訳（メタデータ） (2021-10-04T17:59:20Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Uniform Convergence Rates for Maximum Likelihood Estimation under Two-Component Gaussian Mixture Models [13.769786711365104]
  パラメータ推定のための最大極大推定器と最小極小境界に対する一様収束率を導出する。 混合成分の混合割合は, 既知, 固定されていると仮定するが, 混合成分の分離仮定は行わない。
  論文  参考訳（メタデータ） (2020-06-01T04:13:48Z)
• Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
  Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。 単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
  論文  参考訳（メタデータ） (2020-02-26T16:37:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。