論文の概要: Theoretical Error Analysis of Entropy Approximation for Gaussian Mixtures

• arxiv url: http://arxiv.org/abs/2202.13059v6
• Date: Wed, 22 Jan 2025 13:42:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:52:40.795032
• Title: Theoretical Error Analysis of Entropy Approximation for Gaussian Mixtures
• Title（参考訳）: ガウス混合系のエントロピー近似の理論誤差解析
• Authors: Takashi Furuya, Hiroyuki Kusumoto, Koichi Taniguchi, Naoya Kanno, Kazuma Suetake,
• Abstract要約: 本稿では, 混合係数による一様ガウス分布のエントロピーの和として表される近似エントロピーについて検討する。 理論的には、真と近似エントロピーの間の近似誤差を解析し、この近似が効果的に機能するかどうかを明らかにする。 本結果は,ニューラルネットワークなどの高次元問題に対して,この近似が有効であることを示す。
• 参考スコア（独自算出の注目度）: 0.6990493129893112
• License:
• Abstract: Gaussian mixture distributions are commonly employed to represent general probability distributions. Despite the importance of using Gaussian mixtures for uncertainty estimation, the entropy of a Gaussian mixture cannot be calculated analytically. In this paper, we study the approximate entropy represented as the sum of the entropies of unimodal Gaussian distributions with mixing coefficients. This approximation is easy to calculate analytically regardless of dimension, but there is a lack of theoretical guarantees. We theoretically analyze the approximation error between the true and the approximate entropy to reveal when this approximation works effectively. This error is essentially controlled by how far apart each Gaussian component of the Gaussian mixture is. To measure such separation, we introduce the ratios of the distances between the means to the sum of the variances of each Gaussian component of the Gaussian mixture, and we reveal that the error converges to zero as the ratios tend to infinity. In addition, the probabilistic estimate indicates that this convergence situation is more likely to occur in higher-dimensional spaces. Therefore, our results provide a guarantee that this approximation works well for high-dimensional problems, such as neural networks that involve a large number of parameters.
• Abstract（参考訳）: ガウス混合分布は一般に一般確率分布を表すために用いられる。 不確実性推定にガウス混合物を使うことの重要性にもかかわらず、ガウス混合物のエントロピーは解析的に計算できない。 本稿では, 混合係数による一様ガウス分布のエントロピーの和として表される近似エントロピーについて検討する。 この近似は次元に関係なく解析的に計算し易いが、理論的な保証がない。 理論的には、真と近似エントロピーの間の近似誤差を解析し、この近似が効果的に機能するかどうかを明らかにする。 この誤差は本質的に、ガウス混合のそれぞれのガウス成分がどこまで離れているかによって制御される。 そのような分離を測るために、ガウス混合の各ガウス成分の分散の和に対する手段間の距離の比を導入し、比が無限大になるにつれて誤差が0に収束することを示した。 さらに、確率的推定は、この収束状況が高次元空間でより起こりやすいことを示している。 したがって, この近似は, 多数のパラメータを含むニューラルネットワークなどの高次元問題に対して有効であることを示す。

関連論文リスト

• Theoretical Guarantees for Variational Inference with Fixed-Variance Mixture of Gaussians [27.20127082606962]
  変分推論(VI)はベイズ推定において一般的なアプローチである。 この研究は、非ガウスの場合のVIの理論研究に寄与することを目的としている。
  論文  参考訳（メタデータ） (2024-06-06T12:38:59Z)
• On the best approximation by finite Gaussian mixtures [7.084611118322622]
  一般ガウス位置混合を有限混合で近似する問題を考える。 所定の精度を達成する有限混合の最小順序は定数係数で決定される。
  論文  参考訳（メタデータ） (2024-04-13T06:57:44Z)
• The Parametric Stability of Well-separated Spherical Gaussian Mixtures [7.238973585403367]
  分布空間の小さな摂動下で球状ガウス混合モデル(sGMM)のパラメータ安定性を定量化する。 既定義モデルクラスにおける球面ガウス$P$(sGMM)の混合に対して、全変動距離におけるこのモデルクラスの他のすべてのsGMMは、Pに小さいパラメータ距離を持つことを示す最初の明示的境界を導出する。
  論文  参考訳（メタデータ） (2023-02-01T04:52:13Z)
• Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
  ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
  論文  参考訳（メタデータ） (2022-05-30T22:16:25Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data [71.9573352891936]
  本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。 楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。 合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T10:01:37Z)
• Clustering a Mixture of Gaussians with Unknown Covariance [4.821312633849745]
  最大極大推定に基づくMax-Cut整数プログラムを導出する。 最適な速度を得るが、2次サンプルサイズを必要とする効率的なスペクトルアルゴリズムを開発する。 我々は Max-Cut プログラムを$k$-means プログラムに一般化する。
  論文  参考訳（メタデータ） (2021-10-04T17:59:20Z)
• Mean-Square Analysis with An Application to Optimal Dimension Dependence of Langevin Monte Carlo [60.785586069299356]
  この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。 我々の理論解析は数値実験によってさらに検証される。
  論文  参考訳（メタデータ） (2021-09-08T18:00:05Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Maximum Multiscale Entropy and Neural Network Regularization [28.00914218615924]
  よく知られた結果は、平均的制約の下での最大エントロピー分布は、ギブス・ボルツマン分布と呼ばれる指数形式を持つことを示している。 本稿では,これらの結果のマルチスケール設定への一般化について検討する。
  論文  参考訳（メタデータ） (2020-06-25T17:56:11Z)
• Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
  Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。 単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
  論文  参考訳（メタデータ） (2020-02-26T16:37:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。