論文の概要: On the Estimation of Information Measures of Continuous Distributions
- arxiv url: http://arxiv.org/abs/2002.02851v3
- Date: Wed, 24 Nov 2021 22:41:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 05:19:04.442087
- Title: On the Estimation of Information Measures of Continuous Distributions
- Title（参考訳）: 連続分布の情報尺度の推定について
- Authors: Georg Pichler and Pablo Piantanida and G\"unther Koliander
- Abstract要約: サンプルに基づく連続分布の情報量の推定は,統計学と機械学習の基本的な問題である。
我々は, 単純ヒストグラムに基づく一定数の試料からの微分エントロピー推定のための信頼境界を提供する。
我々の焦点は微分エントロピーであるが、同様の結果が相互情報や相対エントロピーにも当てはまることを示す例を示す。
- 参考スコア（独自算出の注目度）: 25.395010130602287
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The estimation of information measures of continuous distributions based on
samples is a fundamental problem in statistics and machine learning. In this
paper, we analyze estimates of differential entropy in $K$-dimensional
Euclidean space, computed from a finite number of samples, when the probability
density function belongs to a predetermined convex family $\mathcal{P}$. First,
estimating differential entropy to any accuracy is shown to be infeasible if
the differential entropy of densities in $\mathcal{P}$ is unbounded, clearly
showing the necessity of additional assumptions. Subsequently, we investigate
sufficient conditions that enable confidence bounds for the estimation of
differential entropy. In particular, we provide confidence bounds for simple
histogram based estimation of differential entropy from a fixed number of
samples, assuming that the probability density function is Lipschitz continuous
with known Lipschitz constant and known, bounded support. Our focus is on
differential entropy, but we provide examples that show that similar results
hold for mutual information and relative entropy as well.
- Abstract（参考訳）: サンプルに基づく連続分布の情報測度の推定は,統計学と機械学習の基本的な問題である。
本稿では,確率密度関数が所定の凸族 $\mathcal{p}$ に属する場合,有限個のサンプルから計算した k 次元ユークリッド空間における微分エントロピーの推定値を分析する。
まず、任意の精度に対する微分エントロピーの推定は、$\mathcal{p}$ における密度の微分エントロピーが非有界であれば不可能であることが示され、追加の仮定の必要性を明確に示す。
次に, 微分エントロピー推定のための信頼境界を可能にする十分条件について検討する。
特に, 確率密度関数が既知のリプシッツ定数と既知の有界支持を持つリプシッツ連続であることを仮定して, 定数のサンプルから微分エントロピーの推定に基づく単純なヒストグラムに対する信頼境界を与える。
我々の焦点は微分エントロピーであるが、同様の結果が相互情報や相対エントロピーにも寄与していることを示す例を示す。
関連論文リスト
- Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳（メタデータ） (2024-10-03T09:07:13Z) - Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。
我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文 参考訳（メタデータ） (2024-08-25T10:28:31Z) - Convergence of Continuous Normalizing Flows for Learning Probability Distributions [10.381321024264484]
連続正規化フロー (Continuous normalizing flow, CNFs) は確率分布を学習するための生成法である。
有限ランダムサンプルからの学習確率分布における線形正則性を持つCNFの理論的性質について検討する。
本稿では,速度推定,離散化誤差,早期停止誤差による誤差を包含する収束解析フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-31T03:39:04Z) - Transformer-based Parameter Estimation in Statistics [0.0]
パラメータ推定のための変換器に基づく手法を提案する。
数値法で必要とされる確率密度関数を知る必要さえない。
提案手法は,平均二乗誤差で測定した手法と類似あるいは良好な精度を達成できることが示されている。
論文 参考訳（メタデータ） (2024-02-28T04:30:41Z) - On the Properties and Estimation of Pointwise Mutual Information Profiles [49.877314063833296]
ポイントワイド相互情報プロファイル(ポイントワイド相互情報プロファイル、英: pointwise mutual information profile)は、与えられた確率変数のペアに対するポイントワイド相互情報の分布である。
そこで我々は,モンテカルロ法を用いて分布を正確に推定できる新しい分布系 Bend と Mix Models を導入する。
論文 参考訳（メタデータ） (2023-10-16T10:02:24Z) - Non-asymptotic approximations for Pearson's chi-square statistic and its
application to confidence intervals for strictly convex functions of the
probability weights of discrete distributions [0.0]
多項確率に対する非漸近局所正規近似を開発した。
この結果を用いて離散分布の負エントロピーに対する信頼区間を求める。
論文 参考訳（メタデータ） (2023-09-05T01:18:48Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳（メタデータ） (2022-10-03T06:09:01Z) - Statistical Properties of the Entropy from Ordinal Patterns [55.551675080361335]
大規模な時系列モデルに対するエントロピー・統計複雑性の連立分布を知っていれば、今日まで利用できない統計テストが可能になるだろう。
実正規化エントロピーが零でも1でもないモデルに対して、経験的シャノンのエントロピーの分布を特徴づける。
2つの信号が同じシャノンのエントロピーを持つ順序パターンを生成するという仮説を否定するのに十分な証拠があるかどうかを検証する。
論文 参考訳（メタデータ） (2022-09-15T23:55:58Z) - Profile Entropy: A Fundamental Measure for the Learnability and
Compressibility of Discrete Distributions [63.60499266361255]
離散分布のサンプルに対して、プロファイルエントロピーは推定、推論、圧縮の概念を統一する基本的な尺度であることを示す。
具体的には、プロファイルエントロピー a) は、最適自然推定器に対する分布を推定する速度を決定する; b) 任意のラベル不変分布コレクションに対する最適推定器と比較して全ての対称特性を推定する速度を特徴付ける; c) プロファイル圧縮の限界として機能する。
論文 参考訳（メタデータ） (2020-02-26T17:49:04Z) - Posterior Ratio Estimation of Latent Variables [14.619879849533662]
いくつかのアプリケーションでは、観測から無視される確率変数の分布を比較したい。
潜在変数の2つの後続確率密度関数の比を推定する問題について検討する。
論文 参考訳（メタデータ） (2020-02-15T16:46:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。