論文の概要: Profile Entropy: A Fundamental Measure for the Learnability and
Compressibility of Discrete Distributions
- arxiv url: http://arxiv.org/abs/2002.11665v1
- Date: Wed, 26 Feb 2020 17:49:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 14:59:45.101667
- Title: Profile Entropy: A Fundamental Measure for the Learnability and
Compressibility of Discrete Distributions
- Title（参考訳）: プロファイルエントロピー:離散分布の学習性と圧縮性に関する基礎的尺度
- Authors: Yi Hao, Alon Orlitsky
- Abstract要約: 離散分布のサンプルに対して、プロファイルエントロピーは推定、推論、圧縮の概念を統一する基本的な尺度であることを示す。
具体的には、プロファイルエントロピー a) は、最適自然推定器に対する分布を推定する速度を決定する; b) 任意のラベル不変分布コレクションに対する最適推定器と比較して全ての対称特性を推定する速度を特徴付ける; c) プロファイル圧縮の限界として機能する。
- 参考スコア（独自算出の注目度）: 63.60499266361255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The profile of a sample is the multiset of its symbol frequencies. We show
that for samples of discrete distributions, profile entropy is a fundamental
measure unifying the concepts of estimation, inference, and compression.
Specifically, profile entropy a) determines the speed of estimating the
distribution relative to the best natural estimator; b) characterizes the rate
of inferring all symmetric properties compared with the best estimator over any
label-invariant distribution collection; c) serves as the limit of profile
compression, for which we derive optimal near-linear-time block and sequential
algorithms. To further our understanding of profile entropy, we investigate its
attributes, provide algorithms for approximating its value, and determine its
magnitude for numerous structural distribution families.
- Abstract（参考訳）: サンプルのプロファイルは、そのシンボル周波数の多重集合である。
離散分布のサンプルに対して、プロファイルエントロピーは推定、推論、圧縮の概念を統一する基本的な尺度であることを示す。
特にプロファイルエントロピーは
a) 最適な自然推定量に対する分布を推定する速度を決定すること。
b) ラベル不変分布コレクションに対する最良推定子と比較して、すべての対称特性を推測する割合を特徴付ける。
c) プロファイル圧縮の限界として機能し、最適ニア線形時間ブロックとシーケンシャルアルゴリズムを導出する。
プロファイルエントロピーの理解を深めるために,その属性を調査し,その値を近似するアルゴリズムを提供し,多数の構造分布系に対してその大きさを決定する。
関連論文リスト
- Adaptive Online Bayesian Estimation of Frequency Distributions with Local Differential Privacy [0.4604003661048266]
本稿では, 局所微分プライバシー(LDP)フレームワークを用いて, 有限個のカテゴリの周波数分布を適応的かつオンラインに推定する手法を提案する。
提案アルゴリズムは, 後方サンプリングによるベイズパラメータ推定を行い, 得られた後方サンプルに基づいて, LDPのランダム化機構を適用する。
提案手法は, (i) アルゴリズムがターゲットとする後続分布が近似した後続サンプリングであっても真のパラメータに収束し, (ii) アルゴリズムが後続サンプリングを正確に行えば高い確率で最適サブセットを選択することを示す理論解析である。
論文 参考訳（メタデータ） (2024-05-11T13:59:52Z) - MESSY Estimation: Maximum-Entropy based Stochastic and Symbolic densitY
Estimation [4.014524824655106]
MESSY推定は最大エントロピーに基づくグラディエントおよびシンボリックデンシット推定法である。
本研究では,未知分布関数のサンプルを推定記号表現に接続する勾配に基づくドリフト拡散過程を構築する。
基本関数の記号探索を追加することで, 推定精度を合理的な計算コストで向上することがわかった。
論文 参考訳（メタデータ） (2023-06-07T03:28:47Z) - Mean-Square Analysis of Discretized It\^o Diffusions for Heavy-tailed
Sampling [17.415391025051434]
重み付きポインカーの不等式に関連する伊藤拡散の自然クラスを離散化することにより、重み付き分布のクラスからのサンプリングの複雑さを分析する。
平均二乗解析に基づいて、ワッサーシュタイン2計量のターゲット分布に近い分布が$epsilon$のサンプルを得るための反復複雑性を確立する。
論文 参考訳（メタデータ） (2023-03-01T15:16:03Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳（メタデータ） (2022-10-03T06:09:01Z) - Learning Structured Gaussians to Approximate Deep Ensembles [10.055143995729415]
本稿では,スパース構造多変量ガウシアンを用いて,高密度画像予測タスクのための閉形式近似器を提案する。
正規分布における予測の不確かさと構造的相関を、サンプリング単独で暗黙的にではなく、明示的に捉える。
単分子深度推定におけるアプローチの利点を実証し,本手法の利点が同等の定量的性能で得られることを示す。
論文 参考訳（メタデータ） (2022-03-29T12:34:43Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Instance-Optimal Compressed Sensing via Posterior Sampling [101.43899352984774]
後部サンプリング推定器がほぼ最適回復保証を達成できることを示す。
本稿では,Langevin dynamics を用いた深部生成前駆体の後方サンプリング推定器を実装し,MAP よりも精度の高い推定値が得られることを実証的に見出した。
論文 参考訳（メタデータ） (2021-06-21T22:51:56Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z) - A Distributional Analysis of Sampling-Based Reinforcement Learning
Algorithms [67.67377846416106]
定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。
本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
論文 参考訳（メタデータ） (2020-03-27T05:13:29Z) - On the Estimation of Information Measures of Continuous Distributions [25.395010130602287]
サンプルに基づく連続分布の情報量の推定は,統計学と機械学習の基本的な問題である。
我々は, 単純ヒストグラムに基づく一定数の試料からの微分エントロピー推定のための信頼境界を提供する。
我々の焦点は微分エントロピーであるが、同様の結果が相互情報や相対エントロピーにも当てはまることを示す例を示す。
論文 参考訳（メタデータ） (2020-02-07T15:36:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。