論文の概要: Estimation of discrete distributions in relative entropy, and the deviations of the missing mass
- arxiv url: http://arxiv.org/abs/2504.21787v1
- Date: Wed, 30 Apr 2025 16:47:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-09 17:44:15.804195
- Title: Estimation of discrete distributions in relative entropy, and the deviations of the missing mass
- Title（参考訳）: 相対エントロピーにおける離散分布の推定と欠落質量の偏差
- Authors: Jaouad Mourtada,
- Abstract要約: 我々は、相対エントロピーで測定された精度で、I.d.サンプルから有限アルファベット上の分布を推定する問題について検討する。
最適なリスク境界が知られているが、高い確率保証は十分に理解されていない。
- 参考スコア（独自算出の注目度）: 3.4265828682659705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of estimating a distribution over a finite alphabet from an i.i.d. sample, with accuracy measured in relative entropy (Kullback-Leibler divergence). While optimal expected risk bounds are known, high-probability guarantees remain less well-understood. First, we analyze the classical Laplace (add-$1$) estimator, obtaining matching upper and lower bounds on its performance and showing its optimality among confidence-independent estimators. We then characterize the minimax-optimal high-probability risk achievable by any estimator, which is attained via a simple confidence-dependent smoothing technique. Interestingly, the optimal non-asymptotic risk contains an additional logarithmic factor over the ideal asymptotic risk. Next, motivated by scenarios where the alphabet exceeds the sample size, we investigate methods that adapt to the sparsity of the distribution at hand. We introduce an estimator using data-dependent smoothing, for which we establish a high-probability risk bound depending on two effective sparsity parameters. As part of the analysis, we also derive a sharp high-probability upper bound on the missing mass.
- Abstract（参考訳）: 我々は、相対エントロピー(カルバック・リーブラー分岐)で測定された精度で、I.d.サンプルから有限アルファベット上の分布を推定する問題を研究する。
最適なリスク境界が知られているが、高い確率保証は十分に理解されていない。
まず、古典的なLaplace (add-$1$) 推定器を解析し、その性能上の上と下の境界を一致させ、信頼に依存しない推定器の最適性を示す。
次に, 簡易な信頼依存平滑化手法により得られた推定器によって達成可能な極小極小最適高確率リスクを特徴付ける。
興味深いことに、最適な非漸近リスクには、理想的な漸近リスクに対する追加の対数係数が含まれる。
次に、アルファベットがサンプルサイズを超えるシナリオを動機として、手前の分布の空間性に適応する手法を検討する。
データ依存スムースメントを用いた推定器を導入し、2つの有効空間パラメータに依存する高確率リスクを確定する。
この分析の一環として、欠落した質量に鋭い高確率上界を導出する。
関連論文リスト
- Non-Convex Robust Hypothesis Testing using Sinkhorn Uncertainty Sets [18.46110328123008]
非破壊仮説テスト問題に対処する新しい枠組みを提案する。
目標は、最大数値リスクを最小限に抑える最適な検出器を探すことである。
論文 参考訳（メタデータ） (2024-03-21T20:29:43Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文 参考訳（メタデータ） (2023-12-07T15:55:58Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳（メタデータ） (2022-10-03T06:09:01Z) - Wasserstein Distributionally Robust Estimation in High Dimensions:
Performance Analysis and Optimal Hyperparameter Tuning [0.0]
雑音線形測定から未知パラメータを推定するための分布的ロバストな推定フレームワークを提案する。
このような推定器の2乗誤差性能を解析する作業に着目する。
凸凹最適化問題の解法として2乗誤差を復元できることを示す。
論文 参考訳（メタデータ） (2022-06-27T13:02:59Z) - Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。
演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文 参考訳（メタデータ） (2022-01-21T02:46:57Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。
我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
論文 参考訳（メタデータ） (2020-10-11T19:05:49Z) - A Stochastic Subgradient Method for Distributionally Robust Non-Convex
Learning [2.007262412327553]
堅牢性は、基礎となるデータ分布の不確実性に関するものです。
本手法は摂動条件を満たすことに収束することを示す。
また、実際のデータセット上でのアルゴリズムの性能についても解説する。
論文 参考訳（メタデータ） (2020-06-08T18:52:40Z) - Nonparametric Estimation of Uncertainty Sets for Robust Optimization [2.741266294612776]
本研究では、ロバスト最適化問題に対する不確実性集合構築のためのデータ駆動手法について検討する。
確率質量が与えられた目標質量に近似することが保証された不確実性集合を推定するための非パラメトリック手法を提供する。
論文 参考訳（メタデータ） (2020-04-07T01:47:55Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳（メタデータ） (2020-01-19T12:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。