論文の概要: Sharp regret bounds for empirical Bayes and compound decision problems
- arxiv url: http://arxiv.org/abs/2109.03943v2
- Date: Fri, 10 Sep 2021 15:25:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-13 13:48:29.675445
- Title: Sharp regret bounds for empirical Bayes and compound decision problems
- Title（参考訳）: 経験ベイズと複合決定問題に対する鋭い後悔の限界
- Authors: Yury Polyanskiy and Yihong Wu
- Abstract要約: ベイズ設定では、最適推定器は事前依存条件平均によって与えられる。
コンパクトにサポートされた部分指数前のPoissonモデルに対して、最適の後悔スケールは $Theta(fraclog nloglog n)2)$ と $Theta(log3 n)$ である。
- 参考スコア（独自算出の注目度）: 42.397889421982555
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the classical problems of estimating the mean of an
$n$-dimensional normally (with identity covariance matrix) or Poisson
distributed vector under the squared loss. In a Bayesian setting the optimal
estimator is given by the prior-dependent conditional mean. In a frequentist
setting various shrinkage methods were developed over the last century. The
framework of empirical Bayes, put forth by Robbins (1956), combines Bayesian
and frequentist mindsets by postulating that the parameters are independent but
with an unknown prior and aims to use a fully data-driven estimator to compete
with the Bayesian oracle that knows the true prior. The central figure of merit
is the regret, namely, the total excess risk over the Bayes risk in the worst
case (over the priors). Although this paradigm was introduced more than 60
years ago, little is known about the asymptotic scaling of the optimal regret
in the nonparametric setting.
We show that for the Poisson model with compactly supported and
subexponential priors, the optimal regret scales as $\Theta((\frac{\log
n}{\log\log n})^2)$ and $\Theta(\log^3 n)$, respectively, both attained by the
original estimator of Robbins. For the normal mean model, the regret is shown
to be at least $\Omega((\frac{\log n}{\log\log n})^2)$ and $\Omega(\log^2 n)$
for compactly supported and subgaussian priors, respectively, the former of
which resolves the conjecture of Singh (1979) on the impossibility of achieving
bounded regret; before this work, the best regret lower bound was $\Omega(1)$.
In addition to the empirical Bayes setting, these results are shown to hold in
the compound setting where the parameters are deterministic. As a side
application, the construction in this paper also leads to improved or new lower
bounds for density estimation of Gaussian and Poisson mixtures.
- Abstract（参考訳）: 我々は、二乗損失の下で(同一共分散行列を伴う)正常に n$-次元の平均やポアソン分布ベクトルを推定する古典的な問題を考える。
ベイズ設定では、最適推定器は事前の条件付き平均によって与えられる。
頻繁な設定では、前世紀に様々な収縮法が開発された。
Robbins (1956) が提唱した経験的ベイズ(英語版)の枠組みは、パラメータは独立であるが未知の事前と仮定することでベイズ的および頻繁な考え方を結合し、真の事前を知っているベイズ的オラクルと競合するために完全なデータ駆動推定器を使用することを目的としている。
利益の主な数字は後悔であり、すなわち、最悪の場合(過去の場合)のベイズリスクに対する総過大なリスクである。
このパラダイムは60年以上前に導入されたが、非パラメトリックな設定における最適後悔の漸近スケーリングについてはほとんど知られていない。
コンパクトにサポートされたポアソンモデルと半指数前値を持つポアソンモデルの場合、最適の後悔スケールは $\Theta((\frac{\log n}{\log\log n})^2)$ と $\Theta(\log^3 n)$ である。
通常の平均モデルでは、後悔は少なくとも$\Omega((\frac{\log n}{\log\log n})^2)$ と $\Omega(\log^2 n)$ のそれぞれコンパクトなサポート付きおよび部分ガウス的事前に対して示される。
経験ベイズ設定に加えて、これらの結果はパラメータが決定論的である複合設定に保持される。
副応用として, ガウス型およびポアソン型混合物の密度推定において, 改良あるいは新しい下限を導出する。
関連論文リスト
- Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - Better and Simpler Lower Bounds for Differentially Private Statistical
Estimation [7.693388437377614]
任意の$alpha le O(1)$に対して、ガウスの共分散をスペクトル誤差まで推定するには$tildeOmegaleft(fracd3/2alpha varepsilon + fracdalpha2right)$サンプルが必要である。
次に、有界な$k$thモーメントで重み付き分布の平均を推定するには$tildeOmegaleft(fracdalphak/(k-1) varepsilon +
論文 参考訳（メタデータ） (2023-10-10T04:02:43Z) - Variance-Aware Regret Bounds for Stochastic Contextual Dueling Bandits [53.281230333364505]
本稿では, 一般化線形モデル(GLM)から, デュエルアームのバイナリ比較を生成するコンテキストデュエルバンド問題について検討する。
本稿では,SupLinUCB型アルゴリズムを提案する。このアルゴリズムは,計算効率と分散を意識したリセットバウンド$tilde Obig(dsqrtsum_t=1Tsigma_t2 + dbig)$を提案する。
我々の後悔は、比較が決定論的である場合の直感的な期待と自然に一致し、アルゴリズムは$tilde O(d)$ regretにのみ悩まされる。
論文 参考訳（メタデータ） (2023-10-02T08:15:52Z) - Optimal Regret Is Achievable with Bounded Approximate Inference Error:
An Enhanced Bayesian Upper Confidence Bound Framework [22.846260353176614]
本稿では,帯域幅問題に効率的に対応できる拡張ベイズアッパー信頼境界(EBUCB)フレームワークを提案する。
EBUCBは2つの異なる$alpha$-divergencesで測定された推論誤差が定数以下である場合、最適後悔順序$O(log T)$を達成可能であることを示す。
我々の研究は、定数近似推論誤差の設定において$o(T)$よりも良い最初の理論的後悔境界を提供する。
論文 参考訳（メタデータ） (2022-01-31T01:36:15Z) - First-Order Regret in Reinforcement Learning with Linear Function
Approximation: A Robust Estimation Approach [57.570201404222935]
我々は,大規模状態空間を用いた強化学習において,$mathcalO(sqrtV_1star K)$として,後悔のスケーリングが得られることを示す。
この結果を得るためには,少なくとも2乗推定に基づく既存手法は不十分であることを示す。
論文 参考訳（メタデータ） (2021-12-07T00:29:57Z) - Consistent Estimation for PCA and Sparse Regression with Oblivious
Outliers [13.244654316770815]
我々は効率よく計算可能で一貫した推定器を設計する機械を開発する。
スパース回帰では、最適なサンプルサイズ$ngsim (klog d)/alpha2$の整合性を達成する。
PCAの文脈では、パラメータ行列上の広いスパイキネス仮定の下で最適な誤差を保証する。
論文 参考訳（メタデータ） (2021-11-04T15:59:44Z) - Super fast rates in structured prediction [88.99819200562784]
連続的な問題が連続的な値を予測しているときに、離散的な問題が本質的に離散的なアウトプットを予測しているという事実を活用する方法を示す。
まず、近接する隣人に基づく予測器について説明し、二項分類で知られている確率を、構造的予測の枠組み内の任意の離散問題に一般化する。
次に、カーネルリッジの回帰について検討し、問題の硬さを特徴付けるパラメータによって、n-1/4$の既知のレートを任意に高速化する。
論文 参考訳（メタデータ） (2021-02-01T10:50:04Z) - Regret-Optimal Filtering [57.51328978669528]
後悔最適化レンズによる線形状態空間モデルにおけるフィルタの問題を検討する。
我々は, 透視推定器の誤差エネルギー推定における後悔の概念に基づいて, フィルタ設計のための新しい基準を定式化する。
3つのリッキー方程式と1つのリャプノフ方程式を解くことで、後悔と最適推定が容易に実現できることを示す。
論文 参考訳（メタデータ） (2021-01-25T19:06:52Z) - Optimal Sub-Gaussian Mean Estimation in $\mathbb{R}$ [5.457150493905064]
ガウス下収束を考慮した新しい推定器を提案する。
我々の推定器はその分散に関する事前の知識を必要としない。
我々の推定器の構成と分析は、他の問題に一般化可能なフレームワークを提供する。
論文 参考訳（メタデータ） (2020-11-17T02:47:24Z) - Computationally and Statistically Efficient Truncated Regression [36.3677715543994]
計算的かつ統計的に効率的な線形回帰の古典的問題に対する推定器を提供する。
提案手法では, トランキャット標本の負の対数類似度に代わることなく, プロジェクテッド・Descent Gradient (PSGD) を用いて推定する。
本稿では,SGDが単一層ニューラルネットワークの雑音活性化関数のパラメータを学習することを示す。
論文 参考訳（メタデータ） (2020-10-22T19:31:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。