論文の概要: Sequential prediction under log-loss and misspecification
- arxiv url: http://arxiv.org/abs/2102.00050v1
- Date: Fri, 29 Jan 2021 20:28:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-02 15:45:45.720102
- Title: Sequential prediction under log-loss and misspecification
- Title(参考訳): ログ損失と誤種別によるシーケンス予測
- Authors: Meir Feder and Yury Polyanskiy
- Abstract要約: 累積的後悔の観点から,ログロスに基づく逐次予測の問題を考える。
明確に特定され誤記された症例の累積的後悔が偶然に現れる。
分布自由あるいはPAC後悔を$o(1)$で特徴づける。
- 参考スコア(独自算出の注目度): 47.66467420098395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the question of sequential prediction under the log-loss in terms
of cumulative regret. Namely, given a hypothesis class of distributions,
learner sequentially predicts the (distribution of the) next letter in sequence
and its performance is compared to the baseline of the best constant predictor
from the hypothesis class. The well-specified case corresponds to an additional
assumption that the data-generating distribution belongs to the hypothesis
class as well. Here we present results in the more general misspecified case.
Due to special properties of the log-loss, the same problem arises in the
context of competitive-optimality in density estimation, and model selection.
For the $d$-dimensional Gaussian location hypothesis class, we show that
cumulative regrets in the well-specified and misspecified cases asymptotically
coincide. In other words, we provide an $o(1)$ characterization of the
distribution-free (or PAC) regret in this case -- the first such result as far
as we know. We recall that the worst-case (or individual-sequence) regret in
this case is larger by an additive constant ${d\over 2} + o(1)$. Surprisingly,
neither the traditional Bayesian estimators, nor the Shtarkov's normalized
maximum likelihood achieve the PAC regret and our estimator requires special
"robustification" against heavy-tailed data. In addition, we show two general
results for misspecified regret: the existence and uniqueness of the optimal
estimator, and the bound sandwiching the misspecified regret between
well-specified regrets with (asymptotically) close hypotheses classes.
- Abstract(参考訳): 累積的後悔の観点から,ログロスの下での逐次予測の問題を考える。
すなわち、分布の仮説クラスが与えられた場合、学習者は次の文字を順番に予測(分布)し、その性能は仮説クラスから最高の定数予測器のベースラインと比較される。
よく特定されたケースは、データ生成分布が仮説クラスに属するという追加の仮定に対応する。
ここでは、より一般的な不特定ケースの結果を紹介します。
ログロスの特別な性質のため、密度推定とモデル選択における競合最適性の文脈でも同じ問題が生じる。
d$-次元ガウス位置仮説クラスでは、よく特定され誤認された症例における累積後悔が無症状に一致することを示した。
言い換えると、私たちは、このケースにおける配布不要(またはpac)の後悔の特徴として$o(1)$を提供しています。
この場合の最悪のケース(または個々のシーケンス)の後悔は、加法定数 ${d\over 2} + o(1)$ によって大きいことを思い出す。
驚くべきことに、伝統的なベイズ人の推定値もシュタルコフの正規化された最大確率もpacの後悔を達成できず、我々の推定値には重み付きデータに対する特別な「ロバスト化」が必要となる。
さらに, 最適推定器の存在と特異性, および(漸近的に)近縁な仮説を持つ不明瞭な後悔の間に, 不特定な後悔を挟み込むことの2つの一般的な結果を示す。
関連論文リスト
- Better-than-KL PAC-Bayes Bounds [25.60887308549318]
我々は,新しいKLの分岐と密接な結びつきを達成できることを実証した。
我々の結果は、既存のPAC-Bayes境界と非KL分岐は、KLよりも厳密に優れていることが分かっていないという点において、第一種である。
論文 参考訳(メタデータ) (2024-02-14T14:33:39Z) - $(\epsilon, u)$-Adaptive Regret Minimization in Heavy-Tailed Bandits [29.966828248335972]
我々は,学習者に対して,$epsilon$と$u$が不明な場合に,後悔の最小化問題を調査する。
AdaR-UCBは、適応しない重みを帯びたケースとほぼ一致した後悔の保証を享受する最初のアルゴリズムである。
論文 参考訳(メタデータ) (2023-10-04T17:11:15Z) - Variational Prediction [95.00085314353436]
本稿では,変動境界を用いた後部予測分布に対する変動近似の学習手法を提案する。
このアプローチは、テスト時間の限界化コストを伴わずに、優れた予測分布を提供することができる。
論文 参考訳(メタデータ) (2023-07-14T18:19:31Z) - Robust PAC$^m$: Training Ensemble Models Under Misspecification and
Outliers [46.38465729190199]
PAC-ベイズ理論は、ベイズ学習によって最小化された自由エネルギー基準が、ギブス予想器の一般化誤差に束縛されていることを証明している。
この研究は、一般化されたスコア関数とPAC$m$アンサンブル境界を組み合わせた、新しい堅牢な自由エネルギー基準を示す。
論文 参考訳(メタデータ) (2022-03-03T17:11:07Z) - Suboptimality of Constrained Least Squares and Improvements via
Non-Linear Predictors [3.5788754401889014]
有界ユークリッド球における正方形損失に対する予測問題と最良の線形予測器について検討する。
最小二乗推定器に対する$O(d/n)$過剰リスク率を保証するのに十分な分布仮定について論じる。
論文 参考訳(メタデータ) (2020-09-19T21:39:46Z) - On Localized Discrepancy for Domain Adaptation [146.4580736832752]
本稿では,局所化後の仮説空間上で定義される局所的不一致について検討する。
2つの領域を交換すると、それらの値が異なるため、非対称な移動困難が明らかになる。
論文 参考訳(メタデータ) (2020-08-14T08:30:02Z) - PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。
学習したデータ依存分布はランダム化予測に使用される。
論文 参考訳(メタデータ) (2020-06-23T14:30:24Z) - The Vector Poisson Channel: On the Linearity of the Conditional Mean
Estimator [82.5577471797883]
本研究では,ベクトルポアソン雑音における条件平均推定器の特性について検討する。
最初の結果は、ポアソンノイズの暗電流パラメータがゼロでない場合、条件平均推定器は線形ではないことを示す。
第2の結果は、第1の結果を定量的に精錬する。
論文 参考訳(メタデータ) (2020-03-19T18:21:33Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳(メタデータ) (2020-01-19T12:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。