論文の概要: Sequential prediction under log-loss and misspecification

• arxiv url: http://arxiv.org/abs/2102.00050v1
• Date: Fri, 29 Jan 2021 20:28:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 15:45:45.720102
• Title: Sequential prediction under log-loss and misspecification
• Title（参考訳）: ログ損失と誤種別によるシーケンス予測
• Authors: Meir Feder and Yury Polyanskiy
• Abstract要約: 累積的後悔の観点から,ログロスに基づく逐次予測の問題を考える。 明確に特定され誤記された症例の累積的後悔が偶然に現れる。 分布自由あるいはPAC後悔を$o(1)$で特徴づける。
• 参考スコア（独自算出の注目度）: 47.66467420098395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the question of sequential prediction under the log-loss in terms of cumulative regret. Namely, given a hypothesis class of distributions, learner sequentially predicts the (distribution of the) next letter in sequence and its performance is compared to the baseline of the best constant predictor from the hypothesis class. The well-specified case corresponds to an additional assumption that the data-generating distribution belongs to the hypothesis class as well. Here we present results in the more general misspecified case. Due to special properties of the log-loss, the same problem arises in the context of competitive-optimality in density estimation, and model selection. For the $d$-dimensional Gaussian location hypothesis class, we show that cumulative regrets in the well-specified and misspecified cases asymptotically coincide. In other words, we provide an $o(1)$ characterization of the distribution-free (or PAC) regret in this case -- the first such result as far as we know. We recall that the worst-case (or individual-sequence) regret in this case is larger by an additive constant ${d\over 2} + o(1)$. Surprisingly, neither the traditional Bayesian estimators, nor the Shtarkov's normalized maximum likelihood achieve the PAC regret and our estimator requires special "robustification" against heavy-tailed data. In addition, we show two general results for misspecified regret: the existence and uniqueness of the optimal estimator, and the bound sandwiching the misspecified regret between well-specified regrets with (asymptotically) close hypotheses classes.
• Abstract（参考訳）: 累積的後悔の観点から,ログロスの下での逐次予測の問題を考える。 すなわち、分布の仮説クラスが与えられた場合、学習者は次の文字を順番に予測(分布)し、その性能は仮説クラスから最高の定数予測器のベースラインと比較される。 よく特定されたケースは、データ生成分布が仮説クラスに属するという追加の仮定に対応する。 ここでは、より一般的な不特定ケースの結果を紹介します。 ログロスの特別な性質のため、密度推定とモデル選択における競合最適性の文脈でも同じ問題が生じる。 d$-次元ガウス位置仮説クラスでは、よく特定され誤認された症例における累積後悔が無症状に一致することを示した。 言い換えると、私たちは、このケースにおける配布不要(またはpac)の後悔の特徴として$o(1)$を提供しています。 この場合の最悪のケース(または個々のシーケンス)の後悔は、加法定数 ${d\over 2} + o(1)$ によって大きいことを思い出す。 驚くべきことに、伝統的なベイズ人の推定値もシュタルコフの正規化された最大確率もpacの後悔を達成できず、我々の推定値には重み付きデータに対する特別な「ロバスト化」が必要となる。 さらに, 最適推定器の存在と特異性, および(漸近的に)近縁な仮説を持つ不明瞭な後悔の間に, 不特定な後悔を挟み込むことの2つの一般的な結果を示す。

関連論文リスト

• Enhanced $H$-Consistency Bounds [30.389055604165222]
  条件付き後悔に関するより一般的な不等式に基づく拡張された$H$一貫性境界を確立するための枠組みを提案する。 我々の定理は、既存の結果を特別な場合とみなすが、様々なシナリオにおいてより好ましい境界の導出を可能にする。 これには、標準のマルチクラス分類、Tsybakovノイズ条件下でのバイナリクラスとマルチクラス分類、二部分類が含まれる。
  論文  参考訳（メタデータ） (2024-07-18T17:22:40Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Universal Batch Learning Under The Misspecification Setting [4.772817128620037]
  ログロスを伴う不特定設定において、普遍的なエムバッチ学習の問題を考察する。 我々は、最適普遍学習者、データ生成分布の集合上の混合を導出し、min-max後悔を表す閉形式表現を得る。
  論文  参考訳（メタデータ） (2024-05-12T11:16:05Z)
• $(\epsilon, u)$-Adaptive Regret Minimization in Heavy-Tailed Bandits [29.966828248335972]
  我々は,学習者に対して,$epsilon$と$u$が不明な場合に,後悔の最小化問題を調査する。 AdaR-UCBは、適応しない重みを帯びたケースとほぼ一致した後悔の保証を享受する最初のアルゴリズムである。
  論文  参考訳（メタデータ） (2023-10-04T17:11:15Z)
• Variational Prediction [95.00085314353436]
  本稿では,変動境界を用いた後部予測分布に対する変動近似の学習手法を提案する。 このアプローチは、テスト時間の限界化コストを伴わずに、優れた予測分布を提供することができる。
  論文  参考訳（メタデータ） (2023-07-14T18:19:31Z)
• Robust PAC$^m$: Training Ensemble Models Under Misspecification and Outliers [46.38465729190199]
  PAC-ベイズ理論は、ベイズ学習によって最小化された自由エネルギー基準が、ギブス予想器の一般化誤差に束縛されていることを証明している。 この研究は、一般化されたスコア関数とPAC$m$アンサンブル境界を組み合わせた、新しい堅牢な自由エネルギー基準を示す。
  論文  参考訳（メタデータ） (2022-03-03T17:11:07Z)
• Suboptimality of Constrained Least Squares and Improvements via Non-Linear Predictors [3.5788754401889014]
  有界ユークリッド球における正方形損失に対する予測問題と最良の線形予測器について検討する。 最小二乗推定器に対する$O(d/n)$過剰リスク率を保証するのに十分な分布仮定について論じる。
  論文  参考訳（メタデータ） (2020-09-19T21:39:46Z)
• The Vector Poisson Channel: On the Linearity of the Conditional Mean Estimator [82.5577471797883]
  本研究では,ベクトルポアソン雑音における条件平均推定器の特性について検討する。 最初の結果は、ポアソンノイズの暗電流パラメータがゼロでない場合、条件平均推定器は線形ではないことを示す。 第2の結果は、第1の結果を定量的に精錬する。
  論文  参考訳（メタデータ） (2020-03-19T18:21:33Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。