論文の概要: High-Probability Risk Bounds via Sequential Predictors

• arxiv url: http://arxiv.org/abs/2308.07588v1
• Date: Tue, 15 Aug 2023 06:19:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 14:02:12.472259
• Title: High-Probability Risk Bounds via Sequential Predictors
• Title（参考訳）: 逐次予測器による高確率リスク境界
• Authors: Dirk van der Hoeven, Nikita Zhivotovskiy, Nicol\`o Cesa-Bianchi
• Abstract要約: 一般的なオンライン学習アルゴリズムに適用されたオンラインからバッチへの変換は、後悔の限界を回避できることを示す。 いくつかの古典的統計的推定問題に対して、ほぼ最適な高確率リスク境界を得る。 我々の分析は、多くのオンライン学習アルゴリズムが不適切であるという事実に依存している。
• 参考スコア（独自算出の注目度）: 20.741036493022442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online learning methods yield sequential regret bounds under minimal assumptions and provide in-expectation risk bounds for statistical learning. However, despite the apparent advantage of online guarantees over their statistical counterparts, recent findings indicate that in many important cases, regret bounds may not guarantee tight high-probability risk bounds in the statistical setting. In this work we show that online to batch conversions applied to general online learning algorithms can bypass this limitation. Via a general second-order correction to the loss function defining the regret, we obtain nearly optimal high-probability risk bounds for several classical statistical estimation problems, such as discrete distribution estimation, linear regression, logistic regression, and conditional density estimation. Our analysis relies on the fact that many online learning algorithms are improper, as they are not restricted to use predictors from a given reference class. The improper nature of our estimators enables significant improvements in the dependencies on various problem parameters. Finally, we discuss some computational advantages of our sequential algorithms over their existing batch counterparts.
• Abstract（参考訳）: オンライン学習手法は最小限の仮定の下で逐次後悔境界を導き、統計的学習のための予測外リスク境界を提供する。 しかし、オンラインの保証が統計的に有利であることは明らかであるが、近年の知見は、多くの重要なケースにおいて、後悔の限界は統計的な状況において厳密な高い確率的リスク境界を保証していないことを示唆している。 本稿では、オンラインからバッチへの変換を一般的なオンライン学習アルゴリズムに適用することで、この制限を回避できることを示す。 後悔を定義する損失関数に対する一般的な二階補正により、離散分布推定、線形回帰、ロジスティック回帰、条件密度推定などのいくつかの古典的統計量推定問題に対して、ほぼ最適な高確率リスク境界を求める。 私たちの分析は、多くのオンライン学習アルゴリズムが不適切であるという事実に依存しています。 推定器の不適切な性質は、様々な問題パラメータへの依存性を大幅に改善することができる。 最後に、既存のバッチアルゴリズムに比べて、逐次アルゴリズムの計算上の利点について論じる。

関連論文リスト

• Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
  時間差差(TD)学習は、おそらく政策評価に最も広く使用されるものであり、この目的の自然な枠組みとして機能する。 本稿では,Polyak-Ruppert平均化と線形関数近似によるTD学習の整合性について検討し,既存の結果よりも3つの重要な改善点を得た。
  論文  参考訳（メタデータ） (2024-10-21T15:34:44Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Distribution-free risk assessment of regression-based machine learning algorithms [6.507711025292814]
  我々は回帰アルゴリズムとモデル予測の周囲に定義された区間内に存在する真のラベルの確率を計算するリスク評価タスクに焦点をあてる。 そこで,本研究では,正のラベルを所定の確率で含むことが保証される予測区間を提供する共形予測手法を用いてリスク評価問題を解決する。
  論文  参考訳（メタデータ） (2023-10-05T13:57:24Z)
• Online Constraint Tightening in Stochastic Model Predictive Control: A Regression Approach [49.056933332667114]
  確率制約付き最適制御問題に対する解析解は存在しない。 制御中の制約強調パラメータをオンラインで学習するためのデータ駆動型アプローチを提案する。 提案手法は, 確率制約を厳密に満たす制約強調パラメータを導出する。
  論文  参考訳（メタデータ） (2023-10-04T16:22:02Z)
• Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via Online High-Confidence Change-Point Detection [7.685002911021767]
  非定常環境におけるポリシーを効率的に学習するアルゴリズムを導入する。 これは、リアルタイム、高信頼な変更点検出統計において、潜在的に無限のデータストリームと計算を解析する。 i) このアルゴリズムは, 予期せぬ状況変化が検出されるまでの遅延を最小限に抑え, 迅速な応答を可能にする。
  論文  参考訳（メタデータ） (2021-05-20T01:57:52Z)
• Practical and Rigorous Uncertainty Bounds for Gaussian Process Regression [10.33782982051778]
  厳密だが実用的にも有効である新しい不確実性境界を導入する。 特に、境界は明示的に評価され、芸術的な結果よりも保守的ではない。 本稿では,これらの利点と,数値的な例による学習に基づく制御における結果の有用性を実証する。
  論文  参考訳（メタデータ） (2021-05-06T16:41:04Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• Nonconvex sparse regularization for deep neural networks and its optimality [1.9798034349981162]
  ディープニューラルネットワーク(DNN)推定器は、回帰と分類問題に対して最適な収束率を得ることができる。 スパースDNNに対する新たなペナル化推定法を提案する。 スパースペンタライズされた推定器は、様々な非パラメトリック回帰問題に対する最小収束率を適応的に達成できることを示す。
  論文  参考訳（メタデータ） (2020-03-26T07:15:28Z)
• Orthogonal Statistical Learning [49.55515683387805]
  人口リスクが未知のニュアンスパラメータに依存するような環境では,統計学習における非漸近的過剰リスク保証を提供する。 人口リスクがNeymanityと呼ばれる条件を満たす場合,メタアルゴリズムによって達成される過剰リスクに対するニュアンス推定誤差の影響は2次であることを示す。
  論文  参考訳（メタデータ） (2019-01-25T02:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。