論文の概要: Recursive PAC-Bayes: A Frequentist Approach to Sequential Prior Updates with No Information Loss

• arxiv url: http://arxiv.org/abs/2405.14681v2
• Date: Tue, 05 Nov 2024 11:34:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:57:30.481320
• Title: Recursive PAC-Bayes: A Frequentist Approach to Sequential Prior Updates with No Information Loss
• Title（参考訳）: Recursive PAC-Bayes: 情報損失のない逐次更新に対する周波数論的アプローチ
• Authors: Yi-Shan Wu, Yijie Zhang, Badr-Eddine Chérief-Abdellatif, Yevgeny Seldin,
• Abstract要約: PAC-Bayesian分析は、事前知識を学習に組み込むための頻繁なフレームワークである。 我々は,情報損失のない逐次的事前更新を可能にする,驚くほどシンプルで強力なPAC-Bayesianプロシージャを提案する。
• 参考スコア（独自算出の注目度）: 16.84312626844573
• License:
• Abstract: PAC-Bayesian analysis is a frequentist framework for incorporating prior knowledge into learning. It was inspired by Bayesian learning, which allows sequential data processing and naturally turns posteriors from one processing step into priors for the next. However, despite two and a half decades of research, the ability to update priors sequentially without losing confidence information along the way remained elusive for PAC-Bayes. While PAC-Bayes allows construction of data-informed priors, the final confidence intervals depend only on the number of points that were not used for the construction of the prior, whereas confidence information in the prior, which is related to the number of points used to construct the prior, is lost. This limits the possibility and benefit of sequential prior updates, because the final bounds depend only on the size of the final batch. We present a novel and, in retrospect, surprisingly simple and powerful PAC-Bayesian procedure that allows sequential prior updates with no information loss. The procedure is based on a novel decomposition of the expected loss of randomized classifiers. The decomposition rewrites the loss of the posterior as an excess loss relative to a downscaled loss of the prior plus the downscaled loss of the prior, which is bounded recursively. As a side result, we also present a generalization of the split-kl and PAC-Bayes-split-kl inequalities to discrete random variables, which we use for bounding the excess losses, and which can be of independent interest. In empirical evaluation the new procedure significantly outperforms state-of-the-art.
• Abstract（参考訳）: PAC-Bayesian分析は、事前知識を学習に組み込むための頻繁なフレームワークである。 これはベイズ学習にインスパイアされたもので、シーケンシャルなデータ処理を可能にし、後続の処理ステップを次の処理ステップに自然に変換する。 しかし、20年半にわたる研究にもかかわらず、PAC-Bayesは、その過程で信頼を失わずに、逐次更新できる能力は、明らかにされたままであった。 PAC-Bayesは、データインフォームド前の構築を可能にするが、最終的な信頼区間は、前の構築に使われていない点数にのみ依存する。 これにより、最終バウンダリは最終バッチのサイズにのみ依存するため、シーケンシャルな事前更新の可能性とメリットが制限される。 我々は,情報損失のない逐次的事前更新を可能にする,驚くほどシンプルで強力なPAC-Bayesianプロシージャを提案する。 この手順は、ランダム化された分類器の期待損失の新たな分解に基づいている。 分解は、前者の縮小損失と前者の縮小損失との相対的な余剰損失として後部の損失を再帰的に再帰的に書き直す。 副作用として、余剰損失の有界化に使用する離散確率変数に対して、分割-kl と PAC-Bayes-split-kl の不等式を一般化する。 経験的評価では、新しい手順は最先端技術よりも大幅に優れている。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• PAC-Bayes-Chernoff bounds for unbounded losses [9.987130158432755]
  PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。 我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
  論文  参考訳（メタデータ） (2024-01-02T10:58:54Z)
• ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
  汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。 我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
  論文  参考訳（メタデータ） (2022-11-21T13:23:09Z)
• Improving the Efficiency of Off-Policy Reinforcement Learning by Accounting for Past Decisions [20.531576904743282]
  オフ政治推定バイアスは、決定ごとに補正される。 Tree BackupやRetraceといったオフポリティクスアルゴリズムはこのメカニズムに依存している。 任意の過去のトレースを許可するマルチステップ演算子を提案する。
  論文  参考訳（メタデータ） (2021-12-23T00:07:28Z)
• Bayesian decision-making under misspecified priors with applications to meta-learning [64.38020203019013]
  トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。 性能は不特定な事前条件で優雅に低下することを示す。
  論文  参考訳（メタデータ） (2021-07-03T23:17:26Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
  本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。 学習したデータ依存分布はランダム化予測に使用される。
  論文  参考訳（メタデータ） (2020-06-23T14:30:24Z)
• On the role of data in PAC-Bayes bounds [24.53731903804468]
  PAC-ベイズ境界は、しばしばクルバック-リーブラーの後方と後方の分岐である。 我々は、前者に基づく境界が準最適であることを示す。 データの使用は、空き境界と非空き境界の差を意味する可能性がある。
  論文  参考訳（メタデータ） (2020-06-19T02:03:48Z)
• PAC-Bayes unleashed: generalisation bounds with unbounded losses [12.078257783674923]
  非有界損失関数を持つ学習問題に対する新しいPAC-Bayesian一般化法を提案する。 これにより、PAC-Bayes学習フレームワークの妥当性と適用性が拡張される。
  論文  参考訳（メタデータ） (2020-06-12T15:55:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。