論文の概要: The Conditional Regret-Capacity Theorem for Batch Universal Prediction
- arxiv url: http://arxiv.org/abs/2508.10282v1
- Date: Thu, 14 Aug 2025 02:17:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-15 22:24:48.156037
- Title: The Conditional Regret-Capacity Theorem for Batch Universal Prediction
- Title（参考訳）: バッチユニバーサル予測のための条件付き回帰容量理論
- Authors: Marco Bondaschi, Michael Gastpar,
- Abstract要約: 古典的後悔-容量定理の条件付き版を導出する。
我々は、定理をR'enyi情報測度に一般化し、条件付きR'enyi発散と条件付きSibsonの相互情報との深い関係を明らかにする。
- 参考スコア（独自算出の注目度）: 17.682443394199375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We derive a conditional version of the classical regret-capacity theorem. This result can be used in universal prediction to find lower bounds on the minimal batch regret, which is a recently introduced generalization of the average regret, when batches of training data are available to the predictor. As an example, we apply this result to the class of binary memoryless sources. Finally, we generalize the theorem to R\'enyi information measures, revealing a deep connection between the conditional R\'enyi divergence and the conditional Sibson's mutual information.
- Abstract（参考訳）: 古典的後悔-容量定理の条件付き版を導出する。
この結果は、予測者がトレーニングデータのバッチを利用できる場合の、最近導入された平均的後悔の一般化である最小のバッチ後悔の下位境界を見つけるために、普遍的な予測に使用できる。
例として、この結果をバイナリメモリレスソースのクラスに適用する。
最後に、定理をR'enyi情報測度に一般化し、条件R'enyi発散と条件シブソンの相互情報との深い関係を明らかにする。
関連論文リスト
- Sample Compression Unleashed: New Generalization Bounds for Real Valued Losses [9.180445799821717]
実数値未有界損失を抑える新しいサンプル圧縮境界を導出するための一般的な枠組みを提案する。
ランダムな森林や複数種類のニューラルネットワークで評価することで,境界の厳密さと汎用性を実証的に実証する。
論文 参考訳（メタデータ） (2024-09-26T15:08:52Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized
Linear Models [33.36787620121057]
ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。
私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。
ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
論文 参考訳（メタデータ） (2022-10-21T16:16:55Z) - A New Family of Generalization Bounds Using Samplewise Evaluated CMI [14.147617330278662]
本稿では,学習損失と人口損失を連接凸関数を用いて比較する情報理論の一般化境界系を提案する。
これまでに知られていた情報理論境界を拡張することで,この枠組みの汎用性を実証する。
いくつかのシナリオでは、この新しい境界は、以前の境界よりも深いニューラルネットワークの人口減少を厳しく評価する。
論文 参考訳（メタデータ） (2022-10-12T17:15:44Z) - On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。
我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文 参考訳（メタデータ） (2022-10-12T12:49:20Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳（メタデータ） (2021-06-15T18:34:41Z) - Relative Deviation Margin Bounds [55.22251993239944]
我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。
有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
論文 参考訳（メタデータ） (2020-06-26T12:37:17Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。