Fugu-MT 論文翻訳(概要): Tighter PAC-Bayes Generalisation Bounds by Leveraging Example Difficulty

論文の概要: Tighter PAC-Bayes Generalisation Bounds by Leveraging Example Difficulty

arxiv url: http://arxiv.org/abs/2210.11289v1
Date: Thu, 20 Oct 2022 14:14:52 GMT
ステータス: 処理完了
システム内更新日: 2022-10-21 13:57:43.241497
Title: Tighter PAC-Bayes Generalisation Bounds by Leveraging Example Difficulty
Title（参考訳）: 実例難読化によるPAC-Bayes一般化境界の高次化
Authors: Felix Biggs, Benjamin Guedj
Abstract要約: 過剰リスクの修正版を導入します。より厳密で高速なPAC-ベイジアン一般化境界を得るのに使うことができる。我々は、これらの新しい境界を実世界のデータセットで実証的に評価する。
参考スコア（独自算出の注目度）: 5.799808780731661
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We introduce a modified version of the excess risk, which can be used to obtain tighter, fast-rate PAC-Bayesian generalisation bounds. This modified excess risk leverages information about the relative hardness of data examples to reduce the variance of its empirical counterpart, tightening the bound. We combine this with a new bound for $[-1, 1]$-valued (and potentially non-independent) signed losses, which is more favourable when they empirically have low variance around $0$. The primary new technical tool is a novel result for sequences of interdependent random vectors which may be of independent interest. We empirically evaluate these new bounds on a number of real-world datasets.
Abstract（参考訳）: 我々は,より厳密で高速のpac-ベイズ一般化境界を得るために使用できる過剰リスクの修正版を導入する。この修正された過剰なリスクは、データ例の相対的硬さに関する情報を活用して、経験的な結果のばらつきを減らし、境界を締め付ける。これを、$[-1, 1]$-valued(および潜在的に非依存的な)符号付き損失に対する新しいバウンダリと組み合わせる。主要な新しい技術ツールは、独立興味を持つかもしれない相互依存ランダムベクトル列に対する新しい結果である。我々は、これらの新しい境界を実世界のデータセットで実証的に評価する。

関連論文リスト

PAC-Bayes-Chernoff bounds for unbounded losses [9.987130158432755]
PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
論文参考訳（メタデータ） (2024-01-02T10:58:54Z)
Empirical Risk Minimization with Shuffled SGD: A Primal-Dual Perspective and Improved Bounds [12.699376765058137]
勾配降下法(SGD)は、おそらく現代の機械学習において最も一般的な最適化法である。 SGDを交換せずにサンプリングするSGDが分析されたのはごく最近のことだ。データマトリックスに依存し、既存の境界によって予測されるものよりも決して悪くない、きめ細かい複雑性境界を証明します。
論文参考訳（メタデータ） (2023-06-21T18:14:44Z)
Fast Rate Information-theoretic Bounds on Generalization Errors [8.102199960821165]
学習アルゴリズムの一般化誤差は、学習アルゴリズムの学習データにおける損失と、目に見えないテストデータにおける損失との違いを指す。一般化誤差に関する様々な情報理論境界が文献で導出されている。本稿では,これらの境界の厳密性について,それらの収束速度の標本サイズ依存性の観点から検討する。
論文参考訳（メタデータ） (2023-03-26T08:59:05Z)
Tighter Information-Theoretic Generalization Bounds from Supersamples [27.14107452619853]
本稿では,学習アルゴリズムのための情報理論の新たな一般化境界について述べる。提示される境界は平方根境界、高速レート境界を含み、分散と鋭さに基づく境界を含む。理論的あるいは経験的に、これらの境界は、同じスーパーサンプル設定で知られているすべての情報理論境界よりも厳密であることを示す。
論文参考訳（メタデータ） (2023-02-05T17:06:27Z)
Foolish Crowds Support Benign Overfitting [20.102619493827024]
ガウスデータによる線形回帰に対するスパース補間手順の過大なリスクの低い境界を証明した。ここでは, 騒音の適応による害は, 様々な方向に拡げることによって改善されるが, この分析は「群衆の知恵」の利点を露呈する。
論文参考訳（メタデータ） (2021-10-06T16:56:37Z)
Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文参考訳（メタデータ） (2021-06-03T09:50:13Z)
An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization [53.592597682854944]
リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。両課題に対してERMは極小最適であることを示す。
論文参考訳（メタデータ） (2021-02-25T19:06:48Z)
Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
論文参考訳（メタデータ） (2020-10-21T13:43:48Z)
Multi-label Contrastive Predictive Coding [125.03510235962095]
差分相互情報(MI)推定器は、コントラスト予測符号化(CPC)のような教師なし表現学習法で広く利用されている。本稿では,複数の正のサンプルを同時に同定する必要がある多ラベル分類問題に基づく新しい推定器を提案する。同一量の負のサンプルを用いて複数ラベルのCPCが$log m$boundを超えることができる一方で、相互情報の有意な下限であることを示す。
論文参考訳（メタデータ） (2020-07-20T02:46:21Z)
Relative Deviation Margin Bounds [55.22251993239944]
我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
論文参考訳（メタデータ） (2020-06-26T12:37:17Z)
The Simulator: Understanding Adaptive Sampling in the Moderate-Confidence Regime [52.38455827779212]
エミュレータと呼ばれる適応サンプリングを解析するための新しい手法を提案する。適切なログファクタを組み込んだトップk問題の最初のインスタンスベースの下位境界を証明します。我々の新しい分析は、後者の問題に対するこの種の最初のエミュレータであるベストアームとトップkの識別に、シンプルでほぼ最適であることを示した。
論文参考訳（メタデータ） (2017-02-16T23:42:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。