論文の概要: Leveraging PAC-Bayes Theory and Gibbs Distributions for Generalization
Bounds with Complexity Measures
- arxiv url: http://arxiv.org/abs/2402.13285v1
- Date: Mon, 19 Feb 2024 10:15:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 18:36:38.316164
- Title: Leveraging PAC-Bayes Theory and Gibbs Distributions for Generalization
Bounds with Complexity Measures
- Title（参考訳）: 複素度測定を伴う一般化境界に対するPAC-Bayes理論の活用とギブズ分布
- Authors: Paul Viallard, R\'emi Emonet, Amaury Habrard, Emilie Morvant,
Valentina Zantedeschi
- Abstract要約: 我々は、分解されたPAC-Bayes境界の枠組みを活用し、任意の複雑性測度で瞬時化可能な一般一般化を導出する。
我々の境界は仮説と学習サンプルを共同で確率に立っており、これは複雑性を一般化ギャップに適応させることができる。
- 参考スコア（独自算出の注目度）: 14.408127155170774
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In statistical learning theory, a generalization bound usually involves a
complexity measure imposed by the considered theoretical framework. This limits
the scope of such bounds, as other forms of capacity measures or
regularizations are used in algorithms. In this paper, we leverage the
framework of disintegrated PAC-Bayes bounds to derive a general generalization
bound instantiable with arbitrary complexity measures. One trick to prove such
a result involves considering a commonly used family of distributions: the
Gibbs distributions. Our bound stands in probability jointly over the
hypothesis and the learning sample, which allows the complexity to be adapted
to the generalization gap as it can be customized to fit both the hypothesis
class and the task.
- Abstract（参考訳）: 統計的学習理論において、一般化境界は通常、理論的な枠組みによって課される複雑性測度を含む。
これは、他の種類の容量測度や正規化がアルゴリズムで使用されるため、そのような境界の範囲を制限する。
本稿では,分解されたpac-bayes境界の枠組みを利用して,任意の複雑性測度でインスタンス化可能な一般一般化を導出する。
そのような結果を証明する一つのトリックは、よく使われる分布の族、ギブス分布を考えることである。
私たちの境界は仮説と学習サンプルを共同で確率に立っており、仮説クラスとタスクの両方に適合するようにカスタマイズできるため、複雑性を一般化ギャップに適合させることができる。
関連論文リスト
- Class-wise Generalization Error: an Information-Theoretic Analysis [22.877440350595222]
本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。
我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
論文 参考訳（メタデータ） (2024-01-05T17:05:14Z) - Generalization Guarantees via Algorithm-dependent Rademacher Complexity [33.408679482592426]
本稿では,アルゴリズムおよびデータ依存仮説クラスの経験的ラデマッハ複雑性である一般化誤差を制御する尺度を提案する。
有限フラクタル次元に基づく新しい境界を得るが、これは (a) 従来のフラクタル型境界を連続的な仮説クラスから有限的な仮説クラスに拡張し、 (b) 相互情報項を避ける。
論文 参考訳（メタデータ） (2023-07-04T18:37:38Z) - A unified framework for information-theoretic generalization bounds [8.04975023021212]
本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。
主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
論文 参考訳（メタデータ） (2023-05-18T15:36:20Z) - On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。
我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文 参考訳（メタデータ） (2022-10-12T12:49:20Z) - Chained Generalisation Bounds [26.043342234937747]
連鎖手法を用いて教師付き学習アルゴリズムの予測一般化誤差の上限を導出する。
我々は、損失関数の正則性に基づく一般化境界と、それらの鎖付き関数との双対性を確立する。
論文 参考訳（メタデータ） (2022-03-02T09:34:36Z) - An Online Learning Approach to Interpolation and Extrapolation in Domain
Generalization [53.592597682854944]
リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。
両課題に対してERMは極小最適であることを示す。
論文 参考訳（メタデータ） (2021-02-25T19:06:48Z) - Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。
解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
論文 参考訳（メタデータ） (2021-02-07T14:47:00Z) - In Search of Robust Measures of Generalization [79.75709926309703]
我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。
経験的に評価すると、これらの境界の大部分は数値的に空白である。
我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
論文 参考訳（メタデータ） (2020-10-22T17:54:25Z) - Generalized Sliced Distances for Probability Distributions [47.543990188697734]
我々は、一般化スライス確率測定(GSPM)と呼ばれる、幅広い確率測定値の族を紹介する。
GSPMは一般化されたラドン変換に根付いており、ユニークな幾何学的解釈を持つ。
GSPMに基づく勾配流を生成モデル応用に適用し、軽度な仮定の下では、勾配流が大域的最適に収束することを示す。
論文 参考訳（メタデータ） (2020-02-28T04:18:00Z) - Generalised Lipschitz Regularisation Equals Distributional Robustness [47.44261811369141]
分布的ロバスト性と正規化の関係について、非常に一般的な等式結果を与える。
対立学習と分布ロバスト性の関係を明らかにする新しい結果を示す。
論文 参考訳（メタデータ） (2020-02-11T04:19:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。