論文の概要: Non-Vacuous Generalization Bounds: Can Rescaling Invariances Help?
- arxiv url: http://arxiv.org/abs/2509.26149v1
- Date: Tue, 30 Sep 2025 12:01:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-01 17:09:04.528561
- Title: Non-Vacuous Generalization Bounds: Can Rescaling Invariances Help?
- Title（参考訳）: 非Vacuousな一般化境界: 不変性の再スケーリングは有効か?
- Authors: Damien Rouchouse, Antoine Gonon, Rémi Gribonval, Benjamin Guedj,
- Abstract要約: PAC-Bayesのバウンダリは、大規模ネットワークにおいても、厳密でデータ依存の保証を提供できるという点で際立っている。
我々は、この相違を解消する不変な持ち上げ表現でPAC-Bayes境界を研究することを提案する。
- 参考スコア（独自算出の注目度）: 22.007351694466195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A central challenge in understanding generalization is to obtain non-vacuous guarantees that go beyond worst-case complexity over data or weight space. Among existing approaches, PAC-Bayes bounds stand out as they can provide tight, data-dependent guarantees even for large networks. However, in ReLU networks, rescaling invariances mean that different weight distributions can represent the same function while leading to arbitrarily different PAC-Bayes complexities. We propose to study PAC-Bayes bounds in an invariant, lifted representation that resolves this discrepancy. This paper explores both the guarantees provided by this approach (invariance, tighter bounds via data processing) and the algorithmic aspects of KL-based rescaling-invariant PAC-Bayes bounds.
- Abstract（参考訳）: 一般化を理解する上での課題は、データや重み空間の最悪の複雑さを超えて、非空洞的な保証を得ることである。
既存のアプローチの中で、PAC-Bayesのバウンダリは、大規模ネットワークにおいても、厳密でデータに依存した保証を提供できるという点で際立っている。
しかし、ReLUネットワークでは、再スケーリング不変性(rescaling invariances)は、異なる重み分布が同じ関数を表現すると同時に、任意の異なるPAC-Bayes複素量をもたらすことを意味する。
我々は、この相違を解消する不変な持ち上げ表現でPAC-Bayes境界を研究することを提案する。
本稿では,KL を用いた再スケーリング不変な PAC-Bayes 境界のアルゴリズム的側面と,このアプローチによる保証(分散性,データ処理による厳密な境界)について検討する。
関連論文リスト
- A DPI-PAC-Bayesian Framework for Generalization Bounds [13.165517337659933]
我々は、DPI-PAC-Bayesianを略した統一データ処理不等式PAC-Bayesianフレームワークを開発した。
我々は、R'enyiの発散と、データ非依存の事前分布とアルゴリズム依存の後続分布との間で測定された任意の$f$-divergenceの両値に対して、二項Kulback-Leibler一般化ギャップの明示的境界を求める。
論文 参考訳（メタデータ） (2025-07-20T02:55:15Z) - Discrete Probabilistic Inference as Control in Multi-path Environments [84.67055173040107]
本稿では,離散分布と構造化分布からサンプリングする問題を逐次決定問題として考察する。
我々は,GFlowNetが,フローの保存を強制することによって,報酬に比例してオブジェクトをサンプリングするポリシーを学習していることを示す。
また、GFlowNetの文献で見られるフローマッチングの目的が、精度の高いMaxEnt RLアルゴリズムと等価であることも証明した。
論文 参考訳（メタデータ） (2024-02-15T20:20:35Z) - Tighter Generalisation Bounds via Interpolation [16.74864438507713]
本稿では、$(f, Gamma)$-divergenceに基づいて、新しいPAC-Bayes一般化境界を導出するレシピを提案する。
また、PAC-Bayes一般化バウンダリでは、一連の確率発散を補間する。
論文 参考訳（メタデータ） (2024-02-07T18:55:22Z) - Uniform-PAC Guarantees for Model-Based RL with Bounded Eluder Dimension [86.3584476711976]
一般関数クラスと有界エリューダを用いた非線形帯域幅とモデルベースエピソードRLのアルゴリズムを提案する。
達成された一様PACサンプルの複雑性は、最先端の後悔境界や、線形ケースに還元された場合のサンプルの複雑さを保証するという意味で厳密である。
論文 参考訳（メタデータ） (2023-05-15T05:07:45Z) - Controlling Multiple Errors Simultaneously with a PAC-Bayes Bound [18.92870267111897]
Kullback-Leibler 分岐をバウンダリングすることで、豊富な情報を提供できる最初の PAC-Bayes 境界を提供する。
我々の境界は、異なる誤分類の重大さが時間とともに変化する可能性がある場合に特に有用である。
論文 参考訳（メタデータ） (2022-02-11T11:35:21Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳（メタデータ） (2021-10-24T07:58:13Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳（メタデータ） (2021-06-15T17:45:51Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳（メタデータ） (2020-07-13T02:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。