論文の概要: A DPI-PAC-Bayesian Framework for Generalization Bounds
- arxiv url: http://arxiv.org/abs/2507.14795v3
- Date: Tue, 29 Jul 2025 01:17:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-30 12:52:36.802281
- Title: A DPI-PAC-Bayesian Framework for Generalization Bounds
- Title（参考訳）: 一般化境界のためのDPI-PAC-Bayesianフレームワーク
- Authors: Muhan Guan, Farhad Farokhi, Jingge Zhu,
- Abstract要約: 我々は、DPI-PAC-Bayesianを略した統一データ処理不等式PAC-Bayesianフレームワークを開発した。
我々は、R'enyiの発散と、データ非依存の事前分布とアルゴリズム依存の後続分布との間で測定された任意の$f$-divergenceの両値に対して、二項Kulback-Leibler一般化ギャップの明示的境界を求める。
- 参考スコア（独自算出の注目度）: 11.922046341518278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop a unified Data Processing Inequality PAC-Bayesian framework -- abbreviated DPI-PAC-Bayesian -- for deriving generalization error bounds in the supervised learning setting. By embedding the Data Processing Inequality (DPI) into the change-of-measure technique, we obtain explicit bounds on the binary Kullback-Leibler generalization gap for both R\'enyi divergence and any $f$-divergence measured between a data-independent prior distribution and an algorithm-dependent posterior distribution. We present three bounds derived under our framework using R\'enyi, Hellinger \(p\) and Chi-Squared divergences. Additionally, our framework also demonstrates a close connection with other well-known bounds. When the prior distribution is chosen to be uniform, our bounds recover the classical Occam's Razor bound and, crucially, eliminate the extraneous \(\log(2\sqrt{n})/n\) slack present in the PAC-Bayes bound, thereby achieving tighter results. The framework thus bridges data-processing and PAC-Bayesian perspectives, providing a flexible, information-theoretic tool to construct generalization guarantees.
- Abstract（参考訳）: 我々は、教師付き学習環境における一般化誤差境界を導出する統合データ処理不等式PAC-Bayesianフレームワーク(略称DPI-PAC-Bayesian)を開発した。
データ処理の不等式(DPI)を測定方法の変更に組み込むことで、R\'enyi の発散と、データ非依存の事前分布とアルゴリズム依存の後続分布の間で測定された任意の$f$-divergenceの両方に対する二項Kullback-Leiblerの一般化ギャップの明示的な境界を求める。
R\'enyi, Hellinger \(p\) および Chi-Squared の発散を用いた3つの境界について述べる。
さらに、我々のフレームワークは、他のよく知られた境界との密接な関係も示しています。
以前の分布が一様であるように選択されたとき、我々の境界は古典的なオッカムのラザー境界を回復し、決定的に、PAC-ベイ境界に存在する外在的な \(\log(2\sqrt{n})/n\) のスラックを排除し、より厳密な結果を得る。
このフレームワークはデータ処理とPAC-ベイズ的視点を橋渡しし、一般化保証を構築するための柔軟な情報理論ツールを提供する。
関連論文リスト
- Distributional Vision-Language Alignment by Cauchy-Schwarz Divergence [83.15764564701706]
本稿では、コーシーシュワルツの発散を相互情報と統合して視覚言語アライメントを行う新しいフレームワークを提案する。
CS分散はInfoNCEのアライメント・ユニフォーム性競合にシームレスに対処し,InfoNCEと補完的な役割を担っていることがわかった。
テキスト・画像生成およびモダリティ横断検索タスクの実験により,本手法が視覚言語アライメントに与える影響を実証した。
論文 参考訳（メタデータ） (2025-02-24T10:29:15Z) - Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets [25.250314934981233]
PAC-Bayesian framework on "random set" を厳密な方法で適用し、トレーニングアルゴリズムがデータ依存仮説セットを出力すると仮定する。
このアプローチにより、多くのコンテキストに適用可能な、データ依存のバウンダリを証明できます。
論文 参考訳（メタデータ） (2024-04-26T14:28:18Z) - Tighter Generalisation Bounds via Interpolation [16.74864438507713]
本稿では、$(f, Gamma)$-divergenceに基づいて、新しいPAC-Bayes一般化境界を導出するレシピを提案する。
また、PAC-Bayes一般化バウンダリでは、一連の確率発散を補間する。
論文 参考訳（メタデータ） (2024-02-07T18:55:22Z) - PAC-Bayes-Chernoff bounds for unbounded losses [9.987130158432755]
PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。
我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
論文 参考訳（メタデータ） (2024-01-02T10:58:54Z) - GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP,
and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。
本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。
低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文 参考訳（メタデータ） (2022-11-03T16:42:40Z) - Bayesian decision-making under misspecified priors with applications to
meta-learning [64.38020203019013]
トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。
性能は不特定な事前条件で優雅に低下することを示す。
論文 参考訳（メタデータ） (2021-07-03T23:17:26Z) - Information Complexity and Generalization Bounds [0.0]
ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。
本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
論文 参考訳（メタデータ） (2021-05-04T20:37:57Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳（メタデータ） (2020-07-13T02:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。