論文の概要: Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets
- arxiv url: http://arxiv.org/abs/2404.17442v1
- Date: Fri, 26 Apr 2024 14:28:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 12:55:05.113662
- Title: Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets
- Title（参考訳）: ランダム集合に関するPAC-ベイズ理論によるデータ依存仮説集合上の一様一般化境界
- Authors: Benjamin Dupuis, Paul Viallard, George Deligiannidis, Umut Simsekli,
- Abstract要約: 我々はまず,データ依存仮説セットを出力するトレーニングアルゴリズムを前提として,厳密な方法でPAC-Bayesianフレームワークを適用した。
このアプローチにより、多くのコンテキストに適用可能な、データ依存のバウンダリを証明できます。
- 参考スコア（独自算出の注目度）: 25.250314934981233
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose data-dependent uniform generalization bounds by approaching the problem from a PAC-Bayesian perspective. We first apply the PAC-Bayesian framework on `random sets' in a rigorous way, where the training algorithm is assumed to output a data-dependent hypothesis set after observing the training data. This approach allows us to prove data-dependent bounds, which can be applicable in numerous contexts. To highlight the power of our approach, we consider two main applications. First, we propose a PAC-Bayesian formulation of the recently developed fractal-dimension-based generalization bounds. The derived results are shown to be tighter and they unify the existing results around one simple proof technique. Second, we prove uniform bounds over the trajectories of continuous Langevin dynamics and stochastic gradient Langevin dynamics. These results provide novel information about the generalization properties of noisy algorithms.
- Abstract（参考訳）: PAC-ベイジアンの観点から問題にアプローチすることで、データ依存の一様一般化境界を提案する。
まず「ランダム集合」に関するPAC-Bayesianフレームワークを厳密な方法で適用し、トレーニングアルゴリズムはトレーニングデータを観察した後のデータ依存仮説を出力すると仮定する。
このアプローチにより、多くのコンテキストに適用可能な、データ依存のバウンダリを証明できます。
このアプローチのパワーを強調するために、我々は2つの主要な応用を検討します。
まず、最近開発されたフラクタル次元に基づく一般化境界のPAC-ベイジアン定式化を提案する。
得られた結果はより厳密であることが示され、1つの簡単な証明手法で既存の結果を統一する。
第二に、連続ランゲヴィン力学と確率勾配ランゲヴィン力学の軌道上の一様境界を証明する。
これらの結果は、ノイズアルゴリズムの一般化特性に関する新しい情報を提供する。
関連論文リスト
- An Information-Theoretic Approach to Generalization Theory [27.87324770020133]
学習アルゴリズムと学習データ間の依存度を定量化する情報理論境界を解析する。
一定のプライバシーパラメータを持つ場合であっても,最大リークが制限されたアルゴリズムにより一般化が保証されることを示す。
論文 参考訳（メタデータ） (2024-08-20T10:08:21Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Federated PAC-Bayesian Learning on Non-IID data [18.838513808688287]
我々は,非IID局所データに適した非空き連合型PAC-Bayesian境界を初めて提示する。
導出境界の最適化のための目的関数とイノベーティブなギブスに基づくアルゴリズムを導入する。
論文 参考訳（メタデータ） (2023-09-13T02:44:01Z) - Joint Bayesian Inference of Graphical Structure and Parameters with a
Single Generative Flow Network [59.79008107609297]
本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。
サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。
パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
論文 参考訳（メタデータ） (2023-05-30T19:16:44Z) - Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。
本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。
提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
論文 参考訳（メタデータ） (2023-01-03T05:38:43Z) - GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP,
and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。
本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。
低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文 参考訳（メタデータ） (2022-11-03T16:42:40Z) - Robustness Implies Generalization via Data-Dependent Generalization
Bounds [24.413499775513145]
本稿では、ロバスト性はデータ依存の一般化境界による一般化を意味することを示す。
本稿では,LassoとDeep Learningのいくつかの例を紹介する。
論文 参考訳（メタデータ） (2022-06-27T17:58:06Z) - Optimizing Information-theoretical Generalization Bounds via Anisotropic
Noise in SGLD [73.55632827932101]
SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。
低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
論文 参考訳（メタデータ） (2021-10-26T15:02:27Z) - Partial Counterfactual Identification from Observational and
Experimental Data [83.798237968683]
観測データと実験データの任意の組み合わせから最適境界を近似する有効なモンテカルロアルゴリズムを開発した。
我々のアルゴリズムは、合成および実世界のデータセットに基づいて広範囲に検証されている。
論文 参考訳（メタデータ） (2021-10-12T02:21:30Z) - Information Complexity and Generalization Bounds [0.0]
ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。
本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
論文 参考訳（メタデータ） (2021-05-04T20:37:57Z) - PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。
学習したデータ依存分布はランダム化予測に使用される。
論文 参考訳（メタデータ） (2020-06-23T14:30:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。