論文の概要: Some theoretical improvements on the tightness of PAC-Bayes risk certificates for neural networks

• arxiv url: http://arxiv.org/abs/2510.07935v1
• Date: Thu, 09 Oct 2025 08:34:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.957733
• Title: Some theoretical improvements on the tightness of PAC-Bayes risk certificates for neural networks
• Title（参考訳）: ニューラルネットワークに対するPAC-Bayesリスク証明書の厳密性に関する理論的改善
• Authors: Diego García-Pérez, Emilio Parrado-Hernández, John Shawe-Taylor,
• Abstract要約: 本稿では,PAC-Bayes境界に基づくニューラルネットワークのリスク証明書のユーザビリティ向上に寄与する4つの理論的貢献について述べる。 最初の貢献は、0-1損失のような微分不可能な目的に対する境界を最適化する方法である。 実際,ニューラルネットワークにおけるCIFAR-10の非空一般化境界について述べる。
• 参考スコア（独自算出の注目度）: 6.740983856002761
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents four theoretical contributions that improve the usability of risk certificates for neural networks based on PAC-Bayes bounds. First, two bounds on the KL divergence between Bernoulli distributions enable the derivation of the tightest explicit bounds on the true risk of classifiers across different ranges of empirical risk. The paper next focuses on the formalization of an efficient methodology based on implicit differentiation that enables the introduction of the optimization of PAC-Bayesian risk certificates inside the loss/objective function used to fit the network/model. The last contribution is a method to optimize bounds on non-differentiable objectives such as the 0-1 loss. These theoretical contributions are complemented with an empirical evaluation on the MNIST and CIFAR-10 datasets. In fact, this paper presents the first non-vacuous generalization bounds on CIFAR-10 for neural networks.
• Abstract（参考訳）: 本稿では,PAC-Bayes境界に基づくニューラルネットワークのリスク証明書のユーザビリティ向上に寄与する4つの理論的貢献について述べる。 第一に、ベルヌーイ分布間のKL分散に関する2つの境界は、異なる種類の経験的リスクにおける分類器の真のリスクに関する最も厳密な明示的境界の導出を可能にする。 次に,ネットワーク/モデルに適合する損失・対象関数内にPAC-ベイジアンリスク証明書を最適化できる暗黙差分に基づく効率的な方法論の定式化に着目する。 最後の貢献は、0-1損失のような微分不可能な目的に対する境界を最適化する方法である。 これらの理論的貢献は、MNISTとCIFAR-10データセットに関する経験的評価と補完される。 実際,ニューラルネットワークにおけるCIFAR-10の非空一般化境界について述べる。

関連論文リスト

• Risk-Averse Certification of Bayesian Neural Networks [70.44969603471903]
  本稿では,RAC-BNNと呼ばれるベイズニューラルネットワークに対するリスク・アバース認証フレームワークを提案する。 提案手法はサンプリングと最適化を利用して,BNNの出力集合の音響近似を計算する。 我々は,RAC-BNNを回帰および分類ベンチマークで検証し,その性能を最先端の手法と比較した。
  論文  参考訳（メタデータ） (2024-11-29T14:22:51Z)
• Compositional Curvature Bounds for Deep Neural Networks [7.373617024876726]
  安全クリティカルなアプリケーションにおけるニューラルネットワークの普及を脅かす重要な課題は、敵の攻撃に対する脆弱性である。 本研究では, 連続的に微分可能な深層ニューラルネットワークの2次挙動について検討し, 対向摂動に対する堅牢性に着目した。 ニューラルネットワークの第2微分の証明可能な上界を解析的に計算する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-07T17:50:15Z)
• Implicit Generative Prior for Bayesian Neural Networks [8.013264410621357]
  複雑なデータ構造のための新しいニューラルネットワーク型経験ベイズ(NA-EB)フレームワークを提案する。 NA-EBフレームワークは変分推論と勾配上昇アルゴリズムを組み合わせたものである。 各種タスクの広範囲な評価を通じて,本フレームワークの実践的応用を実証する。
  論文  参考訳（メタデータ） (2024-04-27T21:00:38Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Demystify Optimization and Generalization of Over-parameterized PAC-Bayesian Learning [20.295960197612743]
  PAC-Bayesianは、後部分布における仮説の重み付け平均としてトレーニングエラーを表現できる分析フレームワークである。 PAC-Bayes学習を適用すると、収束結果がカーネルリッジ回帰の解に一致することを示す。 我々はさらに、非確率的ニューラルネットワークに対するラデマッハ複雑性に基づくバウンダリを改良した、均一なPAC-ベイズ一般化バウンダリを特徴付ける。
  論文  参考訳（メタデータ） (2022-02-04T03:49:11Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Efficient Variational Inference for Sparse Deep Learning with Theoretical Guarantee [20.294908538266867]
  スパースディープラーニングは、ディープニューラルネットワークによる巨大なストレージ消費の課題に対処することを目的としている。 本稿では,スパイク・アンド・スラブ前処理による完全ベイズ処理により,疎いディープニューラルネットワークを訓練する。 我々はベルヌーイ分布の連続緩和による計算効率の良い変分推論のセットを開発する。
  論文  参考訳（メタデータ） (2020-11-15T03:27:54Z)
• Differentiable PAC-Bayes Objectives with Partially Aggregated Neural Networks [5.799808780731661]
  ニューラルネットワークのアンサンブルを平均化することで,新たな階層的な勾配推定が可能になることを示す。 これらのネットワークに対するPAC-ベイジアン境界を再構成し、直接最適化可能で微分可能な目的勾配を導出する。 これらのイノベーションによって、トレーニングが簡単になり、競争上の保証につながることが示されています。
  論文  参考訳（メタデータ） (2020-06-22T13:25:32Z)
• Learning Bounds for Risk-sensitive Learning [86.50262971918276]
  リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。 最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
  論文  参考訳（メタデータ） (2020-06-15T05:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。