論文の概要: Certification-Enhanced Generalization Bounds
- arxiv url: http://arxiv.org/abs/2610.06238v1
- Date: Mon, 05 Oct 2026 12:40:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-09 17:36:36.674826
- Title: Certification-Enhanced Generalization Bounds
- Title（参考訳）: 認証強化一般化境界
- Abstract要約: 近年の到達可能性解析の進歩は、サンプルデータセット上の与えられたモデルとアルゴリズムの一般化に証明可能な限界をもたらすことが示されている。
本研究では,正規証明アルゴリズムのサンプル固有の結果と,期待される一般化ギャップの有界化に必要な分布解析とを結びつけるために,新しい濃度不等式を開発する。
提案手法は,アルゴリズムに解析的仮定を課すことなく,一定数のアルゴリズムが動作する場合に期待される一般化ギャップの音響境界を計算する。
- 参考スコア（独自算出の注目度）: 5.534626267734823
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the use of formal methods to provide tight and sound generalization bounds for learning algorithms. By casting the traditional notion of algorithmic stability as a specification to be verified, we demonstrate that recent advances in reachability analysis can yield provable bounds on the generalization of a given model and algorithm on a sample dataset. As sample-specific algorithmic stability is insufficient to bound the usual distributional notion of generalization, we develop a novel concentration inequality to connect the sample-specific results of formal certification algorithms to the required distributional analysis for bounding the expected generalization gap. The resulting framework enables the analysis of prior generalization bounds to extend far beyond their original restrictive assumptions. Our approach computes sound bounds on the expected generalization gap in a constant number of algorithm runs without making any analytical assumptions on the algorithm; to achieve non-vacuous bounds we only require that the certified reachable parameter set is bounded --- a condition that we do not assume but formally verify. In practice, we demonstrate that our framework provides formal generalization guarantees that are orders of magnitude tighter than alternative sound computational approaches at scales ranging from toy datasets to fine-tuning classification heads on top of modern large language models. While we implement certification-enhanced versions of several well-known stability results, future extensions of our approach will enable tighter bounds and enhanced practical adoption across the spectrum of modern generalization bounds.
- Abstract（参考訳）: 本稿では,学習アルゴリズムに厳密で音質の高い一般化境界を与えるための形式的手法について検討する。
従来のアルゴリズム安定性の概念を検証すべき仕様とすることで、近年の到達可能性解析の進歩が、与えられたモデルとアルゴリズムの標本データセットへの一般化に証明可能な限界をもたらすことを実証する。
一般化の通常の分布概念を束縛するには,サンプル固有アルゴリズムの安定性が不十分であるため,形式的証明アルゴリズムのサンプル固有結果と期待される一般化ギャップを束縛するために必要な分布解析とを結びつけるために,新たな集中不等式を開発する。
結果として得られるフレームワークは、事前の一般化境界の分析を、元の制限的な仮定を超えて拡張することができる。
提案手法は, 一定の数のアルゴリズムにおいて, 解析的仮定を伴わずに動作し, 期待される一般化ギャップの音場を計算し, 証明された到達可能なパラメータ集合が有界であることが要求される。
実際、我々のフレームワークは、おもちゃのデータセットから現代の大規模言語モデル上での微調整型分類ヘッドまで幅広いスケールで、代替音響計算手法よりも桁違いに厳密な形式的な一般化を保証することを実証している。
いくつかのよく知られた安定結果の認証強化版を実装する一方で、我々のアプローチの今後の拡張により、より厳密な境界が実現され、近代的な一般化境界のスペクトルにわたって実践的採用が促進される。
関連論文リスト
- A Posteriori Certification Framework for Generalized Quantum Arimoto-Blahut Algorithms [41.15017547767954]
本稿では,一般化量子Arimoto-Blahut (QAB) アルゴリズムに対する後続認証の視点を紹介する。
我々は、凸性とかなり弱い数値検証条件の下で、QAB反復が大域最小化器に収束することを示す大域収束定理を証明した。
応用として、チャネルの量子相対エントロピーを計算するための認定反復スキームを開発する。
論文 参考訳（メタデータ） (2026-01-14T09:10:41Z) - A Novel Data-Dependent Learning Paradigm for Large Hypothesis Classes [4.299934797034146]
実験的な推定値の一様収束を真の損失に導くには大きすぎる候補モデルの集合を用いて学習する一般的な課題に対処する。
本稿では,経験的データのより強力な取り込みと,事前の仮定に基づくアルゴリズムによる決定の少ない学習パラダイムを提案する。
論文 参考訳（メタデータ） (2025-11-13T06:02:55Z) - Implicit Regularisation in Diffusion Models: An Algorithm-Dependent Generalisation Analysis [44.468416523840965]
我々は高次元拡散モデルに対するアルゴリズム依存の一般化の理論を開発する。
スコア安定性の観点から一般化バウンダリを導出し,いくつかの基本的な学習環境に適用する。
論文 参考訳（メタデータ） (2025-07-04T18:07:06Z) - Model-Free Kernel Conformal Depth Measures Algorithm for Uncertainty Quantification in Regression Models in Separable Hilbert Spaces [9.504740492278003]
本研究では,条件付き深度測定と統合深度測定に基づくモデルフリー不確実性定量化アルゴリズムを提案する。
新しいアルゴリズムは、予測器と応答が分離可能なヒルベルト空間で定義されるとき、予測領域と許容領域を定義するのに使うことができる。
身体活動に関するデジタルヘルスアプリケーションを通じて、我々のアプローチの実践的妥当性を実証する。
論文 参考訳（メタデータ） (2025-06-10T01:25:37Z) - A General-Purpose Theorem for High-Probability Bounds of Stochastic Approximation with Polyak Averaging [2.378735224874938]
Polyak-Rt平均化は近似アルゴリズムの最適分散を実現するために広く用いられている手法である。
平均的なSA反復の誤差に対する非漸近濃度境界を確立するための一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2025-05-27T21:58:35Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - On the generalization of learning algorithms that do not converge [54.122745736433856]
ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。
最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
論文 参考訳（メタデータ） (2022-08-16T21:22:34Z) - On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。
他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。
ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文 参考訳（メタデータ） (2022-07-01T17:58:29Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - A Distributional Analysis of Sampling-Based Reinforcement Learning
Algorithms [67.67377846416106]
定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。
本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
論文 参考訳（メタデータ） (2020-03-27T05:13:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。