論文の概要: Tightening the Evaluation of PAC Bounds Using Formal Verification Results

• arxiv url: http://arxiv.org/abs/2407.20122v1
• Date: Mon, 29 Jul 2024 15:53:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 13:15:14.412731
• Title: Tightening the Evaluation of PAC Bounds Using Formal Verification Results
• Title（参考訳）: 形式的検証結果を用いたPAC境界評価の強化
• Authors: Thomas Walker, Alessio Lomuscio,
• Abstract要約: 我々は,PAC境界の評価にニューラルネットワークの形式的検証を用いるという新しいアプローチを採っている。 検証結果に既存の境界を条件付けすることで、検証された領域の基盤となる確率質量に比例した厳密化が得られることを示す。
• 参考スコア（独自算出の注目度）: 16.671097256655777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probably Approximately Correct (PAC) bounds are widely used to derive probabilistic guarantees for the generalisation of machine learning models. They highlight the components of the model which contribute to its generalisation capacity. However, current state-of-the-art results are loose in approximating the generalisation capacity of deployed machine learning models. Consequently, while PAC bounds are theoretically useful, their applicability for evaluating a model's generalisation property in a given operational design domain is limited. The underlying classical theory is supported by the idea that bounds can be tightened when the number of test points available to the user to evaluate the model increases. Yet, in the case of neural networks, the number of test points required to obtain bounds of interest is often impractical even for small problems. In this paper, we take the novel approach of using the formal verification of neural systems to inform the evaluation of PAC bounds. Rather than using pointwise information obtained from repeated tests, we use verification results on regions around test points. We show that conditioning existing bounds on verification results leads to a tightening proportional to the underlying probability mass of the verified region.
• Abstract（参考訳）: おそらくPAC境界は、機械学習モデルの一般化に対する確率論的保証を導出するために広く用いられている。 それらは、その一般化能力に寄与するモデルのコンポーネントを強調します。 しかし、現在の最先端の結果は、デプロイされた機械学習モデルの一般化能力の近似においてゆるやかである。 したがって、PACバウンダリは理論的に有用であるが、与えられた操作設計領域におけるモデルの一般化特性を評価するための適用性は制限される。 基礎となる古典理論は、モデルを評価するためにユーザが利用できるテストポイントの数が増えると、境界を締め付けることができるという考えに支えられている。 しかし、ニューラルネットワークの場合、関心の境界を得るために必要なテストポイントの数は、小さな問題であっても実用的ではないことが多い。 本稿では,ニューラルネットワークの形式的検証を用いてPAC境界の評価を行う手法を提案する。 繰り返しテストから得られるポイントワイズ情報を使う代わりに、テストポイント周辺の領域で検証結果を使用する。 検証結果に既存の境界を条件付けすることで、検証された領域の基盤となる確率質量に比例した厳密化が得られることを示す。

関連論文リスト

• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
  ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。 我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
  論文  参考訳（メタデータ） (2023-05-31T08:13:14Z)
• Testing for Overfitting [0.0]
  オーバーフィッティング問題について議論し、トレーニングデータによる評価に標準値と集中値が成立しない理由を説明する。 本稿では,モデルの性能をトレーニングデータを用いて評価できる仮説テストを紹介し,議論する。
  論文  参考訳（メタデータ） (2023-05-09T22:49:55Z)
• Practicality of generalization guarantees for unsupervised domain adaptation with neural networks [7.951847862547378]
  ドメイン適応画像分類タスクにおけるデシラタを満足させる可能性のある文献から既存の境界を評価する。 すべての境界は空で、そのサンプル一般化項は観測されたゆるさの大部分を占める。 ドメインオーバーラップを仮定すると、以前の作業の重み付け拡張が最も厳密な推定可能なバウンダリを提供する。
  論文  参考訳（メタデータ） (2023-03-15T16:05:05Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• A New Family of Generalization Bounds Using Samplewise Evaluated CMI [14.147617330278662]
  本稿では,学習損失と人口損失を連接凸関数を用いて比較する情報理論の一般化境界系を提案する。 これまでに知られていた情報理論境界を拡張することで,この枠組みの汎用性を実証する。 いくつかのシナリオでは、この新しい境界は、以前の境界よりも深いニューラルネットワークの人口減少を厳しく評価する。
  論文  参考訳（メタデータ） (2022-10-12T17:15:44Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• A General Framework for the Practical Disintegration of PAC-Bayesian Bounds [2.516393111664279]
  我々は、分解された境界を与えるために原性を持つ新しいPAC-ベイズ一般化境界を導入する。 我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。
  論文  参考訳（メタデータ） (2021-02-17T09:36:46Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。