論文の概要: Progress in Self-Certified Neural Networks

• arxiv url: http://arxiv.org/abs/2111.07737v1
• Date: Mon, 15 Nov 2021 13:39:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-16 23:52:23.677712
• Title: Progress in Self-Certified Neural Networks
• Title（参考訳）: 自己認証ニューラルネットワークの進歩
• Authors: Maria Perez-Ortiz, Omar Rivasplata, Emilio Parrado-Hernandez, Benjamin Guedj, John Shawe-Taylor
• Abstract要約: 学習方法は、すべての利用可能なデータを用いて予測器を同時に学習し、その品質を認証した場合、自己証明される。 最近の研究では、PAC-Bayes境界の最適化によってトレーニングされたニューラルネットワークモデルが正確な予測に結びつくことが示されている。 本研究では,データ飢餓体制において,テストセット境界のデータを保持することが一般化性能に悪影響を及ぼすことを示す。
• 参考スコア（独自算出の注目度）: 13.434562713466246
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A learning method is self-certified if it uses all available data to simultaneously learn a predictor and certify its quality with a statistical certificate that is valid on unseen data. Recent work has shown that neural network models trained by optimising PAC-Bayes bounds lead not only to accurate predictors, but also to tight risk certificates, bearing promise towards achieving self-certified learning. In this context, learning and certification strategies based on PAC-Bayes bounds are especially attractive due to their ability to leverage all data to learn a posterior and simultaneously certify its risk. In this paper, we assess the progress towards self-certification in probabilistic neural networks learnt by PAC-Bayes inspired objectives. We empirically compare (on 4 classification datasets) classical test set bounds for deterministic predictors and a PAC-Bayes bound for randomised self-certified predictors. We first show that both of these generalisation bounds are not too far from out-of-sample test set errors. We then show that in data starvation regimes, holding out data for the test set bounds adversely affects generalisation performance, while self-certified strategies based on PAC-Bayes bounds do not suffer from this drawback, proving that they might be a suitable choice for the small data regime. We also find that probabilistic neural networks learnt by PAC-Bayes inspired objectives lead to certificates that can be surprisingly competitive with commonly used test set bounds.
• Abstract（参考訳）: 学習方法は、すべての利用可能なデータを使用して同時に予測器を学習し、その品質を未知のデータで有効な統計証明書で証明する場合、自己認証される。 近年の研究では、PAC-Bayes境界の最適化によってトレーニングされたニューラルネットワークモデルが、正確な予測者だけでなく、リスク証明書の厳格化にもつながり、自己証明学習の実現への期待が示されている。 この文脈では、PAC-Bayes境界に基づく学習と認定戦略が特に魅力的である。 本稿では,pac-bayesインスパイアされた目標によって学習される確率的ニューラルネットワークの自己認証に向けた進歩を評価する。 決定論的予測のための古典的なテストセット境界と、ランダム化された自己認証予測者に対するpac-bayesバウンドを実証的に比較する。 まず、これらの一般化境界が、サンプル外テストセットエラーからそれほど遠くないことを示す。 次に,データ飢餓体制において,テストセット境界のデータを保持することは一般化性能に悪影響を及ぼすが,pac-bayes境界に基づく自己認証戦略は,この欠点に苦しめられず,小規模データ体制に適した選択である可能性が証明される。 また、PAC-Bayesにインスパイアされた目的によって学習された確率論的ニューラルネットワークが、一般的に使用されるテストセット境界と驚くほど競合する証明につながることもわかりました。

関連論文リスト

• FullCert: Deterministic End-to-End Certification for Training and Inference of Neural Networks [62.897993591443594]
  FullCertは、音と決定論的境界を持つ最初のエンドツーエンドの認証器である。 2つのデータセットに対してFullCertの有効性を実験的に示す。
  論文  参考訳（メタデータ） (2024-06-17T13:23:52Z)
• Robust Deep Learning for Autonomous Driving [0.0]
  モデル信頼度を確実に推定する新しい基準を導入する:真のクラス確率(TCP) 真のクラスは本質的にテスト時に未知であるため、補助モデルを用いてデータからTCPの基準を学習し、この文脈に適応した特定の学習スキームを導入することを提案する。 本研究は, 既知モデルに基づく新たな不確実性尺度を導入することで, 誤分類と分布外サンプルを共同で検出する課題に対処する。
  論文  参考訳（メタデータ） (2022-11-14T22:07:11Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)
• Knowledge-driven Active Learning [70.37119719069499]
  アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。 ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。 本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
  論文  参考訳（メタデータ） (2021-10-15T06:11:53Z)
• Learning PAC-Bayes Priors for Probabilistic Neural Networks [32.01506699213665]
  PAC-Bayes境界を最適化することで訓練されたディープラーニングモデルについて、最近の研究で研究されている。 事前構築のために割り当てるべき最適なデータの量は何かを問うとともに、最適なデータがデータセットに依存する可能性があることを示す。
  論文  参考訳（メタデータ） (2021-09-21T16:27:42Z)
• Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
  インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。 敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。 実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
  論文  参考訳（メタデータ） (2021-05-18T17:48:15Z)
• RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
  ラベルのないデータを利用して一般化境界を生成する手法を紹介します。 境界が0-1経験的リスク最小化に有効であることを証明します。 この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
  論文  参考訳（メタデータ） (2021-05-01T17:05:29Z)
• Theoretical Analysis of Self-Training with Deep Networks on Unlabeled Data [48.4779912667317]
  自己学習アルゴリズムは、ニューラルネットワークを使ってラベルのないデータで学ぶことに成功している。 この研究は、半教師なし学習、教師なしドメイン適応、教師なし学習のための深層ネットワークによる自己学習の統一的理論的解析を提供する。
  論文  参考訳（メタデータ） (2020-10-07T19:43:55Z)
• Tighter risk certificates for neural networks [10.462889461373226]
  ここでは、ニューラルネットワークのトレーニングに関連して、初めて使用するトレーニング目標を2つ提示する。 また,従来のPAC-Bayes境界に基づいて,従来使用されていたトレーニング目標を再実装する。 我々は、予測器の学習に使用されるデータの一部に基づいて、学習者予測器のリスク証明書を算出する。
  論文  参考訳（メタデータ） (2020-07-25T11:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。