論文の概要: Learning PAC-Bayes Priors for Probabilistic Neural Networks

• arxiv url: http://arxiv.org/abs/2109.10304v1
• Date: Tue, 21 Sep 2021 16:27:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-22 15:34:55.300323
• Title: Learning PAC-Bayes Priors for Probabilistic Neural Networks
• Title（参考訳）: 確率的ニューラルネットワークのためのPAC-Bayes事前学習
• Authors: Maria Perez-Ortiz and Omar Rivasplata and Benjamin Guedj and Matthew Gleeson and Jingyu Zhang and John Shawe-Taylor and Miroslaw Bober and Josef Kittler
• Abstract要約: PAC-Bayes境界を最適化することで訓練されたディープラーニングモデルについて、最近の研究で研究されている。 事前構築のために割り当てるべき最適なデータの量は何かを問うとともに、最適なデータがデータセットに依存する可能性があることを示す。
• 参考スコア（独自算出の注目度）: 32.01506699213665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works have investigated deep learning models trained by optimising PAC-Bayes bounds, with priors that are learnt on subsets of the data. This combination has been shown to lead not only to accurate classifiers, but also to remarkably tight risk certificates, bearing promise towards self-certified learning (i.e. use all the data to learn a predictor and certify its quality). In this work, we empirically investigate the role of the prior. We experiment on 6 datasets with different strategies and amounts of data to learn data-dependent PAC-Bayes priors, and we compare them in terms of their effect on test performance of the learnt predictors and tightness of their risk certificate. We ask what is the optimal amount of data which should be allocated for building the prior and show that the optimum may be dataset dependent. We demonstrate that using a small percentage of the prior-building data for validation of the prior leads to promising results. We include a comparison of underparameterised and overparameterised models, along with an empirical study of different training objectives and regularisation strategies to learn the prior distribution.
• Abstract（参考訳）: PAC-Bayes境界を最適化することで訓練されたディープラーニングモデルについて、最近の研究で研究されている。 この組み合わせは、正確な分類器だけでなく、極めて厳密なリスク証明書にもつながり、自己証明学習(予測器を学習し、その品質を認証するためにすべてのデータを使用する)への約束を負っている。 本研究では,前者の役割を実証的に検討する。 我々は,データ依存pac-bayesプライオリティを学習するために,戦略やデータ量が異なる6つのデータセットを実験し,それらのデータセットが学習者のテスト性能やリスク証明書の厳密性に与える影響について比較した。 事前構築のために割り当てるべき最適なデータの量は何かを問うとともに、最適なデータがデータセットに依存する可能性があることを示す。 我々は,事前構築データのごく一部を事前検証に使用すると有望な結果が得られることを示す。 本稿では,過度パラメータ化モデルと過度パラメータ化モデルの比較と,事前分布を学習するための異なるトレーニング目標と正規化戦略の実証的研究を含む。

関連論文リスト

• The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes [30.30769701138665]
  我々は、訓練データとテストデータの間の相互影響を浮き彫りにして、ミラーレッド影響仮説を導入し、探求する。 具体的には、テスト予測に対するトレーニングデータの影響を評価することは、等価だが逆問題として再定義することができることを示唆している。 トレーニングポイント毎に前方パスとペアを組むことで,特定のテストサンプルの勾配を計算し,トレーニングデータの影響を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-14T03:43:05Z)
• A Supervised Contrastive Learning Pretrain-Finetune Approach for Time Series [15.218841180577135]
  本稿では,教師付きコントラスト学習を利用して,事前学習データセット内の特徴を識別する新しい事前学習手法を提案する。 次に、事前学習データセットの学習力学とより密に連携することで、目標データの正確な予測を強化するための微調整手順を提案する。
  論文  参考訳（メタデータ） (2023-11-21T02:06:52Z)
• An Analysis of Initial Training Strategies for Exemplar-Free Class-Incremental Learning [36.619804184427245]
  CIL(Class-Incremental Learning)は、データストリームから分類モデルを構築することを目的としている。 破滅的な忘れ物のため、過去のクラスの例を保存できない場合、CILは特に困難である。 大量のデータに対する自己管理的な方法で事前訓練されたモデルの使用は、最近勢いを増している。
  論文  参考訳（メタデータ） (2023-08-22T14:06:40Z)
• Diverse Data Augmentation with Diffusions for Effective Test-time Prompt Tuning [73.75282761503581]
  DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。 DiffTPTがゼロショット精度を平均5.13%向上することを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:36:31Z)
• A Pretrainer's Guide to Training Data: Measuring the Effects of Data Age, Domain Coverage, Quality, & Toxicity [84.6421260559093]
  この研究は、テキスト事前学習に関する文書化されていない直観を検証、定量化、公開するための最大の実験である。 以上の結果から,トレーニングデータをフィルタリングする一大ソリューションが存在しないことが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T15:57:53Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Progress in Self-Certified Neural Networks [13.434562713466246]
  学習方法は、すべての利用可能なデータを用いて予測器を同時に学習し、その品質を認証した場合、自己証明される。 最近の研究では、PAC-Bayes境界の最適化によってトレーニングされたニューラルネットワークモデルが正確な予測に結びつくことが示されている。 本研究では,データ飢餓体制において,テストセット境界のデータを保持することが一般化性能に悪影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2021-11-15T13:39:44Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)
• Tighter risk certificates for neural networks [10.462889461373226]
  ここでは、ニューラルネットワークのトレーニングに関連して、初めて使用するトレーニング目標を2つ提示する。 また,従来のPAC-Bayes境界に基づいて,従来使用されていたトレーニング目標を再実装する。 我々は、予測器の学習に使用されるデータの一部に基づいて、学習者予測器のリスク証明書を算出する。
  論文  参考訳（メタデータ） (2020-07-25T11:02:16Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。