論文の概要: Out of distribution robustness with pre-trained Bayesian neural networks

• arxiv url: http://arxiv.org/abs/2206.12361v1
• Date: Fri, 24 Jun 2022 16:08:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-27 13:23:54.019313
• Title: Out of distribution robustness with pre-trained Bayesian neural networks
• Title（参考訳）: 事前学習ベイズニューラルネットワークによる分布ロバスト性の評価
• Authors: Xi Wang and Laurence Aitchison
• Abstract要約: ShiftMatchはベイズニューラルネットワーク(BNN)における新たなトレーニングデータ依存確率 ShiftMatchは、Izmailovらのトレーニングデータ依存の"EmpCov"にインスパイアされている。 CIFAR-10-Cの性能は向上し、EmpCovより優れている。
• 参考スコア（独自算出の注目度）: 36.06632574428665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop ShiftMatch, a new training-data-dependent likelihood for out of distribution (OOD) robustness in Bayesian neural networks (BNNs). ShiftMatch is inspired by the training-data-dependent "EmpCov" priors from Izmailov et al. (2021a) and efficiently matches test-time spatial correlations to those at training time. Critically, ShiftMatch is designed to leave neural network training unchanged, allowing it to use publically available samples from pretrained BNNs. Using pre-trained HMC samples, ShiftMatch gives strong performance improvements on CIFAR-10-C, outperforms EmpCov priors, and is perhaps the first Bayesian method capable of convincingly outperforming plain deep ensembles. ShiftMatch can be integrated with non-Bayesian methods like deep ensembles, where it offers smaller, but still considerable, performance improvements. Overall, Bayesian ShiftMatch gave slightly better accuracy than ensembles with ShiftMatch, though they both had very similar log-likelihoods.
• Abstract（参考訳）: 我々は,ベイズ型ニューラルネットワーク(bnns)のout of distribution(ood)ロバスト性に関する新たなトレーニングデータ依存確率であるshiftmatchを開発した。 ShiftMatchは、Izmailovら(2021a)のトレーニングデータ依存の"EmpCov"にインスパイアされ、トレーニング時間におけるテスト時間空間相関を効率的にマッチングする。 批判的に、ShiftMatchはニューラルネットワークのトレーニングをそのままにして、トレーニング済みのBNNから公開されているサンプルを使用するように設計されている。 事前訓練された hmc サンプルを使用すると、shiftmatch は cifar-10-c の性能が向上し、empcov prior よりも優れている。 shiftmatchはディープアンサンブルのような非ベイズ的手法と統合でき、より小さく、しかし、相当なパフォーマンス改善を提供する。 全体として、Bayesian ShiftMatchはShiftMatchのアンサンブルよりもわずかに精度が良かったが、どちらも非常によく似たログ型であった。

関連論文リスト

• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• DE-CROP: Data-efficient Certified Robustness for Pretrained Classifiers [21.741026088202126]
  そこで本研究では,いくつかのトレーニングサンプルを用いて,事前学習したモデルのロバスト性を証明する新しい手法を提案する。 提案手法は,各トレーニングサンプルに対応するクラス境界および補間標本を生成する。 複数のベンチマークデータセットのベースラインに対する大幅な改善と、課題のあるブラックボックス設定の下でも同様のパフォーマンスを報告しています。
  論文  参考訳（メタデータ） (2022-10-17T10:41:18Z)
• DBN-Mix: Training Dual Branch Network Using Bilateral Mixup Augmentation for Long-Tailed Visual Recognition [7.94190631530826]
  累積学習を必要とせず,DBNの性能を向上させるための簡易かつ効果的な手法を開発した。 提案したDBNアーキテクチャの多数派に対する偏りを緩和するクラス条件温度スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-07-05T17:01:27Z)
• Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
  高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。 本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。 我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
  論文  参考訳（メタデータ） (2022-06-26T00:37:33Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Passive Batch Injection Training Technique: Boosting Network Performance by Injecting Mini-Batches from a different Data Distribution [39.8046809855363]
  この研究は、元の入力データとは異なる分布から追加のデータを利用するディープニューラルネットワークの新しいトレーニング手法を提案する。 私たちの知る限りでは、畳み込みニューラルネットワーク(CNN)のトレーニングを支援するために、異なるデータ分散を利用する最初の研究である。
  論文  参考訳（メタデータ） (2020-06-08T08:17:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。