論文の概要: Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift

• arxiv url: http://arxiv.org/abs/2006.10963v3
• Date: Thu, 14 Jan 2021 21:11:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 03:48:59.286291
• Title: Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift
• Title（参考訳）: 共変量シフト下におけるロバストネス予測時間バッチ正規化の評価
• Authors: Zachary Nado, Shreyas Padhy, D. Sculley, Alexander D'Amour, Balaji Lakshminarayanan, Jasper Snoek
• Abstract要約: 我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
• 参考スコア（独自算出の注目度）: 81.74795324629712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Covariate shift has been shown to sharply degrade both predictive accuracy and the calibration of uncertainty estimates for deep learning models. This is worrying, because covariate shift is prevalent in a wide range of real world deployment settings. However, in this paper, we note that frequently there exists the potential to access small unlabeled batches of the shifted data just before prediction time. This interesting observation enables a simple but surprisingly effective method which we call prediction-time batch normalization, which significantly improves model accuracy and calibration under covariate shift. Using this one line code change, we achieve state-of-the-art on recent covariate shift benchmarks and an mCE of 60.28\% on the challenging ImageNet-C dataset; to our knowledge, this is the best result for any model that does not incorporate additional data augmentation or modification of the training pipeline. We show that prediction-time batch normalization provides complementary benefits to existing state-of-the-art approaches for improving robustness (e.g. deep ensembles) and combining the two further improves performance. Our findings are supported by detailed measurements of the effect of this strategy on model behavior across rigorous ablations on various dataset modalities. However, the method has mixed results when used alongside pre-training, and does not seem to perform as well under more natural types of dataset shift, and is therefore worthy of additional study. We include links to the data in our figures to improve reproducibility, including a Python notebooks that can be run to easily modify our analysis at https://colab.research.google.com/drive/11N0wDZnMQQuLrRwRoumDCrhSaIhkqjof.
• Abstract（参考訳）: 共変量シフトは、予測精度と深層学習モデルの不確実性推定の校正の両方を著しく低下させることが示されている。 covariateシフトは、現実世界のさまざまなデプロイメント設定で広く使われているため、これは心配です。 しかし,本論文では,予測直前に移動したデータの小さなラベルのないバッチにアクセスできる可能性が頻繁に存在することに留意する。 この興味深い観察により、予測時間バッチ正規化と呼ばれる単純だが驚くほど効果的な手法が可能となり、共変量シフト下でのモデルの精度と校正が大幅に向上する。 この1行のコード変更により、最近のcovariate shiftベンチマークと挑戦的なimagenet-cデータセットのmceが60.28\%という最先端の成果を達成しました。 予測時間バッチ正規化は、ロバスト性(例えばディープアンサンブル)を改善するための既存の最先端のアプローチに補完的な利点を与え、この2つを組み合わせることでパフォーマンスがさらに向上することを示す。 本研究は, この戦略が多種多様なデータセットに対する厳密なアブリケーションのモデル行動に与える影響を詳細に測定した結果から裏付けるものである。 しかし,本手法は,事前学習と併用した場合に混在し,より自然なデータセットシフトの下では性能が良くないと考えられるため,さらなる研究に値する。 例えば、Pythonノートブックはhttps://colab.research.google.com/drive/11N0wDZnMQQuLrRwRoumDCrhSaIhkjof.comで簡単に分析を変更できます。

関連論文リスト

• Drift-Resilient TabPFN: In-Context Learning Temporal Distribution Shifts on Tabular Data [39.40116554523575]
  In-Context Learning with a Prior-Data Fitted Network に基づく新しいアプローチである Drift-Resilient TabPFN を提案する。 先行した合成データセットのベイズ推定を近似することを学ぶ。 精度は0.688から0.744に向上し、OC AUCは0.786から0.832に向上し、キャリブレーションも強化された。
  論文  参考訳（メタデータ） (2024-11-15T23:49:23Z)
• Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
  本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。 限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Towards Backwards-Compatible Data with Confounded Domain Adaptation [0.0]
  一般化ラベルシフト(GLS)を変更することで、汎用データの後方互換性を実現する。 本稿では,ソースとターゲット条件分布のばらつきを最小限に抑えた新しい枠組みを提案する。 ガウス逆Kulback-Leibler分散と最大平均誤差を用いた具体的実装を提供する。
  論文  参考訳（メタデータ） (2022-03-23T20:53:55Z)
• Using calibrator to improve robustness in Machine Reading Comprehension [18.844528744164876]
  ポストホックリランカとしてキャリブレータを用いてロバスト性を向上させる手法を提案する。 敵対的データセットを用いた実験結果から,我々のモデルは10%以上の性能向上を達成できることがわかった。
  論文  参考訳（メタデータ） (2022-02-24T02:16:42Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Efficient remedies for outlier detection with variational autoencoders [8.80692072928023]
  深層生成モデルによって計算される類似度は、ラベルなしデータによる外れ値検出の候補メトリックである。 理論的に定位された補正は、VAE推定値による鍵バイアスを容易に改善することを示す。 また,VAEのアンサンブル上で計算される確率の分散により,ロバストな外乱検出が可能となることを示す。
  論文  参考訳（メタデータ） (2021-08-19T16:00:58Z)
• Backward-Compatible Prediction Updates: A Probabilistic Approach [12.049279991559091]
  本稿では,予測更新問題を定式化し,上記の質問に対する効率的な確率的アプローチを提案する。 標準分類ベンチマークデータセットの広範な実験において,提案手法は後方互換性のある予測更新のための代替戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-02T13:05:31Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。