論文の概要: MEMO: Test Time Robustness via Adaptation and Augmentation
- arxiv url: http://arxiv.org/abs/2110.09506v1
- Date: Mon, 18 Oct 2021 17:55:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 15:12:41.548253
- Title: MEMO: Test Time Robustness via Adaptation and Augmentation
- Title（参考訳）: MEMO: 適応と拡張によるテスト時間のロバスト性
- Authors: Marvin Zhang, Sergey Levine, Chelsea Finn
- Abstract要約: テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
- 参考スコア（独自算出の注目度）: 131.28104376280197
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While deep neural networks can attain good accuracy on in-distribution test
points, many applications require robustness even in the face of unexpected
perturbations in the input, changes in the domain, or other sources of
distribution shift. We study the problem of test time robustification, i.e.,
using the test input to improve model robustness. Recent prior works have
proposed methods for test time adaptation, however, they each introduce
additional assumptions, such as access to multiple test points, that prevent
widespread adoption. In this work, we aim to study and devise methods that make
no assumptions about the model training process and are broadly applicable at
test time. We propose a simple approach that can be used in any test setting
where the model is probabilistic and adaptable: when presented with a test
example, perform different data augmentations on the data point, and then adapt
(all of) the model parameters by minimizing the entropy of the model's average,
or marginal, output distribution across the augmentations. Intuitively, this
objective encourages the model to make the same prediction across different
augmentations, thus enforcing the invariances encoded in these augmentations,
while also maintaining confidence in its predictions. In our experiments, we
demonstrate that this approach consistently improves robust ResNet and vision
transformer models, achieving accuracy gains of 1-8% over standard model
evaluation and also generally outperforming prior augmentation and adaptation
strategies. We achieve state-of-the-art results for test shifts caused by image
corruptions (ImageNet-C), renditions of common objects (ImageNet-R), and, among
ResNet-50 models, adversarially chosen natural examples (ImageNet-A).
- Abstract（参考訳）: ディープニューラルネットワークは、分散テストポイントにおいて高い精度を達成できるが、多くのアプリケーションは、入力の予期せぬ摂動、ドメインの変化、あるいは他の分散シフトの源である場合でさえ、堅牢性を必要とする。
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
近年, テスト時間適応手法が提案されているが, 複数のテストポイントへのアクセスなど, 広く普及するのを防ぐ追加の仮定が導入されている。
本研究では,モデル学習過程を想定せず,テスト時に広く適用可能な手法を研究し,考案することを目的とする。
モデルが確率的かつ適応可能な任意のテスト設定で使用できる単純なアプローチを提案する。 テスト例を示した場合、データポイントで異なるデータ拡張を実行し、モデルの平均値(または限界値)のエントロピーを最小化し、モデルのパラメータを適応(すべて)する。
直感的には、この目的はモデルに対して、異なる拡張にまたがって同じ予測を行うことを奨励し、これらの拡張に符号化された不変性を強制すると同時に、その予測に対する信頼性を維持する。
本実験では,本手法がロバストなresnetモデルと視覚トランスフォーマーモデルを一貫して改善し,標準モデル評価よりも1～8%の精度向上を達成し,また,従来の拡張戦略や適応戦略を概ね上回っていることを実証する。
画像汚損(ImageNet-C)、共通オブジェクトの回帰(ImageNet-R)、ResNet-50モデルのうち、逆選択された自然例(ImageNet-A)について、最先端の結果を得る。
関連論文リスト
- Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳（メタデータ） (2024-04-02T05:34:33Z) - Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳（メタデータ） (2024-03-18T05:49:45Z) - Point-TTA: Test-Time Adaptation for Point Cloud Registration Using
Multitask Meta-Auxiliary Learning [17.980649681325406]
我々は、ポイントクラウド登録(PCR)のための新しいテスト時間適応フレームワークであるPoint-TTAを提案する。
我々のモデルは、テストデータの事前の知識を必要とせずに、テスト時に目に見えない分布に適応することができる。
訓練中は, 補助タスクによる適応モデルにより主タスクの精度が向上するように, メタ補助学習アプローチを用いて訓練を行う。
論文 参考訳（メタデータ） (2023-08-31T06:32:11Z) - Calibrating Deep Neural Networks using Explicit Regularisation and
Dynamic Data Pruning [25.982037837953268]
ディープニューラルネットワーク(DNN)は誤った予測をしがちで、予測された出力と関連する信頼スコアのミスマッチを示すことが多い。
そこで本研究では,分類損失を伴う新たな正規化手法を提案する。
論文 参考訳（メタデータ） (2022-12-20T05:34:58Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z) - Parameter-free Online Test-time Adaptation [19.279048049267388]
実世界の様々なシナリオにおいて,テスト時間適応手法が事前学習されたモデルにどのような効果をもたらすかを示す。
我々は特に「保守的」なアプローチを提案し、ラプラシアン適応最大推定(LAME)を用いてこの問題に対処する。
提案手法では,既存の手法よりもシナリオの平均精度がはるかに高く,メモリフットプリントもはるかに高速である。
論文 参考訳（メタデータ） (2022-01-15T00:29:16Z) - Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。
分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。
本手法は精度と不確実性の両方を向上することを示す。
論文 参考訳（メタデータ） (2021-09-27T01:09:08Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。