論文の概要: Better Aggregation in Test-Time Augmentation
- arxiv url: http://arxiv.org/abs/2011.11156v2
- Date: Mon, 11 Oct 2021 19:58:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 02:11:19.016104
- Title: Better Aggregation in Test-Time Augmentation
- Title(参考訳): テスト時間拡張におけるアグリゲーションの改善
- Authors: Divya Shanmugam, Davis Blalock, Guha Balakrishnan, John Guttag
- Abstract要約: テスト時間拡張(Test-time augmentation)は、テスト入力の変換されたバージョン間での予測の集約である。
重要な発見は、テストタイムの増大が正確性を大幅に向上させたとしても、多くの正しい予測を誤った予測に変更できるということである。
本稿では,テスト時間増強のための学習に基づく手法を提案する。
- 参考スコア(独自算出の注目度): 4.259219671110274
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-time augmentation -- the aggregation of predictions across transformed
versions of a test input -- is a common practice in image classification.
Traditionally, predictions are combined using a simple average. In this paper,
we present 1) experimental analyses that shed light on cases in which the
simple average is suboptimal and 2) a method to address these shortcomings. A
key finding is that even when test-time augmentation produces a net improvement
in accuracy, it can change many correct predictions into incorrect predictions.
We delve into when and why test-time augmentation changes a prediction from
being correct to incorrect and vice versa. Building on these insights, we
present a learning-based method for aggregating test-time augmentations.
Experiments across a diverse set of models, datasets, and augmentations show
that our method delivers consistent improvements over existing approaches.
- Abstract(参考訳): テスト時間拡張 -- テスト入力の変換されたバージョン間での予測の集約 -- は、画像分類において一般的なプラクティスである。
伝統的に、予測は単純な平均で結合される。
本稿では,本稿で紹介する。
1)簡単な平均値が最適以下である場合に光を放つ実験分析
2) これらの欠点に対処する方法。
鍵となる発見は、テスト時の拡張が正解率を正しければ、多くの正しい予測を誤った予測に変える可能性があることである。
テスト時間の増大が予測を正しいものから正しくないものに変更する時期と理由を調べます。
これらの知見に基づいて,テスト時間増強の学習手法を提案する。
さまざまなモデル、データセット、拡張に関する実験は、我々の手法が既存のアプローチよりも一貫した改善をもたらすことを示している。
関連論文リスト
- Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳(メタデータ) (2024-03-18T05:49:45Z) - Contextual Predictive Mutation Testing [17.832774161583036]
MutationBERTは、ソースメソッドの突然変異とテストメソッドを同時にエンコードする予測突然変異テストのアプローチである。
精度が高いため、MutationBERTは、ライブミュータントをチェック・検証する以前のアプローチで費やされた時間の33%を節約する。
我々は、入力表現と、テストマトリックスレベルからテストスイートレベルまで予測を引き上げるためのアグリゲーションアプローチを検証し、同様の性能改善を見出した。
論文 参考訳(メタデータ) (2023-09-05T17:00:15Z) - Regularising for invariance to data augmentation improves supervised
learning [82.85692486314949]
入力毎に複数の拡張を使用すれば、一般化が向上することを示す。
本稿では,個々のモデル予測のレベルにおいて,この不変性を助長する明示的な正規化手法を提案する。
論文 参考訳(メタデータ) (2022-03-07T11:25:45Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳(メタデータ) (2022-02-08T02:59:12Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳(メタデータ) (2021-10-18T17:55:11Z) - How to Evaluate Uncertainty Estimates in Machine Learning for
Regression? [1.4610038284393165]
両手法とも,不確実性評価の品質評価には深刻な欠陥があることが示唆された。
第一に、どちらのアプローチも、予測の不確実性を共同で生み出す別個のコンポーネントを解き放つことはできない。
第3に、予測間隔を直接テストする現在のアプローチには、さらなる欠陥がある。
論文 参考訳(メタデータ) (2021-06-07T07:47:46Z) - Learning Loss for Test-Time Augmentation [25.739449801033846]
本稿では,テスト入力に適した変換を効率的に選択できる新しいインスタンスレベルのテスト時間拡張を提案する。
いくつかの画像分類ベンチマークによる実験結果から,提案したインスタンス認識テスト時拡張により,様々な汚損に対するモデルの堅牢性が向上することが示された。
論文 参考訳(メタデータ) (2020-10-22T03:56:34Z) - Monotonicity in practice of adaptive testing [0.0]
本稿では,最近提案された単調性勾配アルゴリズムを用いて学習した適応テストのためのベイジアンネットワークモデルについて検討する。
手法の質は、チェコ国立数学試験の大規模なデータセットで実証的に評価される。
論文 参考訳(メタデータ) (2020-09-15T10:55:41Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳(メタデータ) (2020-06-19T05:08:43Z) - Balance-Subsampled Stable Prediction [55.13512328954456]
本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。
設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。
合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
論文 参考訳(メタデータ) (2020-06-08T07:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。