論文の概要: Evaluation of Test-Time Adaptation Under Computational Time Constraints

• arxiv url: http://arxiv.org/abs/2304.04795v2
• Date: Thu, 23 May 2024 10:38:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-26 21:42:06.022371
• Title: Evaluation of Test-Time Adaptation Under Computational Time Constraints
• Title（参考訳）: 計算時間制約下におけるテスト時間適応の評価
• Authors: Motasem Alfarra, Hani Itani, Alejandro Pardo, Shyma Alhuwaider, Merey Ramazanova, Juan C. Pérez, Zhipeng Cai, Matthias Müller, Bernard Ghanem,
• Abstract要約: テスト時間適応(TTA)メソッドは、テスト時にラベルのないデータを活用して、分散シフトに適応する。 現在の評価プロトコルは、この余分なコストの影響を見落とし、実際の適用性に影響を与える。 本稿では,TTA手法のより現実的な評価プロトコルを提案し,一定の速度のデータストリームからデータをオンライン形式で受信する。
• 参考スコア（独自算出の注目度）: 80.40939405129102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a novel online evaluation protocol for Test Time Adaptation (TTA) methods, which penalizes slower methods by providing them with fewer samples for adaptation. TTA methods leverage unlabeled data at test time to adapt to distribution shifts. Although many effective methods have been proposed, their impressive performance usually comes at the cost of significantly increased computation budgets. Current evaluation protocols overlook the effect of this extra computation cost, affecting their real-world applicability. To address this issue, we propose a more realistic evaluation protocol for TTA methods, where data is received in an online fashion from a constant-speed data stream, thereby accounting for the method's adaptation speed. We apply our proposed protocol to benchmark several TTA methods on multiple datasets and scenarios. Extensive experiments show that, when accounting for inference speed, simple and fast approaches can outperform more sophisticated but slower methods. For example, SHOT from 2020, outperforms the state-of-the-art method SAR from 2023 in this setting. Our results reveal the importance of developing practical TTA methods that are both accurate and efficient.
• Abstract（参考訳）: 本稿では,テスト時間適応法(TTA)のオンライン評価プロトコルを提案する。 TTAメソッドは、テスト時にラベルのないデータを活用して、分散シフトに適応する。 多くの効果的な手法が提案されているが、その優れた性能は計算予算を大幅に増加させるコストがかかるのが普通である。 現在の評価プロトコルは、この余分な計算コストの影響を見落とし、実際の適用性に影響を与える。 この問題に対処するため、我々はTTA方式のより現実的な評価プロトコルを提案し、定常速度のデータストリームからオンライン形式でデータを受信し、その手法の適応速度を考慮に入れた。 本稿では,提案プロトコルを用いて,複数のデータセットやシナリオ上でのTTA手法のベンチマークを行う。 広範囲な実験により、推論速度を考慮すると、単純で高速なアプローチはより洗練されているが遅い手法より優れていることが示されている。 例えば、2020年のSHOTは、2023年の最先端のSARよりも優れています。 提案手法は, 精度, 効率の両立した実用的TTA手法を開発することの重要性を明らかにするものである。

関連論文リスト

• Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
  テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。 完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
  論文  参考訳（メタデータ） (2024-04-07T22:31:34Z)
• pSTarC: Pseudo Source Guided Target Clustering for Fully Test-Time Adaptation [15.621092104244003]
  テスト時間適応(TTA)は機械学習において重要な概念であり、モデルが現実世界のシナリオでうまく機能することを可能にする。 そこで本研究では,TTAの比較的未探索領域を実世界のドメインシフト下で解決する手法として,擬似ソースガイドターゲットクラスタリング(pSTarC)を提案する。
  論文  参考訳（メタデータ） (2023-09-02T07:13:47Z)
• Benchmarking Test-Time Adaptation against Distribution Shifts in Image Classification [77.0114672086012]
  テスト時間適応(TTA)は、予測時にのみラベルのないサンプルを活用することにより、モデルの一般化性能を向上させる技術である。 本稿では,広く使用されている5つの画像分類データセット上で,13のTTA手法とその変種を体系的に評価するベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-06T16:59:53Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
  そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。 提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
  論文  参考訳（メタデータ） (2023-04-25T12:29:22Z)
• Robust Test-Time Adaptation in Dynamic Scenarios [9.475271284789969]
  テスト時適応(TTA)は、未ラベルのテストデータストリームのみを用いて、事前訓練されたモデルを分散をテストすることを目的としている。 PTTAの複雑なデータストリームに対してロバストテスト時間適応法(RoTTA)を精査する。 私たちのメソッドは実装が簡単で、迅速なデプロイメントに適しています。
  論文  参考訳（メタデータ） (2023-03-24T10:19:14Z)
• Robust Continual Test-time Adaptation: Instance-aware BN and Prediction-balanced Memory [58.72445309519892]
  テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。 a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
  論文  参考訳（メタデータ） (2022-08-10T03:05:46Z)
• Adaptive Learning of the Optimal Batch Size of SGD [52.50880550357175]
  本稿では,その繰り返しを通じて最適なバッチサイズを適応的に学習し,凸度と滑らかな関数を求める手法を提案する。 実験では、合成データと実データを用いて、ほぼ最適な振る舞いを示す。 我々は,本手法を分散実装に適したサンプリングを含む,文献上考慮されていないいくつかの新しいバッチ戦略に一般化する。
  論文  参考訳（メタデータ） (2020-05-03T14:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。