論文の概要: Benchmarking Test-Time Adaptation against Distribution Shifts in Image Classification

• arxiv url: http://arxiv.org/abs/2307.03133v1
• Date: Thu, 6 Jul 2023 16:59:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 13:18:10.678608
• Title: Benchmarking Test-Time Adaptation against Distribution Shifts in Image Classification
• Title（参考訳）: 画像分類における分布シフトに対するテスト時間適応ベンチマーク
• Authors: Yongcan Yu, Lijun Sheng, Ran He, Jian Liang
• Abstract要約: テスト時間適応(TTA)は、予測時にのみラベルのないサンプルを活用することにより、モデルの一般化性能を向上させる技術である。 本稿では,広く使用されている5つの画像分類データセット上で,13のTTA手法とその変種を体系的に評価するベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 77.0114672086012
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time adaptation (TTA) is a technique aimed at enhancing the generalization performance of models by leveraging unlabeled samples solely during prediction. Given the need for robustness in neural network systems when faced with distribution shifts, numerous TTA methods have recently been proposed. However, evaluating these methods is often done under different settings, such as varying distribution shifts, backbones, and designing scenarios, leading to a lack of consistent and fair benchmarks to validate their effectiveness. To address this issue, we present a benchmark that systematically evaluates 13 prominent TTA methods and their variants on five widely used image classification datasets: CIFAR-10-C, CIFAR-100-C, ImageNet-C, DomainNet, and Office-Home. These methods encompass a wide range of adaptation scenarios (e.g. online adaptation v.s. offline adaptation, instance adaptation v.s. batch adaptation v.s. domain adaptation). Furthermore, we explore the compatibility of different TTA methods with diverse network backbones. To implement this benchmark, we have developed a unified framework in PyTorch, which allows for consistent evaluation and comparison of the TTA methods across the different datasets and network architectures. By establishing this benchmark, we aim to provide researchers and practitioners with a reliable means of assessing and comparing the effectiveness of TTA methods in improving model robustness and generalization performance. Our code is available at https://github.com/yuyongcan/Benchmark-TTA.
• Abstract（参考訳）: テスト時間適応(TTA)は、予測時にのみラベルのないサンプルを活用することにより、モデルの一般化性能を向上させる技術である。 分布シフトに直面するニューラルネットワークシステムのロバスト性を考慮すると,近年,数多くのtta法が提案されている。 しかしながら、これらの手法の評価は、分散シフトやバックボーン、シナリオの設計など、異なる設定の下で行われることが多いため、その効果を検証するための一貫性と公正なベンチマークが欠如している。 そこで本研究では,CIFAR-10-C,CIFAR-100-C,ImageNet-C,DomainNet,Office-Homeの5つの画像分類データセットに対して,13のTTAメソッドとその変種を体系的に評価するベンチマークを提案する。 これらの手法は、幅広い適応シナリオ(例えば、オンライン適応 v.s.オフライン適応、インスタンス適応 v.s.バッチ適応 v.s.ドメイン適応)をカバーする。 さらに,ネットワークバックボーンの異なるTTA手法の互換性についても検討する。 このベンチマークを実装するために、PyTorchで統一されたフレームワークを開発し、異なるデータセットとネットワークアーキテクチャにわたるTTAメソッドの一貫性のある評価と比較を可能にした。 本ベンチマークの確立により、モデルロバスト性および一般化性能を向上させる上でのTTA手法の有効性を評価し、比較する信頼性の高い手段を研究者や実践者に提供することを目指している。 私たちのコードはhttps://github.com/yuyongcan/Benchmark-TTAで利用可能です。

関連論文リスト

• UniTTA: Unified Benchmark and Versatile Framework Towards Realistic Test-Time Adaptation [66.05528698010697]
  Test-Time Adaptationは、テスト中にトレーニング済みのモデルを対象のドメインに適応させることを目的としている。 研究者は様々な挑戦シナリオを特定し、これらの課題に対処するための様々な方法を開発した。 本稿では,包括的かつ広く適用可能な統一テスト時間適応ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-07-29T15:04:53Z)
• Distribution Alignment for Fully Test-Time Adaptation with Dynamic Online Data Streams [19.921480334048756]
  TTA(Test-Time Adaptation)は、テストデータストリームの適応と推論を可能にする。 本稿では,TTAにおける新しい配電アライメント損失を提案する。 我々は、非i.d.シナリオにおける既存の手法を超越し、理想的なi.d.仮定の下で競争性能を維持する。
  論文  参考訳（メタデータ） (2024-07-16T19:33:23Z)
• Towards Evaluating Transfer-based Attacks Systematically, Practically, and Fairly [79.07074710460012]
  ディープニューラルネットワーク(DNN)の敵対的脆弱性に大きな注目を集めている。 ブラックボックスDNNモデルを騙すための転送ベース手法が増えている。 30以上のメソッドを実装した転送ベースアタックベンチマーク(TA-Bench)を確立する。
  論文  参考訳（メタデータ） (2023-11-02T15:35:58Z)
• AR-TTA: A Simple Method for Real-World Continual Test-Time Adaptation [1.4530711901349282]
  本稿では,自律運転のためのデータセット,すなわちCLAD-CとShiFTを用いたテスト時間適応手法の検証を提案する。 現在のテスト時間適応手法は、ドメインシフトの様々な程度を効果的に扱うのに苦労している。 モデル安定性を高めるために、小さなメモリバッファを組み込むことで、確立された自己学習フレームワークを強化する。
  論文  参考訳（メタデータ） (2023-09-18T19:34:23Z)
• pSTarC: Pseudo Source Guided Target Clustering for Fully Test-Time Adaptation [15.621092104244003]
  テスト時間適応(TTA)は機械学習において重要な概念であり、モデルが現実世界のシナリオでうまく機能することを可能にする。 そこで本研究では,TTAの比較的未探索領域を実世界のドメインシフト下で解決する手法として,擬似ソースガイドターゲットクラスタリング(pSTarC)を提案する。
  論文  参考訳（メタデータ） (2023-09-02T07:13:47Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• Evaluation of Test-Time Adaptation Under Computational Time Constraints [80.40939405129102]
  テスト時間適応(TTA)メソッドは、テスト時にラベルのないデータを活用して、分散シフトに適応する。 現在の評価プロトコルは、この余分なコストの影響を見落とし、実際の適用性に影響を与える。 本稿では,TTA手法のより現実的な評価プロトコルを提案し,一定の速度のデータストリームからデータをオンライン形式で受信する。
  論文  参考訳（メタデータ） (2023-04-10T18:01:47Z)
• Test-time Adaptation in the Dynamic World with Compound Domain Knowledge Management [75.86903206636741]
  テスト時間適応(TTA)により、モデルは新しい環境に適応し、テスト時間中にパフォーマンスを向上させることができる。 TTAのいくつかの研究は、継続的に変化する環境において、有望な適応性能を示している。 本稿ではまず,複合ドメイン知識管理を用いた堅牢なTTAフレームワークを提案する。 次に、ソースと現在のターゲットドメイン間のドメイン類似性を用いて適応率を変調する新しい正規化を考案する。
  論文  参考訳（メタデータ） (2022-12-16T09:02:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。