論文の概要: BoTTA: Benchmarking on-device Test Time Adaptation

• arxiv url: http://arxiv.org/abs/2504.10149v2
• Date: Wed, 16 Apr 2025 13:16:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 11:15:25.245192
• Title: BoTTA: Benchmarking on-device Test Time Adaptation
• Title（参考訳）: BoTTA: デバイス上でのテスト時間適応のベンチマーク
• Authors: Michal Danilowski, Soumyajit Chatterjee, Abhirup Ghosh,
• Abstract要約: テスト時間適応(TTA)は、ラベル付きテストデータやオリジナルのトレーニングセットへのアクセスを必要とせずに、推論中にモデルを適用することでこの問題に対処する。 本稿では,モバイルおよびエッジデバイス上での実用的制約下でのTTA手法の評価を目的としたベンチマークであるBoTTAを提案する。 我々は,これらのシナリオ下での最先端のTTA手法をベンチマークデータセットを用いて評価し,実際のテストベッド上でシステムレベルのメトリクスを報告する。
• 参考スコア（独自算出の注目度）: 0.7278033100480175
• License:
• Abstract: The performance of deep learning models depends heavily on test samples at runtime, and shifts from the training data distribution can significantly reduce accuracy. Test-time adaptation (TTA) addresses this by adapting models during inference without requiring labeled test data or access to the original training set. While research has explored TTA from various perspectives like algorithmic complexity, data and class distribution shifts, model architectures, and offline versus continuous learning, constraints specific to mobile and edge devices remain underexplored. We propose BoTTA, a benchmark designed to evaluate TTA methods under practical constraints on mobile and edge devices. Our evaluation targets four key challenges caused by limited resources and usage conditions: (i) limited test samples, (ii) limited exposure to categories, (iii) diverse distribution shifts, and (iv) overlapping shifts within a sample. We assess state-of-the-art TTA methods under these scenarios using benchmark datasets and report system-level metrics on a real testbed. Furthermore, unlike prior work, we align with on-device requirements by advocating periodic adaptation instead of continuous inference-time adaptation. Experiments reveal key insights: many recent TTA algorithms struggle with small datasets, fail to generalize to unseen categories, and depend on the diversity and complexity of distribution shifts. BoTTA also reports device-specific resource use. For example, while SHOT improves accuracy by $2.25\times$ with $512$ adaptation samples, it uses $1.08\times$ peak memory on Raspberry Pi versus the base model. BoTTA offers actionable guidance for TTA in real-world, resource-constrained deployments.
• Abstract（参考訳）: ディープラーニングモデルの性能は実行時のテストサンプルに大きく依存しており、トレーニングデータ分布からのシフトは精度を大幅に低下させる。 テスト時間適応(TTA)は、ラベル付きテストデータやオリジナルのトレーニングセットへのアクセスを必要とせずに、推論中にモデルを適用することでこの問題に対処する。 アルゴリズムの複雑さ、データとクラスの分散シフト、モデルアーキテクチャ、オフライン対継続的学習など、さまざまな観点からTTAを調査してきたが、モバイルとエッジデバイスに特有の制約はいまだ検討されていない。 本稿では,モバイルおよびエッジデバイス上での実用的制約下でのTTA手法の評価を目的としたベンチマークであるBoTTAを提案する。 評価対象は,限られた資源と利用条件によって生じる4つの課題である。 (i)限定試験サンプル。 (二 カテゴリーに限る。) (三)多様な分布変化、及び (4)サンプル内で重なり合うシフト。 我々は,これらのシナリオ下での最先端のTTA手法をベンチマークデータセットを用いて評価し,実際のテストベッド上でシステムレベルのメトリクスを報告する。 さらに,従来の作業とは違って,連続的な推論時適応ではなく,定期的な適応を提唱することで,デバイス上の要求と整合する。 最近のTTAアルゴリズムは、小さなデータセットと苦労し、目に見えないカテゴリへの一般化に失敗し、分散シフトの多様性と複雑さに依存する。 BoTTAはデバイス固有のリソースの使用も報告している。 例えば、SHOTは512ドルの適応サンプルで2.25\times$の精度を改善するが、Raspberry Piとベースモデルでは1.08\times$のピークメモリを使用する。 BoTTAは、実際のリソース制約のあるデプロイメントにおいて、TTAの実行可能なガイダンスを提供する。

関連論文リスト

• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• Persistent Test-time Adaptation in Recurring Testing Scenarios [12.024233973321756]
  現在のテスト時間適応(TTA)アプローチは、継続的に変化する環境に機械学習モデルを適用することを目的としている。 しかし,TTA法が長期にわたって適応性を維持することができるかどうかは不明である。 本稿では,モデルが崩壊に向かって変動していることを検知し,適応戦略を調整する永続的TTA(PeTTA)を提案する。
  論文  参考訳（メタデータ） (2023-11-30T02:24:44Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [117.72709110877939]
  テスト時間適応(TTA)は、事前訓練されたモデルをテスト中に、予測する前にラベルのないデータに適応する可能性がある。 TTAはテスト時間領域適応、テスト時間バッチ適応、オンラインテスト時間適応といったテストデータの形態に基づいて、いくつかの異なるグループに分類される。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• Robust Test-Time Adaptation in Dynamic Scenarios [9.475271284789969]
  テスト時適応(TTA)は、未ラベルのテストデータストリームのみを用いて、事前訓練されたモデルを分散をテストすることを目的としている。 PTTAの複雑なデータストリームに対してロバストテスト時間適応法(RoTTA)を精査する。 私たちのメソッドは実装が簡単で、迅速なデプロイメントに適しています。
  論文  参考訳（メタデータ） (2023-03-24T10:19:14Z)
• TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
  Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。 また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2022-09-23T07:47:33Z)
• Robust Continual Test-time Adaptation: Instance-aware BN and Prediction-balanced Memory [58.72445309519892]
  テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。 a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
  論文  参考訳（メタデータ） (2022-08-10T03:05:46Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。