論文の概要: A Probabilistic Framework for Lifelong Test-Time Adaptation
- arxiv url: http://arxiv.org/abs/2212.09713v2
- Date: Tue, 4 Apr 2023 07:52:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 18:19:08.497543
- Title: A Probabilistic Framework for Lifelong Test-Time Adaptation
- Title（参考訳）: 生涯テスト時間適応のための確率的フレームワーク
- Authors: Dhanajit Brahma and Piyush Rai
- Abstract要約: テスト時間適応(TTA)は、異なるターゲットドメインから与えられたテスト入力(s)の推測時間で事前訓練されたソースモデルを更新する問題である。
PETAL(Probabilistic lifElong Test-time Adaptation with seLf-training prior)は,確率的アプローチを用いて生涯TTAを解決する。
本手法は, 様々なベンチマークにおいて, オンライン・ライフタイム・テスト・タイム・アダプティブの最先端技術よりも優れた結果が得られる。
- 参考スコア（独自算出の注目度）: 34.07074915005366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test-time adaptation (TTA) is the problem of updating a pre-trained source
model at inference time given test input(s) from a different target domain.
Most existing TTA approaches assume the setting in which the target domain is
stationary, i.e., all the test inputs come from a single target domain.
However, in many practical settings, the test input distribution might exhibit
a lifelong/continual shift over time. Moreover, existing TTA approaches also
lack the ability to provide reliable uncertainty estimates, which is crucial
when distribution shifts occur between the source and target domain. To address
these issues, we present PETAL (Probabilistic lifElong Test-time Adaptation
with seLf-training prior), which solves lifelong TTA using a probabilistic
approach, and naturally results in (1) a student-teacher framework, where the
teacher model is an exponential moving average of the student model, and (2)
regularizing the model updates at inference time using the source model as a
regularizer. To prevent model drift in the lifelong/continual TTA setting, we
also propose a data-driven parameter restoration technique which contributes to
reducing the error accumulation and maintaining the knowledge of recent domains
by restoring only the irrelevant parameters. In terms of predictive error rate
as well as uncertainty based metrics such as Brier score and negative
log-likelihood, our method achieves better results than the current
state-of-the-art for online lifelong test-time adaptation across various
benchmarks, such as CIFAR-10C, CIFAR-100C, ImageNetC, and ImageNet3DCC
datasets. The source code for our approach is accessible at
https://github.com/dhanajitb/petal.
- Abstract（参考訳）: テスト時間適応(TTA)は、異なるターゲットドメインから与えられたテスト入力(s)の推測時間で事前訓練されたソースモデルを更新する問題である。
既存のほとんどのTTAアプローチは、ターゲットドメインが定常な設定、すなわち全てのテスト入力が単一のターゲットドメインから来ていると仮定する。
しかし、多くの実践的な環境では、テスト入力分布は時間とともに寿命と連続的な変化を示す可能性がある。
さらに、既存のTTAアプローチでは、ソースとターゲットドメイン間の分散シフトが発生した場合、信頼性の高い不確実性推定を提供する能力も欠如している。
これらの課題に対処するため,PETAL(Probabilistic lifElong Test-time Adaptation with seLf-training prior)を提案する。これは確率的アプローチを用いて生涯TTAを解決するもので,(1)教師モデルが学生モデルの指数的な移動平均であるような学習者フレームワークであり,(2)ソースモデルを正規化子として推論時にモデル更新を規則化する。
また、寿命/連続TTA設定におけるモデルドリフトを防止するため、無関係なパラメータのみを復元することにより、エラー蓄積の低減と最近のドメインの知識維持に寄与するデータ駆動パラメータ復元手法を提案する。
CIFAR-10C, CIFAR-100C, ImageNetC, ImageNet3DCCデータセットなどの様々なベンチマークにおいて, 予測誤差率や, Brier スコアや負のログ類似度などの不確実性に基づく測定値に関して, オンラインライフタイム適応における現状よりも優れた結果が得られた。
このアプローチのソースコードはhttps://github.com/dhanajitb/petal.comからアクセスできます。
関連論文リスト
- DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。
単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。
Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
論文 参考訳（メタデータ） (2024-09-28T15:03:28Z) - ETAGE: Enhanced Test Time Adaptation with Integrated Entropy and Gradient Norms for Robust Model Performance [18.055032898349438]
テスト時間適応(TTA)は、トレーニング分布から逸脱した未確認のテストデータを扱うために、ディープラーニングモデルを備えている。
本稿では,エントロピー最小化と勾配ノルム,PLPDを統合した改良TTA手法ETAGEを紹介する。
提案手法は,高エントロピーと高勾配ノルムを適応から組み合わせることで,不安定を生じにくいサンプルを優先する。
論文 参考訳（メタデータ） (2024-09-14T01:25:52Z) - Persistent Test-time Adaptation in Recurring Testing Scenarios [12.024233973321756]
現在のテスト時間適応(TTA)アプローチは、継続的に変化する環境に機械学習モデルを適用することを目的としている。
しかし,TTA法が長期にわたって適応性を維持することができるかどうかは不明である。
本稿では,モデルが崩壊に向かって変動していることを検知し,適応戦略を調整する永続的TTA(PeTTA)を提案する。
論文 参考訳（メタデータ） (2023-11-30T02:24:44Z) - DELTA: degradation-free fully test-time adaptation [59.74287982885375]
テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。
まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。
第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
論文 参考訳（メタデータ） (2023-01-30T15:54:00Z) - Robust Mean Teacher for Continual and Gradual Test-Time Adaptation [5.744133015573047]
経時的テスト時間適応(TTA)は、単一のドメインシフトだけでなく、一連のシフトも考慮している。
我々は,TTAの設定において,平均教師の整合性損失として対称的クロスエントロピーが適していることを示す。
提案手法は, 連続的, 段階的評価ベンチマークにおいて, RMT (Robust mean teacher) の有効性を実証する。
論文 参考訳（メタデータ） (2022-11-23T16:14:45Z) - TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。
また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
論文 参考訳（メタデータ） (2022-09-23T07:47:33Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳（メタデータ） (2022-06-01T03:02:07Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z) - Continual Test-Time Domain Adaptation [94.51284735268597]
テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。
CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
論文 参考訳（メタデータ） (2022-03-25T11:42:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。