論文の概要: Temporal Test-Time Adaptation with State-Space Models
- arxiv url: http://arxiv.org/abs/2407.12492v2
- Date: Wed, 02 Oct 2024 17:29:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:19:19.500951
- Title: Temporal Test-Time Adaptation with State-Space Models
- Title(参考訳): 状態空間モデルによる時間的テスト時間適応
- Authors: Mona Schirmer, Dan Zhang, Eric Nalisnick,
- Abstract要約: テストサンプルにモデルを適用することは、パフォーマンスの低下を軽減するのに役立ちます。
ほとんどの試験時間適応法は、合成汚職シフトに重点を置いている。
本稿では,時相分布シフトに対応する確率的状態空間モデルSTADを提案する。
- 参考スコア(独自算出の注目度): 4.248760709042802
- License:
- Abstract: Distribution shifts between training and test data are inevitable over the lifecycle of a deployed model, leading to performance decay. Adapting a model on test samples can help mitigate this drop in performance. However, most test-time adaptation methods have focused on synthetic corruption shifts, leaving a variety of distribution shifts underexplored. In this paper, we focus on distribution shifts that evolve gradually over time, which are common in the wild but challenging for existing methods, as we show. To address this, we propose STAD, a probabilistic state-space model that adapts a deployed model to temporal distribution shifts by learning the time-varying dynamics in the last set of hidden features. Without requiring labels, our model infers time-evolving class prototypes that act as a dynamic classification head. Through experiments on real-world temporal distribution shifts, we show that our method excels in handling small batch sizes and label shift.
- Abstract(参考訳): トレーニングとテストデータの分散シフトは、デプロイされたモデルのライフサイクルにおいて必然的に避けられ、パフォーマンスが低下する。
テストサンプルにモデルを適用することは、パフォーマンスの低下を軽減するのに役立ちます。
しかし、ほとんどの試験時間適応法は、様々な分布シフトを未調査のまま残して、合成汚職シフトに焦点を当てている。
本稿では,時間とともに徐々に進化する分布シフトに着目し,既存の手法に共通するが,既存の手法では困難であることを示す。
そこで本研究では,最後の隠れ特徴集合における時間変動ダイナミクスを学習することにより,時間分布シフトに展開モデルを適用する確率的状態空間モデルSTADを提案する。
ラベルを必要とせずに、我々のモデルは動的分類ヘッドとして機能する時間進化型クラスプロトタイプを推論する。
実世界の時間分布シフトの実験を通して,本手法は小さなバッチサイズやラベルシフトを扱う上で優れていることを示す。
関連論文リスト
- Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳(メタデータ) (2024-04-02T05:34:33Z) - Towards Real-World Test-Time Adaptation: Tri-Net Self-Training with
Balanced Normalization [52.03927261909813]
既存の研究は、非I.d.データストリームと連続的なドメインシフトの下での実際のテスト時間適応を主に検討している。
我々は、最先端手法の失敗は、まず不均衡なテストデータに正規化層を無差別に適応させることによって生じると論じる。
TRIBEと呼ばれる最後のTTAモデルは、バランスの取れたバッチノーム層を持つトリネットアーキテクチャ上に構築されている。
論文 参考訳(メタデータ) (2023-09-26T14:06:26Z) - Distributionally Robust Post-hoc Classifiers under Prior Shifts [31.237674771958165]
本研究では,クラスプライヤやグループプライヤの分布の変化による変化に頑健なトレーニングモデルの問題点について検討する。
本稿では,事前学習モデルからの予測に対するスケーリング調整を行う,非常に軽量なポストホック手法を提案する。
論文 参考訳(メタデータ) (2023-09-16T00:54:57Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳(メタデータ) (2022-06-01T03:02:07Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳(メタデータ) (2022-04-06T06:39:40Z) - On-the-Fly Test-time Adaptation for Medical Image Segmentation [63.476899335138164]
ソースモデルをテスト時にターゲットデータに適応させることは、データシフト問題に対する効率的な解決策である。
本稿では、各畳み込みブロックに適応バッチ正規化層を設けるAdaptive UNetという新しいフレームワークを提案する。
テスト期間中、モデルは新しいテストイメージのみを取り込み、ドメインコードを生成して、テストデータに従ってソースモデルの特徴を適応させる。
論文 参考訳(メタデータ) (2022-03-10T18:51:29Z) - Parameter-free Online Test-time Adaptation [19.279048049267388]
実世界の様々なシナリオにおいて,テスト時間適応手法が事前学習されたモデルにどのような効果をもたらすかを示す。
我々は特に「保守的」なアプローチを提案し、ラプラシアン適応最大推定(LAME)を用いてこの問題に対処する。
提案手法では,既存の手法よりもシナリオの平均精度がはるかに高く,メモリフットプリントもはるかに高速である。
論文 参考訳(メタデータ) (2022-01-15T00:29:16Z) - How to Learn when Data Gradually Reacts to Your Model [10.074466859579571]
我々は,これらの効果が存在する場合でも,性能損失を最小限に抑えるための新しいアルゴリズム Stateful Performative Gradient Descent (Stateful PerfGD) を提案する。
実験の結果, Stateful PerfGD は従来の最先端手法よりもかなり優れていたことが確認された。
論文 参考訳(メタデータ) (2021-12-13T22:05:26Z) - Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。
分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。
本手法は精度と不確実性の両方を向上することを示す。
論文 参考訳(メタデータ) (2021-09-27T01:09:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。