論文の概要: ViDA: Homeostatic Visual Domain Adapter for Continual Test Time
Adaptation
- arxiv url: http://arxiv.org/abs/2306.04344v2
- Date: Sat, 30 Sep 2023 05:55:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 14:11:42.411309
- Title: ViDA: Homeostatic Visual Domain Adapter for Continual Test Time
Adaptation
- Title(参考訳): ViDA: 継続的なテスト時間適応のためのホメオスタティックなビジュアルドメインアダプタ
- Authors: Jiaming Liu, Senqiao Yang, Peidong Jia, Renrui Zhang, Ming Lu, Yandong
Guo, Wei Xue, Shanghang Zhang
- Abstract要約: 目標ドメインの継続的な変更に事前訓練されたモデルを適用するために、CTTAタスクを提案する。
我々はCTTAのためのビジュアルドメインアダプタ(ViDA)を提案し、ドメイン固有知識とドメイン共有知識の両方を明示的に扱う。
提案手法は,CTTAタスクの分類とセグメント化の両方において,最先端の性能を実現する。
- 参考スコア(独自算出の注目度): 49.84571101331491
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since real-world machine systems are running in non-stationary environments,
Continual Test-Time Adaptation (CTTA) task is proposed to adapt the pre-trained
model to continually changing target domains. Recently, existing methods mainly
focus on model-based adaptation, which aims to leverage a self-training manner
to extract the target domain knowledge. However, pseudo labels can be noisy and
the updated model parameters are unreliable under dynamic data distributions,
leading to error accumulation and catastrophic forgetting in the continual
adaptation process. To tackle these challenges and maintain the model
plasticity, we tactfully design a Visual Domain Adapter (ViDA) for CTTA,
explicitly handling both domain-specific and domain-shared knowledge.
Specifically, we first comprehensively explore the different domain
representations of the adapters with trainable high-rank or low-rank embedding
spaces. Then we inject ViDAs into the pre-trained model, which leverages
high-rank and low-rank features to adapt the current domain distribution and
maintain the continual domain-shared knowledge, respectively. To exploit the
low-rank and high-rank ViDAs more effectively, we further propose a Homeostatic
Knowledge Allotment (HKA) strategy, which adaptively combines different
knowledge from each ViDA. Extensive experiments conducted on four widely used
benchmarks demonstrate that our proposed method achieves state-of-the-art
performance in both classification and segmentation CTTA tasks. Note that, our
method can be regarded as a novel transfer paradigm for large-scale models,
delivering promising results in adaptation to continually changing
distributions.
- Abstract(参考訳): 実世界のマシンシステムは静止しない環境で動作しているため、継続テスト時間適応(CTTA)タスクは、トレーニング済みモデルに継続的なターゲットドメインの変更を適用するために提案される。
近年、既存の手法は主にモデルに基づく適応に焦点をあてており、対象ドメイン知識を抽出するために自己学習の方法を活用することを目的としている。
しかし、擬似ラベルはノイズがあり、更新されたモデルパラメータは動的データ分布では信頼できないため、連続的な適応プロセスにおいてエラーの蓄積と破滅的な忘れが生じる。
これらの課題に対処し、モデル可塑性を維持するために、我々は、ドメイン固有知識とドメイン共有知識の両方を明示的に扱いながら、CTTA用のVisual Domain Adapter (ViDA)を正確に設計する。
具体的には、まず、トレーニング可能な高階または低位の埋め込み空間を持つアダプタの異なるドメイン表現を包括的に探索する。
次に、VDAを事前学習モデルに注入し、高階と低階の機能を活用して、現在のドメイン分布に適応し、連続的なドメイン共有知識を維持する。
さらに,低ランクかつ高位のViDAをより効果的に活用するために,各ViDAから異なる知識を適応的に組み合わせたHKA戦略を提案する。
広範に用いられている4つのベンチマーク実験により,本手法は分類とセグメント化の両タスクにおいて最先端の性能を実現することを示す。
注意すべき点は、本手法は大規模モデルにおける新しい伝達パラダイムであり、継続的に変化する分布に適応する有望な結果をもたらす。
関連論文リスト
- Progressive Conservative Adaptation for Evolving Target Domains [76.9274842289221]
従来のドメイン適応は、典型的には、ソースドメインから定常ターゲットドメインに知識を転送する。
このような対象データに対する復元と適応は、時間とともに計算とリソース消費をエスカレートする。
我々は、進歩的保守的適応(PCAda)と呼ばれる、単純で効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2024-02-07T04:11:25Z) - Towards Full-scene Domain Generalization in Multi-agent Collaborative
Bird's Eye View Segmentation for Connected and Autonomous Driving [54.60458503590669]
協調認識の学習段階と推論段階の両方に適用可能な統合ドメイン一般化フレームワークを提案する。
我々は、AmpAug(Amplitude Augmentation)法を用いて、低周波画像の変動を増大させ、学習能力を拡大する。
推論フェーズでは、システム内ドメインアライメント機構を導入し、ドメインの不一致を減らし、潜在的に排除する。
論文 参考訳(メタデータ) (2023-11-28T12:52:49Z) - Progressive Target-Styled Feature Augmentation for Unsupervised Domain
Adaptation on Point Clouds [39.26197419215821]
非教師なしのドメイン適応は、ポイントクラウド分析の分野において重要な課題である。
プログレッシブターゲット型特徴増強(PTSFA)と呼ばれる新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-11-27T07:33:15Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T07:45:53Z) - Pseudo-Trilateral Adversarial Training for Domain Adaptive
Traversability Prediction [8.145900996884993]
トラバーサビリティ予測は、自律ナビゲーションの基本的な認識能力である。
非教師なしドメイン適応(UDA)を行うために、粗大なアライメント(CALI)を採用する新しい知覚モデルを提案する。
いくつかの挑戦的なドメイン適応設定において、提案したモデルが複数のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-26T00:39:32Z) - Heterogeneous Domain Adaptation with Adversarial Neural Representation
Learning: Experiments on E-Commerce and Cybersecurity [7.748670137746999]
Heterogeneous Adversarial Neural Domain Adaptation (HANDA) は異種環境における伝達性を最大化するように設計されている。
画像とテキストの電子商取引ベンチマークを用いて,最先端HDA手法に対する性能評価を3つの実験により行った。
論文 参考訳(メタデータ) (2022-05-05T16:57:36Z) - Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training
for Road Segmentation of Remote Sensing Images [93.50240389540252]
リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。
本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。
2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2021-08-28T09:29:14Z) - Transformer-Based Source-Free Domain Adaptation [134.67078085569017]
本研究では,ソースフリードメイン適応(SFDA)の課題について検討する。
我々は、FDAの一般化モデルを学ぶためのTransformer(TransDA)という、汎用的で効果的なフレームワークを提案する。
論文 参考訳(メタデータ) (2021-05-28T23:06:26Z) - Dynamic Domain Adaptation for Efficient Inference [12.713628738434881]
ドメイン適応(DA)は、ラベル付きソースドメインからラベルなしターゲットドメインへの知識転送を可能にする。
以前のdaアプローチのほとんどは、適応能力を改善するために複雑で強力なディープニューラルネットワークを活用する。
低リソースシナリオにおいて効率的なターゲット推論を同時に実現できる動的ドメイン適応(DDA)フレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-26T08:53:16Z) - Exploiting Diverse Characteristics and Adversarial Ambivalence for
Domain Adaptive Segmentation [20.13548631627542]
新しいドメインにセマンティックセグメンテーションモデルを適用することは重要だが難しい問題だ。
特殊なプログレッシブな敵対的トレーニング機構と新しい自己訓練政策によって強化された条件付き適応フレームワークを提案する。
対象の画像が気象条件によって異なる様々な適応シナリオに対して,本手法を評価する。
論文 参考訳(メタデータ) (2020-12-10T11:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。