論文の概要: Adaptive Distribution Masked Autoencoders for Continual Test-Time
Adaptation
- arxiv url: http://arxiv.org/abs/2312.12480v1
- Date: Tue, 19 Dec 2023 15:34:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 18:11:44.271847
- Title: Adaptive Distribution Masked Autoencoders for Continual Test-Time
Adaptation
- Title(参考訳): 連続テスト時間適応のための適応分布マスク付きオートエンコーダ
- Authors: Jiaming Liu, Ran Xu, Senqiao Yang, Renrui Zhang, Qizhe Zhang, Zehui
Chen, Yandong Guo, and Shanghang Zhang
- Abstract要約: 連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。
提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
- 参考スコア(独自算出の注目度): 49.827306773992376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual Test-Time Adaptation (CTTA) is proposed to migrate a source
pre-trained model to continually changing target distributions, addressing
real-world dynamism. Existing CTTA methods mainly rely on entropy minimization
or teacher-student pseudo-labeling schemes for knowledge extraction in
unlabeled target domains. However, dynamic data distributions cause
miscalibrated predictions and noisy pseudo-labels in existing self-supervised
learning methods, hindering the effective mitigation of error accumulation and
catastrophic forgetting problems during the continual adaptation process. To
tackle these issues, we propose a continual self-supervised method, Adaptive
Distribution Masked Autoencoders (ADMA), which enhances the extraction of
target domain knowledge while mitigating the accumulation of distribution
shifts. Specifically, we propose a Distribution-aware Masking (DaM) mechanism
to adaptively sample masked positions, followed by establishing consistency
constraints between the masked target samples and the original target samples.
Additionally, for masked tokens, we utilize an efficient decoder to reconstruct
a hand-crafted feature descriptor (e.g., Histograms of Oriented Gradients),
leveraging its invariant properties to boost task-relevant representations.
Through conducting extensive experiments on four widely recognized benchmarks,
our proposed method attains state-of-the-art performance in both classification
and segmentation CTTA tasks.
- Abstract(参考訳): 実世界のダイナミズムに対処するため,CTTA (Continuous Test-Time Adaptation) が提案されている。
既存のCTTA法は、主にエントロピーの最小化や教師による擬似ラベル方式に頼っている。
しかし、動的データ分布は、既存の自己教師付き学習手法における誤校正予測やノイズのある擬似ラベルを引き起こし、継続的な適応過程におけるエラー蓄積と破滅的な忘れの問題の効果的軽減を妨げる。
これらの課題に対処するため,適応分布マスケドオートエンコーダ (ADMA) を連続的に提案し,分散シフトの蓄積を軽減しつつ,対象領域の知識の抽出を強化する。
具体的には,マスキング位置を適応的にサンプリングし,マスキング対象サンプルと元のターゲットサンプルとの一貫性制約を確立する分散認識マスキング(dam)機構を提案する。
さらに,マスクトークンに対しては,効率の良いデコーダを用いて手作りの特徴記述子(例えば,向き付け勾配のヒストグラム)を再構築し,その不変性を利用してタスク関連表現を増加させる。
提案手法は,広く認識されている4つのベンチマークに対して広範な実験を行うことで,分類および分割CTTAタスクにおける最先端のパフォーマンスを実現する。
関連論文リスト
- Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T07:45:53Z) - Predicting Class Distribution Shift for Reliable Domain Adaptive Object
Detection [2.5193191501662144]
Unsupervised Domain Adaptive Object Detection (UDA-OD) は、オープンワールド環境におけるロボットビジョンシステムの信頼性を向上させるために、非ラベルデータを使用する。
自己学習に基づくUDA-ODに対する従来のアプローチは、画像の一般的な外観の変化を克服するのに有効である。
本稿では,自己学習における疑似ラベルの信頼性を向上させるために,クラス分散シフトに明示的に対処するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-13T00:46:34Z) - MAPS: A Noise-Robust Progressive Learning Approach for Source-Free
Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。
本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文 参考訳(メタデータ) (2023-02-09T12:06:08Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:24:50Z) - Feature Diversity Learning with Sample Dropout for Unsupervised Domain
Adaptive Person Re-identification [0.0]
本稿では,ノイズの多い擬似ラベルを限定することで,より優れた一般化能力を持つ特徴表現を学習する手法を提案する。
我々は,古典的な相互学習アーキテクチャの下で,FDL(Feature Diversity Learning)と呼ばれる新しい手法を提案する。
実験の結果,提案するFDL-SDは,複数のベンチマークデータセット上での最先端性能を実現することがわかった。
論文 参考訳(メタデータ) (2022-01-25T10:10:48Z) - Generative Self-training for Cross-domain Unsupervised Tagged-to-Cine
MRI Synthesis [10.636015177721635]
クロスドメイン画像合成のための連続値予測と回帰目標を用いた新たな自己学習フレームワークを提案する。
具体的には,疑似ラベルを不確実性マスクでフィルタリングし,実際のベイズ学習を用いて生成した画像の予測信頼度を定量化する。
論文 参考訳(メタデータ) (2021-06-23T16:19:00Z) - SENTRY: Selective Entropy Optimization via Committee Consistency for
Unsupervised Domain Adaptation [14.086066389856173]
ランダムな画像変換の委員会の下で,予測整合性に基づいて対象インスタンスの信頼性を判定するUDAアルゴリズムを提案する。
提案アルゴリズムは,予測エントロピーを選択的に最小化し,高い一貫性のあるターゲットインスタンスに対する信頼度を高めるとともに,予測エントロピーを最大化し,高い一貫性の低いインスタンスに対する信頼度を低減する。
擬似ラベルに基づく近似的クラスバランスと組み合わせることで,標準的なUDAベンチマークや,ラベル分布シフト下でのストレス-テスト適応を目的としたベンチマークから,27/31ドメインシフトの最先端よりも大幅に向上した。
論文 参考訳(メタデータ) (2020-12-21T16:24:50Z) - Selective Pseudo-Labeling with Reinforcement Learning for
Semi-Supervised Domain Adaptation [116.48885692054724]
半教師付きドメイン適応のための強化学習に基づく選択擬似ラベル法を提案する。
高精度かつ代表的な擬似ラベルインスタンスを選択するための深層Q-ラーニングモデルを開発する。
提案手法は, SSDAのベンチマークデータセットを用いて評価し, 全ての比較手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2020-12-07T03:37:38Z) - Deep Semi-supervised Knowledge Distillation for Overlapping Cervical
Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。
摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。
実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文 参考訳(メタデータ) (2020-07-21T13:27:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。