論文の概要: Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2312.12480v2
• Date: Wed, 27 Mar 2024 10:12:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 22:13:36.040964
• Title: Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation
• Title（参考訳）: Continual-MAE:Continuous Test-Time Adaptationのための適応分布マスク付きオートエンコーダ
• Authors: Jiaming Liu, Ran Xu, Senqiao Yang, Renrui Zhang, Qizhe Zhang, Zehui Chen, Yandong Guo, Shanghang Zhang,
• Abstract要約: 連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 49.827306773992376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Test-Time Adaptation (CTTA) is proposed to migrate a source pre-trained model to continually changing target distributions, addressing real-world dynamism. Existing CTTA methods mainly rely on entropy minimization or teacher-student pseudo-labeling schemes for knowledge extraction in unlabeled target domains. However, dynamic data distributions cause miscalibrated predictions and noisy pseudo-labels in existing self-supervised learning methods, hindering the effective mitigation of error accumulation and catastrophic forgetting problems during the continual adaptation process. To tackle these issues, we propose a continual self-supervised method, Adaptive Distribution Masked Autoencoders (ADMA), which enhances the extraction of target domain knowledge while mitigating the accumulation of distribution shifts. Specifically, we propose a Distribution-aware Masking (DaM) mechanism to adaptively sample masked positions, followed by establishing consistency constraints between the masked target samples and the original target samples. Additionally, for masked tokens, we utilize an efficient decoder to reconstruct a hand-crafted feature descriptor (e.g., Histograms of Oriented Gradients), leveraging its invariant properties to boost task-relevant representations. Through conducting extensive experiments on four widely recognized benchmarks, our proposed method attains state-of-the-art performance in both classification and segmentation CTTA tasks. Our project page: https://sites.google.com/view/continual-mae/home.
• Abstract（参考訳）: 実世界のダイナミズムに対処するため,CTTA (Continuous Test-Time Adaptation) が提案されている。 既存のCTTA法は、主にエントロピーの最小化や教師による擬似ラベル方式に頼っている。 しかし、動的データ分布は、既存の自己教師付き学習手法における誤校正予測やノイズのある擬似ラベルを引き起こし、継続的な適応過程におけるエラー蓄積と破滅的な忘れの問題の効果的軽減を妨げている。 これらの課題に対処するため,適応分布マスケドオートエンコーダ (ADMA) を連続的に提案し,分散シフトの蓄積を軽減しつつ,対象領域の知識の抽出を強化する。 具体的には、マスクされた位置を適応的にサンプリングする分散対応マスキング(DaM)機構を提案し、マスクされたターゲットサンプルと元のターゲットサンプルとの一貫性の制約を確立する。 さらに,マスク付きトークンに対しては,手作りの特徴記述子(例えば,向き付け勾配のヒストグラム)の再構成に効率的なデコーダを用い,その不変性を利用してタスク関連表現を向上する。 提案手法は,広く認識されている4つのベンチマークに対して広範な実験を行うことで,分類および分割CTTAタスクにおける最先端のパフォーマンスを実現する。 私たちのプロジェクトページは、https://sites.google.com/view/continual-mae/homeです。

関連論文リスト

• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは,ポイントマスク自動エンコーダのグローバルな特徴表現を強化する,自己教師型学習フレームワークである。 PseudoNeg-MAE は ModelNet40 と ScanObjectNN のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Reshaping the Online Data Buffering and Organizing Mechanism for Continual Test-Time Adaptation [49.53202761595912]
  継続的なテスト時間適応は、訓練済みのソースモデルを適用して、教師なしのターゲットドメインを継続的に変更する。 我々は、オンライン環境、教師なしの自然、エラー蓄積や破滅的な忘れのリスクなど、このタスクの課題を分析する。 教師なしシングルパスデータストリームから重要サンプルを高い確実性で識別・集約する不確実性を考慮したバッファリング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-12T15:48:40Z)
• Distribution-Aware Continual Test-Time Adaptation for Semantic Segmentation [33.75630514826721]
  実世界の応用において, セマンティックセグメンテーションCTTAを効率的かつ実用的なものにするための分散対応チューニング(DAT)手法を提案する。 DATは、連続的な適応プロセス中にデータ分布に基づいて、トレーニング可能なパラメータの2つの小さなグループを適応的に選択し、更新する。 我々は2つの広く使われているセマンティックセマンティックセマンティクスCTTAベンチマークで実験を行い、従来の最先端手法と比較して有望な性能を実現した。
  論文  参考訳（メタデータ） (2023-09-24T10:48:20Z)
• Predicting Class Distribution Shift for Reliable Domain Adaptive Object Detection [2.5193191501662144]
  Unsupervised Domain Adaptive Object Detection (UDA-OD) は、オープンワールド環境におけるロボットビジョンシステムの信頼性を向上させるために、非ラベルデータを使用する。 自己学習に基づくUDA-ODに対する従来のアプローチは、画像の一般的な外観の変化を克服するのに有効である。 本稿では,自己学習における疑似ラベルの信頼性を向上させるために,クラス分散シフトに明示的に対処するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-13T00:46:34Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• Feature Diversity Learning with Sample Dropout for Unsupervised Domain Adaptive Person Re-identification [0.0]
  本稿では,ノイズの多い擬似ラベルを限定することで,より優れた一般化能力を持つ特徴表現を学習する手法を提案する。 我々は,古典的な相互学習アーキテクチャの下で,FDL(Feature Diversity Learning)と呼ばれる新しい手法を提案する。 実験の結果,提案するFDL-SDは,複数のベンチマークデータセット上での最先端性能を実現することがわかった。
  論文  参考訳（メタデータ） (2022-01-25T10:10:48Z)
• Generative Self-training for Cross-domain Unsupervised Tagged-to-Cine MRI Synthesis [10.636015177721635]
  クロスドメイン画像合成のための連続値予測と回帰目標を用いた新たな自己学習フレームワークを提案する。 具体的には,疑似ラベルを不確実性マスクでフィルタリングし,実際のベイズ学習を用いて生成した画像の予測信頼度を定量化する。
  論文  参考訳（メタデータ） (2021-06-23T16:19:00Z)
• Cycle Self-Training for Domain Adaptation [85.14659717421533]
  Cycle Self-Training (CST) は、ドメイン間の一般化に擬似ラベルを強制する、原則付き自己学習アルゴリズムである。 CSTは目標の真理を回復し、不変の機能学習とバニラ自己訓練の両方が失敗する。 実験結果から,標準的なUDAベンチマークでは,CSTは先行技術よりも大幅に改善されていることが示唆された。
  論文  参考訳（メタデータ） (2021-03-05T10:04:25Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。