論文の概要: Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation
- arxiv url: http://arxiv.org/abs/2506.19022v1
- Date: Mon, 23 Jun 2025 18:17:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-25 19:48:23.337317
- Title: Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation
- Title(参考訳): 連続テスト時間適応のためのオンライン事前知識を集約する直交射影部分空間
- Authors: Jinlong Li, Dong Zhao, Qi Zang, Zequn Jie, Lin Ma, Nicu Sebe,
- Abstract要約: 連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。
我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
- 参考スコア(独自算出の注目度): 67.80294336559574
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual Test Time Adaptation (CTTA) is a task that requires a source pre-trained model to continually adapt to new scenarios with changing target distributions. Existing CTTA methods primarily focus on mitigating the challenges of catastrophic forgetting and error accumulation. Though there have been emerging methods based on forgetting adaptation with parameter-efficient fine-tuning, they still struggle to balance competitive performance and efficient model adaptation, particularly in complex tasks like semantic segmentation. In this paper, to tackle the above issues, we propose a novel pipeline, Orthogonal Projection Subspace to aggregate online Prior-knowledge, dubbed OoPk. Specifically, we first project a tuning subspace orthogonally which allows the model to adapt to new domains while preserving the knowledge integrity of the pre-trained source model to alleviate catastrophic forgetting. Then, we elaborate an online prior-knowledge aggregation strategy that employs an aggressive yet efficient image masking strategy to mimic potential target dynamism, enhancing the student model's domain adaptability. This further gradually ameliorates the teacher model's knowledge, ensuring high-quality pseudo labels and reducing error accumulation. We demonstrate our method with extensive experiments that surpass previous CTTA methods and achieve competitive performances across various continual TTA benchmarks in semantic segmentation tasks.
- Abstract(参考訳): 連続テスト時間適応(CTTA)は、ターゲットの分布を変えることなく、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。
既存のCTTA法は主に破滅的な忘れとエラー蓄積の課題を緩和することに焦点を当てている。
特にセマンティックセグメンテーションのような複雑なタスクにおいて、パラメータ効率のよい微調整による適応を忘れることに基づく新しい手法があるが、競争性能と効率的なモデル適応のバランスをとるのに苦戦している。
本稿では,OoPkと呼ばれるオンライン事前知識を集約する新しいパイプライン,Orthogonal Projection Subspaceを提案する。
具体的には、まず、学習済みのソースモデルの知識の整合性を保ちながら、モデルが新しいドメインに適応できるように、直交的にチューニングサブ空間を計画し、破滅的な忘れを緩和する。
そこで,本研究では,攻撃的かつ効率的な画像マスキング戦略を用いて,潜在的な標的ダイナミズムを模倣し,学生モデルのドメイン適応性を向上するオンライン事前知識集約戦略を詳述する。
これにより、教師モデルの知識が徐々に改善され、高品質な擬似ラベルが保証され、エラーの蓄積が減少する。
我々は,従来のCTTA法を超越し,セマンティックセグメンテーションタスクにおける様々な連続TTAベンチマークの競合性能を実現するための広範な実験を行った。
関連論文リスト
- MINGLE: Mixtures of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging [19.916880222546155]
連続モデルマージは、オリジナルのトレーニングデータにアクセスすることなく、個別に微調整されたモデルを逐次統合する。
MINGLEは、少数の未ラベルテストサンプルを使用したテスト時間連続モデルマージのための新しいフレームワークである。
MINGLEは、従来の最先端のメソッドを、さまざまなタスクオーダの平均で7-9%上回っている。
論文 参考訳(メタデータ) (2025-05-17T07:24:22Z) - Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳(メタデータ) (2024-07-11T10:35:53Z) - Test-Time Training for Semantic Segmentation with Output Contrastive
Loss [12.535720010867538]
ディープラーニングベースのセグメンテーションモデルは、公開ベンチマークで印象的なパフォーマンスを達成したが、目に見えない環境にうまく一般化することは、依然として大きな課題である。
本稿では、適応過程を安定させるために、頑健で一般化された表現を学習する能力で知られるコントラストロス(OCL)を紹介する。
本手法は,テスト領域データに対するドメイン適応法を用いて事前学習したモデルに適用した場合においても優れ,そのレジリエンスと適応性を示す。
論文 参考訳(メタデータ) (2023-11-14T03:13:47Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - ViDA: Homeostatic Visual Domain Adapter for Continual Test Time Adaptation [48.039156140237615]
目標ドメインの継続的な変更に事前訓練されたモデルを適用するために、連続的なテスト時間適応タスクを提案する。
我々はCTTA用のVisual Domain Adapter (ViDA) を設計し、ドメイン固有知識とドメイン共有知識の両方を明示的に扱う。
提案手法は,CTTAタスクの分類とセグメント化の両方において,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-06-07T11:18:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。