論文の概要: Dynamic Prompt Allocation and Tuning for Continual Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2412.09308v1
• Date: Thu, 12 Dec 2024 14:24:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:31:40.800823
• Title: Dynamic Prompt Allocation and Tuning for Continual Test-Time Adaptation
• Title（参考訳）: 連続的なテスト時間適応のための動的プロンプトアロケーションとチューニング
• Authors: Chaoran Cui, Yongrui Zhen, Shuai Gong, Chunyun Zhang, Hui Liu, Yilong Yin,
• Abstract要約: 連続的テスト時間適応(CTTA)は、最近、継続的に進行するターゲット分布に適応するために出現している。 既存の手法は通常、モデルパラメータの変動を制限するために明示的な正規化項を含む。 学習可能なドメイン固有のプロンプトを導入し、モデルが対応する対象ドメインに適応するように誘導する。
• 参考スコア（独自算出の注目度）: 29.931721498877483
• License:
• Abstract: Continual test-time adaptation (CTTA) has recently emerged to adapt a pre-trained source model to continuously evolving target distributions, which accommodates the dynamic nature of real-world environments. To mitigate the risk of catastrophic forgetting in CTTA, existing methods typically incorporate explicit regularization terms to constrain the variation of model parameters. However, they cannot fundamentally resolve catastrophic forgetting because they rely on a single shared model to adapt across all target domains, which inevitably leads to severe inter-domain interference. In this paper, we introduce learnable domain-specific prompts that guide the model to adapt to corresponding target domains, thereby partially disentangling the parameter space of different domains. In the absence of domain identity for target samples, we propose a novel dynamic Prompt AllocatIon aNd Tuning (PAINT) method, which utilizes a query mechanism to dynamically determine whether the current samples come from a known domain or an unexplored one. For known domains, the corresponding domain-specific prompt is directly selected, while for previously unseen domains, a new prompt is allocated. Prompt tuning is subsequently performed using mutual information maximization along with structural regularization. Extensive experiments on three benchmark datasets demonstrate the effectiveness of our PAINT method for CTTA. We have released our code at https://github.com/Cadezzyr/PAINT.
• Abstract（参考訳）: 最近CTTA (Continuous Test-time adapt) が出現し、実世界の環境の動的性質に適合する目標分布に事前訓練されたソースモデルを適用するようになった。 CTTAにおける破滅的な忘れ込みのリスクを軽減するため、既存の手法ではモデルパラメータの変動を制限するために明示的な正規化項を組み込むのが一般的である。 しかし、それらは全ての対象ドメインに適応するために単一の共有モデルに依存しており、必然的にドメイン間の激しい干渉を引き起こすため、破滅的な忘れを根本的に解決することができない。 本稿では、学習可能なドメイン固有のプロンプトを導入し、モデルが対応する対象ドメインに適応するように誘導し、異なるドメインのパラメータ空間を部分的に切り離す。 対象サンプルに対するドメインの同一性がない場合、クエリ機構を利用して、現在のサンプルが既知のドメインから来たものなのか、未探索のものなのかを動的に判断する、新しい動的Prompt AllocatIon aNd Tuning(PAINT)手法を提案する。 既知のドメインでは、対応するドメイン固有のプロンプトが直接選択され、以前は見つからなかったドメインでは、新しいプロンプトが割り当てられる。 その後、相互情報の最大化と構造正則化を用いてプロンプトチューニングを行う。 3つのベンチマークデータセットに対する大規模な実験により,CTTAに対するPAINT法の有効性が示された。 私たちはhttps://github.com/Cadezzyr/PAINT.comでコードを公開しました。

関連論文リスト

• DPCore: Dynamic Prompt Coreset for Continual Test-Time Adaptation [11.151967974753925]
  Continuousal Test-Time Adaptation (CTTA)は、ソーストレーニング済みのモデルを、継続的に変更され、目に見えないターゲットドメインに適応させることを目指している。 DPCoreは、さまざまなドメイン変更パターンをまたいだ堅牢なパフォーマンスを実現するために設計されたメソッドである。
  論文  参考訳（メタデータ） (2024-06-15T20:47:38Z)
• StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
  単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。 最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。 データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
  論文  参考訳（メタデータ） (2024-06-01T02:41:34Z)
• Memory-Efficient Prompt Tuning for Incremental Histopathology Classification [69.46798702300042]
  本稿では,経済的なメモリコストのモデル一般化ポテンシャルを育成するための,メモリ効率の良いプロンプトチューニングフレームワークを提案する。 乳癌転移分類と上皮間質組織分類の2つの病理組織学的タスクにより,我々の枠組みを広く評価した。
  論文  参考訳（メタデータ） (2024-01-22T03:24:45Z)
• Revisiting the Domain Shift and Sample Uncertainty in Multi-source Active Domain Transfer [69.82229895838577]
  Active Domain Adaptation (ADA)は、アノテートするターゲットデータの限られた数を選択することで、新しいターゲットドメインにおけるモデル適応を最大限に向上することを目的としている。 この設定は、複数のソースからトレーニングデータを収集するより実践的なシナリオを無視します。 これは、ADAを単一のソースドメインから複数のソースドメインに拡張する、新しい、挑戦的な知識転送の設定を目標にしています。
  論文  参考訳（メタデータ） (2023-11-21T13:12:21Z)
• ViDA: Homeostatic Visual Domain Adapter for Continual Test Time Adaptation [48.039156140237615]
  目標ドメインの継続的な変更に事前訓練されたモデルを適用するために、連続的なテスト時間適応タスクを提案する。 我々はCTTA用のVisual Domain Adapter (ViDA) を設計し、ドメイン固有知識とドメイン共有知識の両方を明示的に扱う。 提案手法は,CTTAタスクの分類とセグメント化の両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-06-07T11:18:53Z)
• Self-Paced Learning for Open-Set Domain Adaptation [50.620824701934]
  従来のドメイン適応手法は、ソースとターゲットドメインのクラスが同一であると仮定する。 オープンセットドメイン適応(OSDA)は、この制限に対処する。 そこで,本研究では,共通クラスと未知クラスを識別するための自己評価学習に基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-10T14:11:09Z)
• Decorate the Newcomers: Visual Domain Prompt for Continual Test Time Adaptation [14.473807945791132]
  Continual Test-Time Adaptation (CTTA) は、ソースデータにアクセスすることなく、ラベルなしのターゲットドメインを継続的に変更することを目的としている。 そこで本論文では,NLPにおける素早い学習によって動機づけられた画像レベルの視覚領域プロンプトを,ソースモデルパラメータを凍結させながら学習することを提案する。
  論文  参考訳（メタデータ） (2022-12-08T08:56:02Z)
• Towards Online Domain Adaptive Object Detection [79.89082006155135]
  既存のオブジェクト検出モデルは、トレーニングデータとテストデータの両方が同じソースドメインからサンプリングされていると仮定します。 オンライン設定における対象領域の一般化を適応・改善する新しい統合適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-11T17:47:22Z)
• Bi-Directional Generation for Unsupervised Domain Adaptation [61.73001005378002]
  教師なしのドメイン適応は、確立されたソースドメイン情報に依存するラベルなしのターゲットドメインを促進する。 従来の手法では、潜在空間におけるドメインの不一致を強制的に低減することで、本質的なデータ構造が破壊される。 本稿では、2つの中間領域をブリッジソースとターゲットドメインに補間する一貫した分類器を用いた双方向生成ドメイン適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-12T09:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。