論文の概要: BECoTTA: Input-dependent Online Blending of Experts for Continual
Test-time Adaptation
- arxiv url: http://arxiv.org/abs/2402.08712v2
- Date: Thu, 15 Feb 2024 19:24:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 18:41:07.911703
- Title: BECoTTA: Input-dependent Online Blending of Experts for Continual
Test-time Adaptation
- Title(参考訳): BECoTTA: 連続的なテスト時間適応のためのエキスパートの入力依存オンラインブレンディング
- Authors: Daeun Lee, Jaehong Yoon, Sung Ju Hwang
- Abstract要約: 連続テスト時間適応(CTTA)は、学習済みの知識を維持しながら、継続的に見えない領域に効率的に適応するために必要である。
本稿では,CTTAの入力依存型かつ効率的なフレームワークであるBECoTTAを提案する。
提案手法は, トレーニング可能なパラメータを98%少なく抑えながら, 整合性や漸進性などの複数のCTTAシナリオより優れていた。
- 参考スコア(独自算出の注目度): 66.51952184790365
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Continual Test Time Adaptation (CTTA) is required to adapt efficiently to
continuous unseen domains while retaining previously learned knowledge.
However, despite the progress of CTTA, forgetting-adaptation trade-offs and
efficiency are still unexplored. Moreover, current CTTA scenarios assume only
the disjoint situation, even though real-world domains are seamlessly changed.
To tackle these challenges, this paper proposes BECoTTA, an input-dependent yet
efficient framework for CTTA. We propose Mixture-of-Domain Low-rank Experts
(MoDE) that contains two core components: (i) Domain-Adaptive Routing, which
aids in selectively capturing the domain-adaptive knowledge with multiple
domain routers, and (ii) Domain-Expert Synergy Loss to maximize the dependency
between each domain and expert. We validate our method outperforms multiple
CTTA scenarios including disjoint and gradual domain shits, while only
requiring ~98% fewer trainable parameters. We also provide analyses of our
method, including the construction of experts, the effect of domain-adaptive
experts, and visualizations.
- Abstract(参考訳): 連続テスト時間適応(CTTA)は、学習済みの知識を維持しながら、継続的に見えない領域に効率的に適応するために必要である。
しかし、CTTAの進歩にもかかわらず、忘れられた適応トレードオフと効率性はまだ解明されていない。
さらに、現在のCTTAシナリオは、現実世界のドメインがシームレスに変更されたとしても、相容れない状況のみを前提としている。
そこで本稿では,CTTAの入力依存型かつ効率的なフレームワークであるBECoTTAを提案する。
2つのコアコンポーネントを含むMixture-of-Domain Low-rank Experts (MoDE)を提案する。
(i)複数のドメインルータでドメイン適応知識を選択的に取得するのに役立つドメイン適応ルーティング
(ii)各ドメインとエキスパート間の依存性を最大化するために、ドメイン専門家による相乗効果の損失。
提案手法は,訓練可能なパラメータを約98%少なく抑えながら,複数のCTTAシナリオより優れていた。
また,エキスパートの構築,ドメイン適応型エキスパートの効果,可視化などの手法の分析を行った。
関連論文リスト
- Distribution-Aware Continual Test Time Adaptation for Semantic
Segmentation [35.02574080164679]
実世界の応用において, セマンティックセグメンテーションCTTAを効率的かつ実用的なものにするための分散対応チューニング(DAT)手法を提案する。
DATは、連続的な適応プロセス中にデータ分布に基づいて、トレーニング可能なパラメータの2つの小さなグループを適応的に選択し、更新する。
我々は2つの広く使われているセマンティックセマンティックセマンティクスCTTAベンチマークで実験を行い、従来の最先端手法と比較して有望な性能を実現した。
論文 参考訳(メタデータ) (2023-09-24T10:48:20Z) - ViDA: Homeostatic Visual Domain Adapter for Continual Test Time
Adaptation [49.84571101331491]
目標ドメインの継続的な変更に事前訓練されたモデルを適用するために、CTTAタスクを提案する。
我々はCTTAのためのビジュアルドメインアダプタ(ViDA)を提案し、ドメイン固有知識とドメイン共有知識の両方を明示的に扱う。
提案手法は,CTTAタスクの分類とセグメント化の両方において,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-06-07T11:18:53Z) - META: Mimicking Embedding via oThers' Aggregation for Generalizable
Person Re-identification [68.39849081353704]
Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。
本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
論文 参考訳(メタデータ) (2021-12-16T08:06:50Z) - TAL: Two-stream Adaptive Learning for Generalizable Person
Re-identification [115.31432027711202]
我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。
これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。
我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
論文 参考訳(メタデータ) (2021-11-29T01:27:42Z) - Improving Transferability of Domain Adaptation Networks Through Domain
Alignment Layers [1.3766148734487902]
マルチソースアン教師付きドメイン適応(MSDA)は、ソースモデルの袋から弱い知識を割り当てることで、ラベルのないドメインの予測子を学習することを目的としている。
我々は,DomaIn Alignment Layers (MS-DIAL) のマルチソースバージョンを予測器の異なるレベルに埋め込むことを提案する。
我々の手法は最先端のMSDA法を改善することができ、分類精度の相対利得は+30.64%に達する。
論文 参考訳(メタデータ) (2021-09-06T18:41:19Z) - A New Bidirectional Unsupervised Domain Adaptation Segmentation
Framework [27.13101555533594]
異なるドメイン間のギャップを埋めるために、教師なしドメイン適応(UDA)技術が提案されている。
本稿では,両方向のUDA演奏に対して,非交互表現学習に基づく双方向UDAフレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-18T05:25:11Z) - Cross-domain Imitation from Observations [50.669343548588294]
模擬学習は、専門家の行動を利用して訓練エージェントに適切な報酬関数を設計することの難しさを回避しようとする。
本稿では,専門家とエージェントMDPの相違点が存在する場合に,タスクを模倣する方法の問題について検討する。
このようなドメイン間の対応を学習するための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-05-20T21:08:25Z) - Domain Conditioned Adaptation Network [90.63261870610211]
本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。
これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
論文 参考訳(メタデータ) (2020-05-14T04:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。