論文の概要: BECoTTA: Input-dependent Online Blending of Experts for Continual Test-time Adaptation
- arxiv url: http://arxiv.org/abs/2402.08712v3
- Date: Fri, 31 May 2024 21:14:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 18:43:36.094188
- Title: BECoTTA: Input-dependent Online Blending of Experts for Continual Test-time Adaptation
- Title（参考訳）: BECoTTA: 連続的なテスト時間適応のためのエキスパートの入力依存オンラインブレンディング
- Authors: Daeun Lee, Jaehong Yoon, Sung Ju Hwang,
- Abstract要約: 連続テスト時間適応(CTTA)は、学習済みの知識を維持しながら、継続的に見えない領域に効率的に適応するために必要である。
本稿では,CTTAの入力依存かつ効率的なモジュール化フレームワークであるBECoTTAを提案する。
提案手法は, トレーニング可能なパラメータを98%少なく抑えながら, 整合性や漸進性などの複数のCTTAシナリオに優れることを確認した。
- 参考スコア（独自算出の注目度）: 59.1863462632777
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Continual Test Time Adaptation (CTTA) is required to adapt efficiently to continuous unseen domains while retaining previously learned knowledge. However, despite the progress of CTTA, it is still challenging to deploy the model with improved forgetting-adaptation trade-offs and efficiency. In addition, current CTTA scenarios assume only the disjoint situation, even though real-world domains are seamlessly changed. To address these challenges, this paper proposes BECoTTA, an input-dependent and efficient modular framework for CTTA. We propose Mixture-of Domain Low-rank Experts (MoDE) that contains two core components: (i) Domain-Adaptive Routing, which helps to selectively capture the domain adaptive knowledge with multiple domain routers, and (ii) Domain-Expert Synergy Loss to maximize the dependency between each domain and expert. We validate that our method outperforms multiple CTTA scenarios, including disjoint and gradual domain shits, while only requiring ~98% fewer trainable parameters. We also provide analyses of our method, including the construction of experts, the effect of domain-adaptive experts, and visualizations.
- Abstract（参考訳）: 連続テスト時間適応(CTTA)は、学習済みの知識を維持しながら、継続的に見えない領域に効率的に適応するために必要である。
しかし、CTTAの進歩にもかかわらず、忘れられた適応トレードオフと効率を改善してモデルをデプロイすることは依然として困難である。
さらに、現在のCTTAシナリオは、現実世界のドメインがシームレスに変更されたとしても、相容れない状況のみを前提としている。
これらの課題に対処するために,CTTAの入力依存かつ効率的なモジュラーフレームワークであるBECoTTAを提案する。
2つのコアコンポーネントを含むMixture-of Domain Low-rank Experts (MoDE)を提案する。
(i)複数のドメインルータでドメイン適応知識を選択的にキャプチャするのに役立つドメイン適応ルーティング
(ii) 各ドメインと専門家間の依存関係を最大化するために、ドメイン-専門家のシナジー損失。
提案手法は, トレーニング可能なパラメータを約98%削減した上で, 整合性や漸進性などの複数のCTTAシナリオに優れることを確認した。
また,エキスパートの構築,ドメイン適応型エキスパートの効果,可視化などの手法の分析を行った。
関連論文リスト
- Adaptive Conditional Expert Selection Network for Multi-domain Recommendation [10.418133538132635]
Mixture-of-Experts (MOE)は、最近マルチドメインレコメンデーション(MDR)におけるデファクトスタンダードになっている。
CESAAは、Conditional Expert Selection (CES) ModuleとAdaptive Expert Aggregation (AEA) Moduleで構成されている。
AEAは、専門家と特定のドメイン間の相関を強化するために、相互情報損失を利用しており、専門家の区別を大幅に改善している。
論文 参考訳（メタデータ） (2024-11-11T09:39:31Z) - Hybrid-TTA: Continual Test-time Adaptation via Dynamic Domain Shift Detection [14.382503104075917]
継続的テスト時間適応(CTTA)は、制御されたトレーニング環境と実世界のシナリオの間のドメインギャップを埋めるための重要なアプローチとして登場した。
本稿では,最適適応のためのインスタンスワイドチューニング手法を動的に選択する総合的手法であるHybrid-TTAを提案する。
提案手法は,Cityscapes-to-ACDCベンチマークデータセットにおけるmIoUの1.6%改善を実現する。
論文 参考訳（メタデータ） (2024-09-13T06:36:31Z) - Distribution-Aware Continual Test-Time Adaptation for Semantic Segmentation [33.75630514826721]
実世界の応用において, セマンティックセグメンテーションCTTAを効率的かつ実用的なものにするための分散対応チューニング(DAT)手法を提案する。
DATは、連続的な適応プロセス中にデータ分布に基づいて、トレーニング可能なパラメータの2つの小さなグループを適応的に選択し、更新する。
我々は2つの広く使われているセマンティックセマンティックセマンティクスCTTAベンチマークで実験を行い、従来の最先端手法と比較して有望な性能を実現した。
論文 参考訳（メタデータ） (2023-09-24T10:48:20Z) - Test-time Adaptation in the Dynamic World with Compound Domain Knowledge
Management [75.86903206636741]
テスト時間適応(TTA)により、モデルは新しい環境に適応し、テスト時間中にパフォーマンスを向上させることができる。
TTAのいくつかの研究は、継続的に変化する環境において、有望な適応性能を示している。
本稿ではまず,複合ドメイン知識管理を用いた堅牢なTTAフレームワークを提案する。
次に、ソースと現在のターゲットドメイン間のドメイン類似性を用いて適応率を変調する新しい正規化を考案する。
論文 参考訳（メタデータ） (2022-12-16T09:02:01Z) - Towards Unsupervised Domain Adaptation via Domain-Transformer [0.0]
教師なしドメイン適応(UDA)のためのドメイン変換器(DoT)を提案する。
DoTは新しい視点から、CNNバックボーンとTransformerのコアアテンションメカニズムを統合する。
ドメイン間の局所的な意味的一貫性を実現し、そこではドメインレベルの注意と多様体の正規化が探索される。
論文 参考訳（メタデータ） (2022-02-24T02:30:15Z) - META: Mimicking Embedding via oThers' Aggregation for Generalizable
Person Re-identification [68.39849081353704]
Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。
本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
論文 参考訳（メタデータ） (2021-12-16T08:06:50Z) - TAL: Two-stream Adaptive Learning for Generalizable Person
Re-identification [115.31432027711202]
我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。
これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。
我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
論文 参考訳（メタデータ） (2021-11-29T01:27:42Z) - A New Bidirectional Unsupervised Domain Adaptation Segmentation
Framework [27.13101555533594]
異なるドメイン間のギャップを埋めるために、教師なしドメイン適応(UDA)技術が提案されている。
本稿では,両方向のUDA演奏に対して,非交互表現学習に基づく双方向UDAフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-18T05:25:11Z) - Cross-domain Imitation from Observations [50.669343548588294]
模擬学習は、専門家の行動を利用して訓練エージェントに適切な報酬関数を設計することの難しさを回避しようとする。
本稿では,専門家とエージェントMDPの相違点が存在する場合に,タスクを模倣する方法の問題について検討する。
このようなドメイン間の対応を学習するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-05-20T21:08:25Z) - Domain Conditioned Adaptation Network [90.63261870610211]
本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。
これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
論文 参考訳（メタデータ） (2020-05-14T04:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。