論文の概要: BECoTTA: Input-dependent Online Blending of Experts for Continual Test-time Adaptation

• arxiv url: http://arxiv.org/abs/2402.08712v2
• Date: Thu, 15 Feb 2024 19:24:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 18:41:07.911703
• Title: BECoTTA: Input-dependent Online Blending of Experts for Continual Test-time Adaptation
• Title（参考訳）: BECoTTA: 連続的なテスト時間適応のためのエキスパートの入力依存オンラインブレンディング
• Authors: Daeun Lee, Jaehong Yoon, Sung Ju Hwang
• Abstract要約: 連続テスト時間適応(CTTA)は、学習済みの知識を維持しながら、継続的に見えない領域に効率的に適応するために必要である。 本稿では,CTTAの入力依存型かつ効率的なフレームワークであるBECoTTAを提案する。 提案手法は, トレーニング可能なパラメータを98%少なく抑えながら, 整合性や漸進性などの複数のCTTAシナリオより優れていた。
• 参考スコア（独自算出の注目度）: 66.51952184790365
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Continual Test Time Adaptation (CTTA) is required to adapt efficiently to continuous unseen domains while retaining previously learned knowledge. However, despite the progress of CTTA, forgetting-adaptation trade-offs and efficiency are still unexplored. Moreover, current CTTA scenarios assume only the disjoint situation, even though real-world domains are seamlessly changed. To tackle these challenges, this paper proposes BECoTTA, an input-dependent yet efficient framework for CTTA. We propose Mixture-of-Domain Low-rank Experts (MoDE) that contains two core components: (i) Domain-Adaptive Routing, which aids in selectively capturing the domain-adaptive knowledge with multiple domain routers, and (ii) Domain-Expert Synergy Loss to maximize the dependency between each domain and expert. We validate our method outperforms multiple CTTA scenarios including disjoint and gradual domain shits, while only requiring ~98% fewer trainable parameters. We also provide analyses of our method, including the construction of experts, the effect of domain-adaptive experts, and visualizations.
• Abstract（参考訳）: 連続テスト時間適応(CTTA)は、学習済みの知識を維持しながら、継続的に見えない領域に効率的に適応するために必要である。 しかし、CTTAの進歩にもかかわらず、忘れられた適応トレードオフと効率性はまだ解明されていない。 さらに、現在のCTTAシナリオは、現実世界のドメインがシームレスに変更されたとしても、相容れない状況のみを前提としている。 そこで本稿では,CTTAの入力依存型かつ効率的なフレームワークであるBECoTTAを提案する。 2つのコアコンポーネントを含むMixture-of-Domain Low-rank Experts (MoDE)を提案する。 (i)複数のドメインルータでドメイン適応知識を選択的に取得するのに役立つドメイン適応ルーティング (ii)各ドメインとエキスパート間の依存性を最大化するために、ドメイン専門家による相乗効果の損失。 提案手法は,訓練可能なパラメータを約98%少なく抑えながら,複数のCTTAシナリオより優れていた。 また,エキスパートの構築,ドメイン適応型エキスパートの効果,可視化などの手法の分析を行った。

関連論文リスト

• Adaptive Conditional Expert Selection Network for Multi-domain Recommendation [10.418133538132635]
  Mixture-of-Experts (MOE)は、最近マルチドメインレコメンデーション(MDR)におけるデファクトスタンダードになっている。 CESAAは、Conditional Expert Selection (CES) ModuleとAdaptive Expert Aggregation (AEA) Moduleで構成されている。 AEAは、専門家と特定のドメイン間の相関を強化するために、相互情報損失を利用しており、専門家の区別を大幅に改善している。
  論文  参考訳（メタデータ） (2024-11-11T09:39:31Z)
• Hybrid-TTA: Continual Test-time Adaptation via Dynamic Domain Shift Detection [14.382503104075917]
  継続的テスト時間適応(CTTA)は、制御されたトレーニング環境と実世界のシナリオの間のドメインギャップを埋めるための重要なアプローチとして登場した。 本稿では,最適適応のためのインスタンスワイドチューニング手法を動的に選択する総合的手法であるHybrid-TTAを提案する。 提案手法は,Cityscapes-to-ACDCベンチマークデータセットにおけるmIoUの1.6%改善を実現する。
  論文  参考訳（メタデータ） (2024-09-13T06:36:31Z)
• DPCore: Dynamic Prompt Coreset for Continual Test-Time Adaptation [11.151967974753925]
  Continuousal Test-Time Adaptation (CTTA)は、ソーストレーニング済みのモデルを、継続的に変更され、目に見えないターゲットドメインに適応させることを目指している。 DPCoreは、さまざまなドメイン変更パターンをまたいだ堅牢なパフォーマンスを実現するために設計されたメソッドである。
  論文  参考訳（メタデータ） (2024-06-15T20:47:38Z)
• Distribution-Aware Continual Test-Time Adaptation for Semantic Segmentation [33.75630514826721]
  実世界の応用において, セマンティックセグメンテーションCTTAを効率的かつ実用的なものにするための分散対応チューニング(DAT)手法を提案する。 DATは、連続的な適応プロセス中にデータ分布に基づいて、トレーニング可能なパラメータの2つの小さなグループを適応的に選択し、更新する。 我々は2つの広く使われているセマンティックセマンティックセマンティクスCTTAベンチマークで実験を行い、従来の最先端手法と比較して有望な性能を実現した。
  論文  参考訳（メタデータ） (2023-09-24T10:48:20Z)
• Test-time Adaptation in the Dynamic World with Compound Domain Knowledge Management [75.86903206636741]
  テスト時間適応(TTA)により、モデルは新しい環境に適応し、テスト時間中にパフォーマンスを向上させることができる。 TTAのいくつかの研究は、継続的に変化する環境において、有望な適応性能を示している。 本稿ではまず,複合ドメイン知識管理を用いた堅牢なTTAフレームワークを提案する。 次に、ソースと現在のターゲットドメイン間のドメイン類似性を用いて適応率を変調する新しい正規化を考案する。
  論文  参考訳（メタデータ） (2022-12-16T09:02:01Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• TAL: Two-stream Adaptive Learning for Generalizable Person Re-identification [115.31432027711202]
  我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。 これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。 我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
  論文  参考訳（メタデータ） (2021-11-29T01:27:42Z)
• A New Bidirectional Unsupervised Domain Adaptation Segmentation Framework [27.13101555533594]
  異なるドメイン間のギャップを埋めるために、教師なしドメイン適応(UDA)技術が提案されている。 本稿では,両方向のUDA演奏に対して,非交互表現学習に基づく双方向UDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-18T05:25:11Z)
• Cross-domain Imitation from Observations [50.669343548588294]
  模擬学習は、専門家の行動を利用して訓練エージェントに適切な報酬関数を設計することの難しさを回避しようとする。 本稿では,専門家とエージェントMDPの相違点が存在する場合に,タスクを模倣する方法の問題について検討する。 このようなドメイン間の対応を学習するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-20T21:08:25Z)
• Domain Conditioned Adaptation Network [90.63261870610211]
  本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。 これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
  論文  参考訳（メタデータ） (2020-05-14T04:23:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。