論文の概要: DEJA VU: Continual Model Generalization For Unseen Domains
- arxiv url: http://arxiv.org/abs/2301.10418v1
- Date: Wed, 25 Jan 2023 05:56:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-26 15:57:30.720287
- Title: DEJA VU: Continual Model Generalization For Unseen Domains
- Title（参考訳）: deja vu: unseenドメインの連続モデル一般化
- Authors: Chenxi Liu, Lixu Wang, Lingjuan Lyu, Chen Sun, Xiao Wang, Qi Zhu
- Abstract要約: 現実世界のアプリケーションでは、ディープラーニングモデルは、ターゲットデータ分布が時間とともに継続的に変化する非定常環境で実行されることが多い。
本稿では,モデルのターゲットドメイン一般化(TDG)能力の向上に重点を置くフレームワークであるRaTPを提案する。また,特定のドメインでのトレーニング直後の効果的なターゲットドメイン適応(TDA)能力と,過去のドメインでの緩和(FA)能力の放棄を実現する。
RaTPは、Continuous DA、Source-free DA、Test-Time/Online DA、Single DG、Multiple DG、Unified DA&DGをTDGで上回り、同等のTDAを達成する。
- 参考スコア（独自算出の注目度）: 38.700426892171336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In real-world applications, deep learning models often run in non-stationary
environments where the target data distribution continually shifts over time.
There have been numerous domain adaptation (DA) methods in both online and
offline modes to improve cross-domain adaptation ability. However, these DA
methods typically only provide good performance after a long period of
adaptation, and perform poorly on new domains before and during adaptation - in
what we call the "Unfamiliar Period", especially when domain shifts happen
suddenly and significantly. On the other hand, domain generalization (DG)
methods have been proposed to improve the model generalization ability on
unadapted domains. However, existing DG works are ineffective for continually
changing domains due to severe catastrophic forgetting of learned knowledge. To
overcome these limitations of DA and DG in handling the Unfamiliar Period
during continual domain shift, we propose RaTP, a framework that focuses on
improving models' target domain generalization (TDG) capability, while also
achieving effective target domain adaptation (TDA) capability right after
training on certain domains and forgetting alleviation (FA) capability on past
domains. RaTP includes a training-free data augmentation module to prepare data
for TDG, a novel pseudo-labeling mechanism to provide reliable supervision for
TDA, and a prototype contrastive alignment algorithm to align different domains
for achieving TDG, TDA and FA. Extensive experiments on Digits, PACS, and
DomainNet demonstrate that RaTP significantly outperforms state-of-the-art
works from Continual DA, Source-Free DA, Test-Time/Online DA, Single DG,
Multiple DG and Unified DA&DG in TDG, and achieves comparable TDA and FA
capabilities.
- Abstract（参考訳）: 現実世界のアプリケーションでは、ディープラーニングモデルは、ターゲットデータ分布が時間とともに継続的に変化する非定常環境で実行されることが多い。
ドメイン間の適応性を改善するために、オンラインモードとオフラインモードの両方に多数のドメイン適応(DA)手法がある。
しかしながら、これらのDAメソッドは、通常、長期の適応後にのみ優れたパフォーマンスを提供し、適応前後に新しいドメインで、特にドメインシフトが突然、そして大幅に起こる場合に、パフォーマンスが良くない。
一方、未適応領域におけるモデル一般化能力を改善するためにドメイン一般化(DG)法が提案されている。
しかし、既存のDGワークは、学習知識の破滅的な忘れ込みのために、ドメインの継続的な変更には効果がない。
連続的なドメインシフト中の不慣れな期間を扱う際のDAとDGのこれらの制限を克服するため、RaTPを提案する。RaTPはモデルのターゲットドメイン一般化(TDG)能力の向上に焦点を当て、特定のドメインでのトレーニング直後の効果的なターゲットドメイン適応(TDA)能力と過去のドメインでの緩和(FA)能力を忘れる。
RaTPには、TDGのためのデータを作成するトレーニングフリーデータ拡張モジュール、TDAのための信頼性の高い監視を提供する新しい擬似ラベル機構、TDG、TDA、FAを達成するために異なるドメインを整合させるプロトタイプのコントラストアライメントアルゴリズムが含まれている。
Digits、PACS、DomainNetに関する大規模な実験では、RaTPは連続DA、ソースフリーDA、テストタイム/オンラインDA、シングルDG、マルチDG、統一DA&DGのTDAとFAの機能を著しく上回っており、同等のTDAとFA機能を実現している。
関連論文リスト
- Advancing Open-Set Domain Generalization Using Evidential Bi-Level Hardest Domain Scheduler [45.71475375161575]
Open-Set Domain Generalizationでは、新しいデータ外観(ドメイン)とオープンセット条件の両方でモデルが公開される。
適応型ドメインスケジューラを実現するために,Evidential Bi-Level Hardest Domain Scheduler (EBiL-HaDS)を提案する。
論文 参考訳（メタデータ） (2024-09-26T05:57:35Z) - Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。
Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。
DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
論文 参考訳（メタデータ） (2024-07-10T11:11:36Z) - Diverse Target and Contribution Scheduling for Domain Generalization [34.29652655561764]
分散シフトの下での一般化は、コンピュータビジョンにおいて大きな課題である。
我々は、DGの新しいパラダイムであるDiverse Target and Contribution Scheduling(DTCS)を提案する。
DTCSは2つの革新的なモジュール、Diverse Target Supervision (DTS)とDiverse Contribution Balance (DCB)で構成されている。
論文 参考訳（メタデータ） (2023-09-28T14:10:25Z) - Adaptive Domain Generalization via Online Disagreement Minimization [17.215683606365445]
ドメインの一般化は、モデルを目に見えないターゲットのドメインに安全に転送することを目的としています。
AdaODMは、異なるターゲットドメインに対するテスト時にソースモデルを適応的に修正する。
その結果,AdaODMは未確認領域の一般化能力を安定的に向上することがわかった。
論文 参考訳（メタデータ） (2022-08-03T11:51:11Z) - On Certifying and Improving Generalization to Unseen Domains [87.00662852876177]
ドメインの一般化は、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としています。
いくつかのベンチマークデータセットを使用して、DGアルゴリズムを包括的に評価することは困難である。
我々は,任意のDG手法の最悪の性能を効率的に証明できる普遍的な認証フレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-24T16:29:43Z) - Decompose to Adapt: Cross-domain Object Detection via Feature
Disentanglement [79.2994130944482]
本研究では,DDF(Domain Disentanglement Faster-RCNN)を設計し,タスク学習のための特徴のソース固有情報を排除した。
DDF法は,グローバルトリプルト・ディアンタングルメント(GTD)モジュールとインスタンス類似性・ディアンタングルメント(ISD)モジュールを用いて,グローバルおよびローカルステージでの機能ディアンタングルを容易にする。
提案手法は,4つのUDAオブジェクト検出タスクにおいて最先端の手法より優れており,広い適用性で有効であることが実証された。
論文 参考訳（メタデータ） (2022-01-06T05:43:01Z) - Self-supervised Autoregressive Domain Adaptation for Time Series Data [9.75443057146649]
教師なしドメイン適応(UDA)は、視覚アプリケーションにおけるドメインシフト問題にうまく対処している。
これらの手法は、以下の理由により時系列データのパフォーマンスが制限される可能性がある。
本稿では,これらの制約に対処するための自己監督型自己回帰ドメイン適応(SLARDA)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-29T08:17:23Z) - Reappraising Domain Generalization in Neural Networks [8.06370138649329]
機械学習アルゴリズムのドメイン一般化(DG)は、複数のトレーニング分布からドメインに依存しない仮説を学習する能力として定義される。
経験的リスク最小化(ERM)ベースラインは,既存のDG手法を一貫して上回っていることがわかった。
そこで我々は,各クラスに対してランダムにドメインを選択して,それをテスト用として保持する,クラスワイズDGの定式化を提案する。
論文 参考訳（メタデータ） (2021-10-15T10:06:40Z) - Dual Distribution Alignment Network for Generalizable Person
Re-Identification [174.36157174951603]
ドメイン一般化(DG)は、人物再識別(Re-ID)を扱うための有望なソリューションとして機能する
本稿では、複数のソースドメインの分布を選択的に整列させることにより、この問題に対処するDual Distribution Alignment Network(DDAN)を提案する。
大規模なDomain Generalization Re-ID(DG Re-ID)ベンチマークでDDANを評価した。
論文 参考訳（メタデータ） (2020-07-27T00:08:07Z) - Domain Conditioned Adaptation Network [90.63261870610211]
本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。
これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
論文 参考訳（メタデータ） (2020-05-14T04:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。