論文の概要: COMET: Contrastive Mean Teacher for Online Source-Free Universal Domain Adaptation
- arxiv url: http://arxiv.org/abs/2401.17728v2
- Date: Thu, 2 May 2024 06:49:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 21:50:58.782308
- Title: COMET: Contrastive Mean Teacher for Online Source-Free Universal Domain Adaptation
- Title（参考訳）: COMET:オンラインソースフリーユニバーサルドメイン適応のための対照的な平均教師
- Authors: Pascal Schlachter, Bin Yang,
- Abstract要約: 現実世界のアプリケーションでは、トレーニングからテストデータへのドメインシフトが頻繁に発生します。
本稿では,このシナリオに合わせたコントラスト的平均教師(COMET)を紹介する。
COMETは最先端のパフォーマンスをもたらし、さまざまなシナリオで一貫性と堅牢性を示す。
- 参考スコア（独自算出の注目度）: 3.5139431332194198
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In real-world applications, there is often a domain shift from training to test data. This observation resulted in the development of test-time adaptation (TTA). It aims to adapt a pre-trained source model to the test data without requiring access to the source data. Thereby, most existing works are limited to the closed-set assumption, i.e. there is no category shift between source and target domain. We argue that in a realistic open-world setting a category shift can appear in addition to a domain shift. This means, individual source classes may not appear in the target domain anymore, samples of new classes may be part of the target domain or even both at the same time. Moreover, in many real-world scenarios the test data is not accessible all at once but arrives sequentially as a stream of batches demanding an immediate prediction. Hence, TTA must be applied in an online manner. To the best of our knowledge, the combination of these aspects, i.e. online source-free universal domain adaptation (online SF-UniDA), has not been studied yet. In this paper, we introduce a Contrastive Mean Teacher (COMET) tailored to this novel scenario. It applies a contrastive loss to rebuild a feature space where the samples of known classes build distinct clusters and the samples of new classes separate well from them. It is complemented by an entropy loss which ensures that the classifier output has a small entropy for samples of known classes and a large entropy for samples of new classes to be easily detected and rejected as unknown. To provide the losses with reliable pseudo labels, they are embedded into a mean teacher (MT) framework. We evaluate our method across two datasets and all category shifts to set an initial benchmark for online SF-UniDA. Thereby, COMET yields state-of-the-art performance and proves to be consistent and robust across a variety of different scenarios.
- Abstract（参考訳）: 現実世界のアプリケーションでは、トレーニングからテストデータへのドメインシフトが頻繁に発生します。
この観察はテスト時間適応(TTA)の開発につながった。
ソースデータへのアクセスを必要とせずに、事前トレーニングされたソースモデルをテストデータに適用することを目指している。
これにより、既存のほとんどの著作物は閉集合の仮定に制限され、すなわち、ソース領域とターゲット領域の間の圏シフトは存在しない。
現実的なオープンワールド設定では、カテゴリシフトがドメインシフトに加えて現れる可能性がある、と私たちは主張する。
つまり、個々のソースクラスは、もはやターゲットドメインに現れず、新しいクラスのサンプルは、ターゲットドメインの一部であったり、同時に両方であったりします。
さらに、多くの実世界のシナリオでは、テストデータは一度にすべてにアクセスできないが、即座に予測を要求するバッチのストリームとして順次到着する。
したがって、TTAはオンラインの方法で適用されなければならない。
我々の知る限り、これらの側面、すなわちオンラインのソースフリーユニバーサルドメイン適応(オンラインSF-UniDA)の組み合わせは、まだ研究されていない。
本稿では,このシナリオに合わせたコントラスト的平均教師(COMET)を紹介する。
これは、既知のクラスのサンプルが異なるクラスタを構築し、新しいクラスのサンプルがそれらとよく区別される機能空間を再構築するために、対照的な損失を適用します。
これは、分類器出力が既知のクラスのサンプルに対して小さなエントロピーを持ち、新しいクラスのサンプルに対して大きなエントロピーを持つことを保証するエントロピー損失によって補完される。
信頼できる擬似ラベルで損失を与えるため、彼らは平均教師(MT)フレームワークに組み込まれる。
提案手法は,オンラインSF-UniDAの初期ベンチマークを設定するために,2つのデータセットとすべてのカテゴリシフトにまたがって評価する。
これによりCOMETは最先端のパフォーマンスを獲得し、さまざまなシナリオで一貫性と堅牢性を示す。
関連論文リスト
- Memory-Efficient Pseudo-Labeling for Online Source-Free Universal Domain Adaptation using a Gaussian Mixture Model [3.1265626879839923]
実際には、トレーニングデータとテストデータの間にドメインシフトが発生する可能性があり、トレーニング済みのソースモデルをターゲットドメインに調整するためには、ドメイン適応(DA)が必要である。
UniDAは、ソースとターゲットドメインの間の追加のカテゴリ(ラベル)シフトの可能性に対処するために注目を集めている。
ガウス混合モデル(GMM)を用いて特徴空間における既知のクラス分布を連続的にキャプチャする新しい手法を提案する。
このアプローチは、DomainNetおよびOffice-Homeデータセットに関するすべての実験において、最先端の結果を達成する。
論文 参考訳（メタデータ） (2024-07-19T11:13:31Z) - Adaptive Test-Time Personalization for Federated Learning [51.25437606915392]
テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる新しい設定を導入する。
TTPFLでは、クライアントはテスト期間中にラベル付きデータに頼ることなく、教師なしの方法でグローバルモデルをローカルに適応する。
本稿では,ソースドメイン間の分散シフトから,モデル内の各モジュールの適応率を適応的に学習する ATP という新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-28T20:42:47Z) - Upcycling Models under Domain and Category Shift [95.22147885947732]
グローバルかつ局所的なクラスタリング学習技術(GLC)を導入する。
我々は、異なる対象クラス間での区別を実現するために、新しい1-vs-allグローバルクラスタリングアルゴリズムを設計する。
注目すべきは、最も困難なオープンパーティルセットDAシナリオにおいて、GLCは、VisDAベンチマークでUMADを14.8%上回っていることである。
論文 参考訳（メタデータ） (2023-03-13T13:44:04Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳（メタデータ） (2022-06-01T03:02:07Z) - On Universal Black-Box Domain Adaptation [53.7611757926922]
実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。
ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。
対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
論文 参考訳（メタデータ） (2021-04-10T02:21:09Z) - OVANet: One-vs-All Network for Universal Domain Adaptation [78.86047802107025]
既存のメソッドは、検証または未知のサンプルの事前定義された比率に基づいて未知のサンプルを拒否するしきい値を手動で設定します。
本稿では,ソースサンプルを用いて閾値を学習し,対象領域に適応する手法を提案する。
私たちの考えは、ソースドメインの最小クラス間距離は、ターゲットの既知のか未知かを決定するための良いしきい値であるべきです。
論文 参考訳（メタデータ） (2021-04-07T18:36:31Z) - Domain Impression: A Source Data Free Domain Adaptation Method [27.19677042654432]
教師なしドメイン適応法は、ソースデータセットがすべてのラベルで利用可能であると仮定して、ラベルなしのターゲットセットの適応問題を解決する。
本稿では,ソースデータを必要としないドメイン適応手法を提案する。
ソースデータの代わりに、ソースデータに基づいてトレーニングされた分類器のみを提供しています。
論文 参考訳（メタデータ） (2021-02-17T19:50:49Z) - A Balanced and Uncertainty-aware Approach for Partial Domain Adaptation [142.31610972922067]
この研究は、特にターゲットドメインのクラスラベルがソースドメインのサブセットである場合に、教師なしのドメイン適応問題に対処する。
本稿では,ドメイン逆境学習に基づく新しいドメイン適応手法 BA$3$US を提案し,BAA(Ba balanced Adversarial Alignment)とAUS(Adaptive Uncertainty Suppression)の2つの新しい手法を提案する。
複数のベンチマーク実験の結果、BA$3$USが部分的なドメイン適応タスクの最先端を超越していることが示されている。
論文 参考訳（メタデータ） (2020-03-05T11:37:06Z) - Enlarging Discriminative Power by Adding an Extra Class in Unsupervised
Domain Adaptation [5.377369521932011]
新たに人工的なクラスを追加し、新しいクラスのGAN生成サンプルとともにデータ上でモデルをトレーニングする。
私たちのアイデアは、DANN、VADA、DIRT-Tといった既存のメソッドと互換性がある、非常に一般的なものです。
論文 参考訳（メタデータ） (2020-02-19T07:58:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。