論文の概要: Memory-Efficient Pseudo-Labeling for Online Source-Free Universal Domain Adaptation using a Gaussian Mixture Model

• arxiv url: http://arxiv.org/abs/2407.14208v2
• Date: Tue, 12 Nov 2024 10:00:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:16:58.900144
• Title: Memory-Efficient Pseudo-Labeling for Online Source-Free Universal Domain Adaptation using a Gaussian Mixture Model
• Title（参考訳）: ガウス混合モデルを用いたオンラインソースフリーユニバーサルドメイン適応のためのメモリ効率の良い擬似ラベル
• Authors: Pascal Schlachter, Simon Wagner, Bin Yang,
• Abstract要約: 実際には、トレーニングデータとテストデータの間にドメインシフトが発生する可能性があり、トレーニング済みのソースモデルをターゲットドメインに調整するためには、ドメイン適応(DA)が必要である。 UniDAは、ソースとターゲットドメインの間の追加のカテゴリ(ラベル)シフトの可能性に対処するために注目を集めている。 ガウス混合モデル(GMM)を用いて特徴空間における既知のクラス分布を連続的にキャプチャする新しい手法を提案する。 このアプローチは、DomainNetおよびOffice-Homeデータセットに関するすべての実験において、最先端の結果を達成する。
• 参考スコア（独自算出の注目度）: 3.1265626879839923
• License:
• Abstract: In practice, domain shifts are likely to occur between training and test data, necessitating domain adaptation (DA) to adjust the pre-trained source model to the target domain. Recently, universal domain adaptation (UniDA) has gained attention for addressing the possibility of an additional category (label) shift between the source and target domain. This means new classes can appear in the target data, some source classes may no longer be present, or both at the same time. For practical applicability, UniDA methods must handle both source-free and online scenarios, enabling adaptation without access to the source data and performing batch-wise updates in parallel with prediction. In an online setting, preserving knowledge across batches is crucial. However, existing methods often require substantial memory, which is impractical because memory is limited and valuable, in particular on embedded systems. Therefore, we consider memory-efficiency as an additional constraint. To achieve memory-efficient online source-free universal domain adaptation (SF-UniDA), we propose a novel method that continuously captures the distribution of known classes in the feature space using a Gaussian mixture model (GMM). This approach, combined with entropy-based out-of-distribution detection, allows for the generation of reliable pseudo-labels. Finally, we combine a contrastive loss with a KL divergence loss to perform the adaptation. Our approach not only achieves state-of-the-art results in all experiments on the DomainNet and Office-Home datasets but also significantly outperforms the existing methods on the challenging VisDA-C dataset, setting a new benchmark for online SF-UniDA. Our code is available at https://github.com/pascalschlachter/GMM.
• Abstract（参考訳）: 実際には、トレーニングデータとテストデータの間にドメインシフトが発生する可能性があり、トレーニング済みのソースモデルをターゲットドメインに調整するためには、ドメイン適応(DA)が必要である。 近年、ユニバーサルドメイン適応(UniDA)は、ソースとターゲットドメインの間の追加のカテゴリ(ラベル)シフトの可能性に注目されている。 つまり、ターゲットデータに新しいクラスが現れる可能性があるし、一部のソースクラスはもはや存在しないかもしれないし、同時にその両方を表示することもできる。 実際に適用するには、UniDAメソッドはソースフリーとオンラインの両方のシナリオを処理し、ソースデータにアクセスせずに適応し、予測と並行してバッチワイズ更新を実行する必要がある。 オンライン環境では、バッチ間で知識を保存することが重要です。 しかし、既存の手法では、特に組み込みシステムにおいて、メモリが制限され、価値のあるため、実行不可能なメモリを必要とすることが多い。 したがって,メモリ効率を付加的な制約とみなす。 メモリ効率のよいオンラインソースフリーユニバーサルドメイン適応(SF-UniDA)を実現するために,ガウス混合モデル(GMM)を用いて特徴空間における既知のクラスの分布を連続的にキャプチャする手法を提案する。 このアプローチとエントロピーに基づくアウト・オブ・ディストリビューション検出を組み合わせることで、信頼できる擬似ラベルを生成することができる。 最後に、コントラスト損失とKL分散損失を組み合わせて適応を行う。 我々のアプローチは、DomainNetとOffice-Homeデータセットのすべての実験で最先端の結果を達成するだけでなく、挑戦的なVisDA-Cデータセット上で既存のメソッドよりも大幅に優れており、オンラインSF-UniDAの新しいベンチマークを設定しています。 私たちのコードはhttps://github.com/pascalschlachter/GMMで公開されています。

関連論文リスト

• Upcycling Models under Domain and Category Shift [95.22147885947732]
  グローバルかつ局所的なクラスタリング学習技術(GLC)を導入する。 我々は、異なる対象クラス間での区別を実現するために、新しい1-vs-allグローバルクラスタリングアルゴリズムを設計する。 注目すべきは、最も困難なオープンパーティルセットDAシナリオにおいて、GLCは、VisDAベンチマークでUMADを14.8%上回っていることである。
  論文  参考訳（メタデータ） (2023-03-13T13:44:04Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Source-Free Adaptation to Measurement Shift via Bottom-Up Feature Restoration [6.9871848733878155]
  ソースフリードメイン適応(Source-free domain adapt, SFDA)は、ソースドメイン内のラベル付きデータに基づいてトレーニングされたモデルを、適応中にソースドメインデータにアクセスすることなく、ターゲットドメイン内の非ラベル付きデータに適応することを目的としている。 提案する特徴回復(FR)は,従来ソースから抽出されていた対象ドメインから,同じ意味を持つ特徴を抽出しようとするものである。 さらに,ネットワークの後半層における学習構造を保存することにより,パフォーマンスを向上させるためのボトムアップ・フィーチャー・リストア(BUFR)を提案する。
  論文  参考訳（メタデータ） (2021-07-12T14:21:14Z)
• On Universal Black-Box Domain Adaptation [53.7611757926922]
  実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。 ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。 対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
  論文  参考訳（メタデータ） (2021-04-10T02:21:09Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• Source-Free Domain Adaptation for Semantic Segmentation [11.722728148523366]
  Unsupervised Domain Adaptation(UDA)は、セマンティックセグメンテーションのための畳み込みニューラルネットワークベースのアプローチがピクセルレベルの注釈付きデータに大きく依存するという課題に取り組むことができる。 そこで本稿では,十分に訓練されたソースモデルとラベルなしのターゲットドメインデータセットのみを適用可能な,意味セグメンテーションのためのソースフリーなドメイン適応フレームワークsfdaを提案する。
  論文  参考訳（メタデータ） (2021-03-30T14:14:29Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。