論文の概要: Unified Entropy Optimization for Open-Set Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2404.06065v1
• Date: Tue, 9 Apr 2024 07:08:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 15:39:15.376867
• Title: Unified Entropy Optimization for Open-Set Test-Time Adaptation
• Title（参考訳）: オープンセットテスト時間適応のための統一エントロピー最適化
• Authors: Zhengqing Gao, Xu-Yao Zhang, Cheng-Lin Liu,
• Abstract要約: テスト時間適応(TTA)は、ラベル付きソースドメインで事前訓練されたモデルをラベルなしターゲットドメインに適応することを目的としている。 多くの最先端のクローズドセットTTAメソッドは、オープンセットのシナリオに適用した場合、性能が良くない。 統一エントロピー最適化(UniEnt)と呼ばれるシンプルだが効果的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 40.111891407629
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time adaptation (TTA) aims at adapting a model pre-trained on the labeled source domain to the unlabeled target domain. Existing methods usually focus on improving TTA performance under covariate shifts, while neglecting semantic shifts. In this paper, we delve into a realistic open-set TTA setting where the target domain may contain samples from unknown classes. Many state-of-the-art closed-set TTA methods perform poorly when applied to open-set scenarios, which can be attributed to the inaccurate estimation of data distribution and model confidence. To address these issues, we propose a simple but effective framework called unified entropy optimization (UniEnt), which is capable of simultaneously adapting to covariate-shifted in-distribution (csID) data and detecting covariate-shifted out-of-distribution (csOOD) data. Specifically, UniEnt first mines pseudo-csID and pseudo-csOOD samples from test data, followed by entropy minimization on the pseudo-csID data and entropy maximization on the pseudo-csOOD data. Furthermore, we introduce UniEnt+ to alleviate the noise caused by hard data partition leveraging sample-level confidence. Extensive experiments on CIFAR benchmarks and Tiny-ImageNet-C show the superiority of our framework. The code is available at https://github.com/gaozhengqing/UniEnt
• Abstract（参考訳）: テスト時間適応(TTA)は、ラベル付きソースドメインで事前訓練されたモデルをラベルなしターゲットドメインに適応することを目的としている。 既存の手法は通常、意味的シフトを無視しながら、共変量シフトの下でのTTAパフォーマンスの改善に重点を置いている。 本稿では,対象ドメインが未知のクラスからのサンプルを含むような,現実的なオープンセットのTTA設定を探索する。 多くの最先端のクローズドセットTTA手法は、データ分布の不正確な推定とモデルの信頼性に起因して、オープンセットのシナリオに適用すると性能が低下する。 このような問題に対処するために,共変量シフトしたin-distribution(csID)データと共変量シフトしたout-of-distribution(csOOD)データとの同時適応が可能な統一エントロピー最適化(UniEnt)という,シンプルで効果的なフレームワークを提案する。 具体的には、まずテストデータから擬似csIDおよび擬似csOODサンプルをマイニングし、続いて擬似csIDデータのエントロピー最小化と擬似csOODデータのエントロピー最大化を行う。 さらに,サンプルレベルの信頼性を活かしたハードデータ分割によるノイズを軽減するために,UniEnt+を導入する。 CIFARベンチマークとTiny-ImageNet-Cの大規模な実験は、我々のフレームワークの優位性を示している。 コードはhttps://github.com/gaozhengqing/UniEntで入手できる。

関連論文リスト

• Distribution Alignment for Fully Test-Time Adaptation with Dynamic Online Data Streams [19.921480334048756]
  TTA(Test-Time Adaptation)は、テストデータストリームの適応と推論を可能にする。 本稿では,TTAにおける新しい配電アライメント損失を提案する。 我々は、非i.d.シナリオにおける既存の手法を超越し、理想的なi.d.仮定の下で競争性能を維持する。
  論文  参考訳（メタデータ） (2024-07-16T19:33:23Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• pSTarC: Pseudo Source Guided Target Clustering for Fully Test-Time Adaptation [15.621092104244003]
  テスト時間適応(TTA)は機械学習において重要な概念であり、モデルが現実世界のシナリオでうまく機能することを可能にする。 そこで本研究では,TTAの比較的未探索領域を実世界のドメインシフト下で解決する手法として,擬似ソースガイドターゲットクラスタリング(pSTarC)を提案する。
  論文  参考訳（メタデータ） (2023-09-02T07:13:47Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Domain Alignment Meets Fully Test-Time Adaptation [24.546705919244936]
  デプロイされたMLモデルの基本的な要件は、トレーニングとは異なるテストディストリビューションから引き出されたデータに一般化することである。 本稿では,元のソースデータへのアクセスを制限した,この問題の難易度に焦点をあてる。 ソースデータ全体にアクセスする必要性を緩和し,UDAとFTTAを橋渡しする新しいアプローチCATTAnを提案する。
  論文  参考訳（メタデータ） (2022-07-09T03:17:19Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Learning by Erasing: Conditional Entropy based Transferable Out-Of-Distribution Detection [17.31471594748061]
  トレーニングとテストシナリオ間の分散シフトを処理するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 既存の方法は、データセット固有の特徴表現やデータ分散をキャプチャするために、再トレーニングを必要とする。 我々は,新しいIDデータセットで再トレーニングする必要がない,DGMに基づく転送可能なOOD検出手法を提案する。
  論文  参考訳（メタデータ） (2022-04-23T10:19:58Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition [65.84978547406753]
  Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。 単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
  論文  参考訳（メタデータ） (2022-03-27T06:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。