論文の概要: Less is More: Pseudo-Label Filtering for Continual Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2406.02609v2
• Date: Fri, 12 Jul 2024 08:15:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 04:27:56.953657
• Title: Less is More: Pseudo-Label Filtering for Continual Test-Time Adaptation
• Title（参考訳）: Pseudo-Label Filtering for Continual Test-Time Adaptation
• Authors: Jiayao Tan, Fan Lyu, Chenggong Ni, Tingliang Feng, Fuyuan Hu, Zhang Zhang, Shaochuang Zhao, Liang Wang,
• Abstract要約: 連続的テスト時間適応(CTTA)は、ソースデータにアクセスすることなく、テストフェーズ中に対象ドメインのシーケンスに事前訓練されたモデルを適用することを目的としている。 既存の方法は、すべてのサンプルに対して擬似ラベルを構築し、自己学習を通じてモデルを更新することに依存している。 擬似ラベルの品質を向上させるために擬似ラベルフィルタ(PLF)を提案する。
• 参考スコア（独自算出の注目度）: 13.486951040331899
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Test-Time Adaptation (CTTA) aims to adapt a pre-trained model to a sequence of target domains during the test phase without accessing the source data. To adapt to unlabeled data from unknown domains, existing methods rely on constructing pseudo-labels for all samples and updating the model through self-training. However, these pseudo-labels often involve noise, leading to insufficient adaptation. To improve the quality of pseudo-labels, we propose a pseudo-label selection method for CTTA, called Pseudo Labeling Filter (PLF). The key idea of PLF is to keep selecting appropriate thresholds for pseudo-labels and identify reliable ones for self-training. Specifically, we present three principles for setting thresholds during continuous domain learning, including initialization, growth and diversity. Based on these principles, we design Self-Adaptive Thresholding to filter pseudo-labels. Additionally, we introduce a Class Prior Alignment (CPA) method to encourage the model to make diverse predictions for unknown domain samples. Through extensive experiments, PLF outperforms current state-of-the-art methods, proving its effectiveness in CTTA.
• Abstract（参考訳）: 連続的テスト時間適応(CTTA)は、ソースデータにアクセスすることなく、テストフェーズ中に対象ドメインのシーケンスに事前訓練されたモデルを適用することを目的としている。 未知のドメインからのラベルのないデータに適応するために、既存のメソッドは、すべてのサンプルに対して擬似ラベルを構築し、自己学習を通じてモデルを更新する。 しかし、これらの擬似ラベルは、しばしばノイズを伴い、適応が不十分になる。 Pseudo Labeling Filter (PLF) と呼ばれるCTTAの擬似ラベル選択法を提案する。 PLFの鍵となる考え方は、擬似ラベルの適切なしきい値を選択し続け、自己学習のための信頼できるしきい値を特定することである。 具体的には、初期化、成長、多様性を含む、継続的なドメイン学習の間にしきい値を設定するための3つの原則を提示します。 これらの原則に基づいて、擬似ラベルをフィルタするために自己適応型閾値を設計する。 さらに、未知のドメインサンプルに対して多様な予測を行うようモデルに促すために、クラス優先アライメント(CPA)手法を導入する。 広範な実験を通じて、PLFは現在の最先端の手法よりも優れており、CTTAにおいてその効果が証明されている。

関連論文リスト

• Uncertainty-Aware Pseudo-Label Filtering for Source-Free Unsupervised Domain Adaptation [45.53185386883692]
  Source-free unsupervised domain adapt (SFUDA) は、訓練済みのソースモデルを、ソースデータにアクセスすることなく、ラベルなしのターゲットドメインで利用できるようにすることを目的としている。 本稿では,不確かさを意識したPseudo-label-filtering Adaptation (UPA) という手法を提案する。
  論文  参考訳（メタデータ） (2024-03-17T16:19:40Z)
• Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
  テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。 本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。 本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T03:33:39Z)
• Unsupervised Domain Adaptation for Semantic Segmentation with Pseudo Label Self-Refinement [9.69089112870202]
  擬似ラベルのオンライン精錬のための補助的擬似ラベル精錬ネットワーク(PRN)を提案する。 3つの異なるドメインシフトを持つベンチマークデータセットに対する我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2023-10-25T20:31:07Z)
• Towards Self-Adaptive Pseudo-Label Filtering for Semi-Supervised Learning [13.02771721554445]
  擬似ラベルの品質向上を目的とした自己適応型擬似ラベルフィルタ(SPF)を提案する。 オンライン混合モデルを用いて、各擬似ラベル付きサンプルをその後部で重み付けし、信頼性分布を考慮した。 我々のSPFは、手動チューニングなしでディープニューラルネットワークとともに進化します。
  論文  参考訳（メタデータ） (2023-09-18T13:57:16Z)
• Adaptive Pseudo-Label Refinement by Negative Ensemble Learning for Source-Free Unsupervised Domain Adaptation [35.728603077621564]
  既存のUnsupervised Domain Adaptation (UDA)メソッドは、トレーニング中にソースとターゲットのドメインデータを同時に利用できると仮定する。 訓練済みのソースモデルは、よく知られたドメインシフトの問題により、ターゲットに対して性能が悪くても、常に利用可能であると考えられている。 適応型ノイズフィルタリングと擬似ラベル改良に取り組むための統一手法を提案する。
  論文  参考訳（メタデータ） (2021-03-29T22:18:34Z)
• Cycle Self-Training for Domain Adaptation [85.14659717421533]
  Cycle Self-Training (CST) は、ドメイン間の一般化に擬似ラベルを強制する、原則付き自己学習アルゴリズムである。 CSTは目標の真理を回復し、不変の機能学習とバニラ自己訓練の両方が失敗する。 実験結果から,標準的なUDAベンチマークでは,CSTは先行技術よりも大幅に改善されていることが示唆された。
  論文  参考訳（メタデータ） (2021-03-05T10:04:25Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)
• Semi-Supervised Speech Recognition via Graph-based Temporal Classification [59.58318952000571]
  半教師付き学習は自己学習による自動音声認識において有望な結果を示した。 このアプローチの有効性は、主に擬似ラベルの精度に依存する。 N-bestリストの別のASR仮説は、ラベルなしの発話に対してより正確なラベルを提供することができる。
  論文  参考訳（メタデータ） (2020-10-29T14:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。