論文の概要: Towards Open-Set Test-Time Adaptation Utilizing the Wisdom of Crowds in Entropy Minimization

• arxiv url: http://arxiv.org/abs/2308.06879v2
• Date: Mon, 4 Sep 2023 08:37:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 03:25:12.930003
• Title: Towards Open-Set Test-Time Adaptation Utilizing the Wisdom of Crowds in Entropy Minimization
• Title（参考訳）: エントロピー最小化における群衆の知恵を活用したオープンセットテスト時間適応に向けて
• Authors: Jungsoo Lee, Debasmit Das, Jaegul Choo, Sungha Choi
• Abstract要約: テスト時間適応(TTA)メソッドは、未ラベルのターゲットドメインにソース事前学習モデルを適用するために、モデルの予測に依存する。 本稿では, 以下の重要な経験的発見から着想を得た, 単純かつ効果的なサンプル選択法を提案する。
• 参考スコア（独自算出の注目度）: 47.61333493671805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time adaptation (TTA) methods, which generally rely on the model's predictions (e.g., entropy minimization) to adapt the source pretrained model to the unlabeled target domain, suffer from noisy signals originating from 1) incorrect or 2) open-set predictions. Long-term stable adaptation is hampered by such noisy signals, so training models without such error accumulation is crucial for practical TTA. To address these issues, including open-set TTA, we propose a simple yet effective sample selection method inspired by the following crucial empirical finding. While entropy minimization compels the model to increase the probability of its predicted label (i.e., confidence values), we found that noisy samples rather show decreased confidence values. To be more specific, entropy minimization attempts to raise the confidence values of an individual sample's prediction, but individual confidence values may rise or fall due to the influence of signals from numerous other predictions (i.e., wisdom of crowds). Due to this fact, noisy signals misaligned with such 'wisdom of crowds', generally found in the correct signals, fail to raise the individual confidence values of wrong samples, despite attempts to increase them. Based on such findings, we filter out the samples whose confidence values are lower in the adapted model than in the original model, as they are likely to be noisy. Our method is widely applicable to existing TTA methods and improves their long-term adaptation performance in both image classification (e.g., 49.4% reduced error rates with TENT) and semantic segmentation (e.g., 11.7% gain in mIoU with TENT).
• Abstract（参考訳）: 実験時間適応 (TTA) 法は、一般に、源となる事前訓練されたモデルをラベルのない対象領域に適応させるためにモデルの予測(例えばエントロピー最小化)に依存するが、ノイズ信号に悩まされる。 1)間違っているか 2) オープンセット予測。 このようなノイズ信号によって長期安定適応が妨げられるため、そのようなエラー蓄積のないトレーニングモデルは実用的TTAにとって不可欠である。 オープンセットTTAを含むこれらの課題に対処するため, 以下の重要な経験的発見から着想を得た, 単純かつ効果的なサンプル選択法を提案する。 エントロピー最小化は予測ラベルの確率を増加させる(すなわち信頼度値)ことをモデルに強制するが、ノイズのあるサンプルは信頼度値の低下を示す。 より具体的に言うと、エントロピー最小化は個々のサンプルの予測の信頼度値を上昇させようとするが、他の多くの予測(すなわち群衆の知恵)からの信号の影響によって個人の信頼度が上昇または低下する可能性がある。 この事実から、一般に正しい信号に見られるような「群衆の知恵」と混同されるノイズ信号は、それらを増やそうとするにも拘わらず、間違ったサンプルの個人的信頼値を上げることができない。 そこで,本研究では,従来のモデルよりも信頼度が低く,ノイズの少ないサンプルをフィルタリングする手法を提案する。 提案手法は既存のTTA手法に適用可能であり,画像分類(例:TENTによる誤り率49.4%削減)とセマンティックセグメンテーション(例:TENTによるmIoUの11.7%向上)の両方において,長期適応性能を向上させる。

関連論文リスト

• COME: Test-time adaption by Conservatively Minimizing Entropy [45.689829178140634]
  保守的に最小化されるエントロピー (COME) は従来のエントロピー (EM) の代替品である COMEはモデル予測よりもディリクレ事前分布を特徴付けることによって、不確実性を明示的にモデル化する。 我々はCOMEが一般的なベンチマークで最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-12T09:20:06Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
  テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。 本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。 本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T03:33:39Z)
• REALM: Robust Entropy Adaptive Loss Minimization for Improved Single-Sample Test-Time Adaptation [5.749155230209001]
  フルテスト時間適応(F-TTA)は、列車とテストデータの分散シフトによる性能損失を軽減することができる。 本稿では,F-TTAの雑音に対する堅牢性向上のための一般的な枠組みについて述べる。
  論文  参考訳（メタデータ） (2023-09-07T18:44:58Z)
• Calibrating Deep Neural Networks using Explicit Regularisation and Dynamic Data Pruning [25.982037837953268]
  ディープニューラルネットワーク(DNN)は誤った予測をしがちで、予測された出力と関連する信頼スコアのミスマッチを示すことが多い。 そこで本研究では,分類損失を伴う新たな正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T05:34:58Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• Confidence Adaptive Regularization for Deep Learning with Noisy Labels [2.0349696181833337]
  ディープニューラルネットワークのノイズラベルに対する記憶効果に関する最近の研究は、ネットワークが正しくラベル付けされたトレーニングサンプルに最初に適合し、誤ってラベル付けされたサンプルを記憶することを示している。 そこで本研究では,この早期学習現象に触発されて,誤記サンプルの暗記を防止する新しい方法を提案する。 我々は,合成および実世界のデータセットに関する理論的解析と実験を行い,本手法が最先端の手法に匹敵する結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-18T15:51:25Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。