論文の概要: Test-Time Adaptation via Conjugate Pseudo-labels

• arxiv url: http://arxiv.org/abs/2207.09640v1
• Date: Wed, 20 Jul 2022 04:02:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 14:02:46.266103
• Title: Test-Time Adaptation via Conjugate Pseudo-labels
• Title（参考訳）: 共役擬似ラベルによるテスト時間適応
• Authors: Sachin Goyal, Mingjie Sun, Aditi Raghunathan, Zico Kolter
• Abstract要約: テスト時間適応(TTA)とは、ニューラルネットワークを分散シフトに適応させることである。 従来のTTA手法は、TENTにおけるモデル予測のエントロピーのような教師なしの目的を最適化していた。 我々は,多種多様な関数に対して可能な限りのTTA損失をメタ学習しようとすると,TENTのソフトマックスエントロピーと著しく類似した関数(温度スケール版)を復元する。
• 参考スコア（独自算出の注目度）: 21.005027151753477
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Test-time adaptation (TTA) refers to adapting neural networks to distribution shifts, with access to only the unlabeled test samples from the new domain at test-time. Prior TTA methods optimize over unsupervised objectives such as the entropy of model predictions in TENT [Wang et al., 2021], but it is unclear what exactly makes a good TTA loss. In this paper, we start by presenting a surprising phenomenon: if we attempt to meta-learn the best possible TTA loss over a wide class of functions, then we recover a function that is remarkably similar to (a temperature-scaled version of) the softmax-entropy employed by TENT. This only holds, however, if the classifier we are adapting is trained via cross-entropy; if trained via squared loss, a different best TTA loss emerges. To explain this phenomenon, we analyze TTA through the lens of the training losses's convex conjugate. We show that under natural conditions, this (unsupervised) conjugate function can be viewed as a good local approximation to the original supervised loss and indeed, it recovers the best losses found by meta-learning. This leads to a generic recipe that can be used to find a good TTA loss for any given supervised training loss function of a general class. Empirically, our approach consistently dominates other baselines over a wide range of benchmarks. Our approach is particularly of interest when applied to classifiers trained with novel loss functions, e.g., the recently-proposed PolyLoss, where it differs substantially from (and outperforms) an entropy-based loss. Further, we show that our approach can also be interpreted as a kind of self-training using a very specific soft label, which we refer to as the conjugate pseudolabel. Overall, our method provides a broad framework for better understanding and improving test-time adaptation. Code is available at https://github.com/locuslab/tta_conjugate.
• Abstract（参考訳）: テスト時間適応(tta)とは、ニューラルネットワークを分散シフトに適応させ、テスト時に新しいドメインからラベルのないテストサンプルのみにアクセスすることを指す。 事前のtta手法は、テント[wang et al., 2021]におけるモデル予測のエントロピーのような教師なしの目標を最適化するが、正確なtta損失の原因は不明である。 本稿では,TENT のソフトマックスエントロピー (温度スケール版) に類似した関数を,多種多様な関数に対して最大限の TTA 損失をメタラーニングしようとすると,その関数を回復させるという,驚くべき現象を提示することから始める。 しかし、私たちが適応している分類器がクロスエントロピーによって訓練されている場合のみ、二乗損失によって訓練された場合、異なる最高のtta損失が発生する。 この現象を説明するために、トレーニング損失凸共役のレンズを通してTTAを解析する。 自然条件下では、この(教師なし)共役関数は、元の教師付き損失に対する良い局所近似と見なすことができ、実際、メタラーニングによって発見された最良の損失を回復できる。 これは、一般的なクラスの教師付きトレーニング損失関数に対して良いTTA損失を見つけるために使用できる一般的なレシピにつながる。 経験的に、我々のアプローチは幅広いベンチマークで他のベースラインを一貫して支配している。 提案手法は,新規な損失関数を訓練した分類器(例えば最近提案されたPolyLoss)に適用した場合,特に興味がある。 さらに,本手法は,共役擬似ラベル(conjugate pseudolabel)と呼ばれる,非常に特異なソフトラベルを用いて,一種の自己学習と解釈できることを示す。 全体として、テスト時間適応の理解と改善のための幅広いフレームワークを提供する。 コードはhttps://github.com/locuslab/tta_comで入手できる。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
  テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。 本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。 本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T03:33:39Z)
• Towards Real-World Test-Time Adaptation: Tri-Net Self-Training with Balanced Normalization [52.03927261909813]
  既存の研究は、非I.d.データストリームと連続的なドメインシフトの下での実際のテスト時間適応を主に検討している。 我々は、最先端手法の失敗は、まず不均衡なテストデータに正規化層を無差別に適応させることによって生じると論じる。 TRIBEと呼ばれる最後のTTAモデルは、バランスの取れたバッチノーム層を持つトリネットアーキテクチャ上に構築されている。
  論文  参考訳（メタデータ） (2023-09-26T14:06:26Z)
• Cut your Losses with Squentropy [19.924900110707284]
  ここでは、クロスエントロピー損失と、不正なクラスに対する平均平方損失という2つの項の和である「スカントロピー」損失を提案する。 その結果, スクエントロピーの損失は, 純粋なクロスエントロピーと再スケールした正方形損失の両方において, 分類精度において優れていた。
  論文  参考訳（メタデータ） (2023-02-08T09:21:13Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• A Probabilistic Framework for Lifelong Test-Time Adaptation [34.07074915005366]
  テスト時間適応(TTA)は、異なるターゲットドメインから与えられたテスト入力(s)の推測時間で事前訓練されたソースモデルを更新する問題である。 PETAL(Probabilistic lifElong Test-time Adaptation with seLf-training prior)は,確率的アプローチを用いて生涯TTAを解決する。 本手法は, 様々なベンチマークにおいて, オンライン・ライフタイム・テスト・タイム・アダプティブの最先端技術よりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-12-19T18:42:19Z)
• Robust Mean Teacher for Continual and Gradual Test-Time Adaptation [5.744133015573047]
  経時的テスト時間適応(TTA)は、単一のドメインシフトだけでなく、一連のシフトも考慮している。 我々は,TTAの設定において,平均教師の整合性損失として対称的クロスエントロピーが適していることを示す。 提案手法は, 連続的, 段階的評価ベンチマークにおいて, RMT (Robust mean teacher) の有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-23T16:14:45Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。