論文の概要: Entropy is not Enough for Test-Time Adaptation: From the Perspective of
Disentangled Factors
- arxiv url: http://arxiv.org/abs/2403.07366v1
- Date: Tue, 12 Mar 2024 07:01:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 22:30:52.086189
- Title: Entropy is not Enough for Test-Time Adaptation: From the Perspective of
Disentangled Factors
- Title(参考訳): エントロピーはテスト時間適応に十分ではない:不連続要因の観点から
- Authors: Jonghyun Lee, Dahuin Jung, Saehyung Lee, Junsung Park, Juhyeon Shin,
Uiwon Hwang, Sungroh Yoon
- Abstract要約: テストタイム適応(TTA) 未確認のテストデータのための訓練済みのディープニューラルネットワーク。
本稿では,Destroy Your Object (DeYO) という新しいTTA手法を紹介する。
- 参考スコア(独自算出の注目度): 36.54076844195179
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test-time adaptation (TTA) fine-tunes pre-trained deep neural networks for
unseen test data. The primary challenge of TTA is limited access to the entire
test dataset during online updates, causing error accumulation. To mitigate it,
TTA methods have utilized the model output's entropy as a confidence metric
that aims to determine which samples have a lower likelihood of causing error.
Through experimental studies, however, we observed the unreliability of entropy
as a confidence metric for TTA under biased scenarios and theoretically
revealed that it stems from the neglect of the influence of latent disentangled
factors of data on predictions. Building upon these findings, we introduce a
novel TTA method named Destroy Your Object (DeYO), which leverages a newly
proposed confidence metric named Pseudo-Label Probability Difference (PLPD).
PLPD quantifies the influence of the shape of an object on prediction by
measuring the difference between predictions before and after applying an
object-destructive transformation. DeYO consists of sample selection and sample
weighting, which employ entropy and PLPD concurrently. For robust adaptation,
DeYO prioritizes samples that dominantly incorporate shape information when
making predictions. Our extensive experiments demonstrate the consistent
superiority of DeYO over baseline methods across various scenarios, including
biased and wild. Project page is publicly available at
https://whitesnowdrop.github.io/DeYO/.
- Abstract(参考訳): テストタイム適応(TTA) 未確認のテストデータのための訓練済みのディープニューラルネットワーク。
ttaの主な課題は、オンライン更新中のテストデータセット全体へのアクセス制限であり、エラーの蓄積を引き起こす。
これを軽減するため、TTA法はモデル出力のエントロピーを、どのサンプルがエラーを引き起こす可能性が低いかを判断する信頼度指標として利用した。
しかし, 実験により, TTAの信頼度指標としてのエントロピーの信頼性の欠如を観測し, 遅延不整合因子の影響が予測に与える影響を無視することに起因することを理論的に明らかにした。
これらの知見に基づいて,新たに提案された信頼度尺度である Pseudo-Label Probability difference (PLPD) を利用した新しいTTA手法である Destroy Your Object (DeYO) を導入する。
plpdは、物体破壊変換を施す前後の予測の差を測定することにより、物体の形状が予測に及ぼす影響を定量化する。
DeYOはサンプル選択とサンプル重み付けで構成され、エントロピーとPLPDを同時に使用する。
堅牢な適応のために、DeYOは予測を行う際に、主に形状情報を含むサンプルを優先する。
我々の広範な実験は、バイアスドやワイルドを含む様々なシナリオにおけるベースラインメソッドに対するdeyoの一貫性の優位性を示しています。
プロジェクトページはhttps://whitesnowdrop.github.io/deyo/で公開されている。
関連論文リスト
- Projection Regret: Reducing Background Bias for Novelty Detection via
Diffusion Models [72.07462371883501]
本研究では,非意味情報のバイアスを緩和する効率的な新規性検出手法であるemphProjection Regret(PR)を提案する。
PRは、テスト画像とその拡散ベースの投影の間の知覚距離を計算し、異常を検出する。
拡張実験により、PRは生成モデルに基づく新規性検出手法の先行技術よりも有意なマージンで優れていることが示された。
論文 参考訳(メタデータ) (2023-12-05T09:44:47Z) - Persistent Test-time Adaptation in Episodic Testing Scenarios [13.514033978964308]
現在のテスト時間適応アプローチは、継続的に変化する環境に適応することを目的としています。
これらの手法の適応性が長期にわたって維持されているかどうかは不明である。
本研究は, エピソードTTAと呼ばれる新しいテスト環境を提案する。
論文 参考訳(メタデータ) (2023-11-30T02:24:44Z) - Improving Entropy-Based Test-Time Adaptation from a Clustering View [16.55816127931124]
本稿では,クラスタリングの観点からこれらの手法を解釈するEntropy-based TTAについて紹介する。
この解釈に基づいて,エントロピー損失が最大確率をさらに増大させることを示す。
上記の問題を緩和するために,ロバストなラベル割り当て,重み調整,勾配蓄積を提案する。
論文 参考訳(メタデータ) (2023-10-31T10:10:48Z) - Towards Open-Set Test-Time Adaptation Utilizing the Wisdom of Crowds in
Entropy Minimization [47.61333493671805]
テスト時間適応(TTA)メソッドは、未ラベルのターゲットドメインにソース事前学習モデルを適用するために、モデルの予測に依存する。
本稿では, 以下の重要な経験的発見から着想を得た, 単純かつ効果的なサンプル選択法を提案する。
論文 参考訳(メタデータ) (2023-08-14T01:24:18Z) - Diverse Data Augmentation with Diffusions for Effective Test-time Prompt
Tuning [73.75282761503581]
DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。
DiffTPTがゼロショット精度を平均5.13%向上することを示す。
論文 参考訳(メタデータ) (2023-08-11T09:36:31Z) - Robust Continual Test-time Adaptation: Instance-aware BN and
Prediction-balanced Memory [58.72445309519892]
テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。
a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
論文 参考訳(メタデータ) (2022-08-10T03:05:46Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳(メタデータ) (2022-04-06T06:39:40Z) - Balance-Subsampled Stable Prediction [55.13512328954456]
本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。
設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。
合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
論文 参考訳(メタデータ) (2020-06-08T07:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。