論文の概要: Entropy is not Enough for Test-Time Adaptation: From the Perspective of Disentangled Factors

• arxiv url: http://arxiv.org/abs/2403.07366v1
• Date: Tue, 12 Mar 2024 07:01:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 22:30:52.086189
• Title: Entropy is not Enough for Test-Time Adaptation: From the Perspective of Disentangled Factors
• Title（参考訳）: エントロピーはテスト時間適応に十分ではない:不連続要因の観点から
• Authors: Jonghyun Lee, Dahuin Jung, Saehyung Lee, Junsung Park, Juhyeon Shin, Uiwon Hwang, Sungroh Yoon
• Abstract要約: テストタイム適応(TTA) 未確認のテストデータのための訓練済みのディープニューラルネットワーク。 本稿では,Destroy Your Object (DeYO) という新しいTTA手法を紹介する。
• 参考スコア（独自算出の注目度）: 36.54076844195179
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time adaptation (TTA) fine-tunes pre-trained deep neural networks for unseen test data. The primary challenge of TTA is limited access to the entire test dataset during online updates, causing error accumulation. To mitigate it, TTA methods have utilized the model output's entropy as a confidence metric that aims to determine which samples have a lower likelihood of causing error. Through experimental studies, however, we observed the unreliability of entropy as a confidence metric for TTA under biased scenarios and theoretically revealed that it stems from the neglect of the influence of latent disentangled factors of data on predictions. Building upon these findings, we introduce a novel TTA method named Destroy Your Object (DeYO), which leverages a newly proposed confidence metric named Pseudo-Label Probability Difference (PLPD). PLPD quantifies the influence of the shape of an object on prediction by measuring the difference between predictions before and after applying an object-destructive transformation. DeYO consists of sample selection and sample weighting, which employ entropy and PLPD concurrently. For robust adaptation, DeYO prioritizes samples that dominantly incorporate shape information when making predictions. Our extensive experiments demonstrate the consistent superiority of DeYO over baseline methods across various scenarios, including biased and wild. Project page is publicly available at https://whitesnowdrop.github.io/DeYO/.
• Abstract（参考訳）: テストタイム適応(TTA) 未確認のテストデータのための訓練済みのディープニューラルネットワーク。 ttaの主な課題は、オンライン更新中のテストデータセット全体へのアクセス制限であり、エラーの蓄積を引き起こす。 これを軽減するため、TTA法はモデル出力のエントロピーを、どのサンプルがエラーを引き起こす可能性が低いかを判断する信頼度指標として利用した。 しかし, 実験により, TTAの信頼度指標としてのエントロピーの信頼性の欠如を観測し, 遅延不整合因子の影響が予測に与える影響を無視することに起因することを理論的に明らかにした。 これらの知見に基づいて,新たに提案された信頼度尺度である Pseudo-Label Probability difference (PLPD) を利用した新しいTTA手法である Destroy Your Object (DeYO) を導入する。 plpdは、物体破壊変換を施す前後の予測の差を測定することにより、物体の形状が予測に及ぼす影響を定量化する。 DeYOはサンプル選択とサンプル重み付けで構成され、エントロピーとPLPDを同時に使用する。 堅牢な適応のために、DeYOは予測を行う際に、主に形状情報を含むサンプルを優先する。 我々の広範な実験は、バイアスドやワイルドを含む様々なシナリオにおけるベースラインメソッドに対するdeyoの一貫性の優位性を示しています。 プロジェクトページはhttps://whitesnowdrop.github.io/deyo/で公開されている。

関連論文リスト

• DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
  トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。 単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。 Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
  論文  参考訳（メタデータ） (2024-09-28T15:03:28Z)
• ETAGE: Enhanced Test Time Adaptation with Integrated Entropy and Gradient Norms for Robust Model Performance [18.055032898349438]
  テスト時間適応(TTA)は、トレーニング分布から逸脱した未確認のテストデータを扱うために、ディープラーニングモデルを備えている。 本稿では,エントロピー最小化と勾配ノルム,PLPDを統合した改良TTA手法ETAGEを紹介する。 提案手法は,高エントロピーと高勾配ノルムを適応から組み合わせることで,不安定を生じにくいサンプルを優先する。
  論文  参考訳（メタデータ） (2024-09-14T01:25:52Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Projection Regret: Reducing Background Bias for Novelty Detection via Diffusion Models [72.07462371883501]
  本研究では,非意味情報のバイアスを緩和する効率的な新規性検出手法であるemphProjection Regret(PR)を提案する。 PRは、テスト画像とその拡散ベースの投影の間の知覚距離を計算し、異常を検出する。 拡張実験により、PRは生成モデルに基づく新規性検出手法の先行技術よりも有意なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-05T09:44:47Z)
• Towards Open-Set Test-Time Adaptation Utilizing the Wisdom of Crowds in Entropy Minimization [47.61333493671805]
  テスト時間適応(TTA)メソッドは、未ラベルのターゲットドメインにソース事前学習モデルを適用するために、モデルの予測に依存する。 本稿では, 以下の重要な経験的発見から着想を得た, 単純かつ効果的なサンプル選択法を提案する。
  論文  参考訳（メタデータ） (2023-08-14T01:24:18Z)
• Diverse Data Augmentation with Diffusions for Effective Test-time Prompt Tuning [73.75282761503581]
  DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。 DiffTPTがゼロショット精度を平均5.13%向上することを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:36:31Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。