論文の概要: Channel-Selective Normalization for Label-Shift Robust Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2402.04958v2
• Date: Wed, 29 May 2024 15:16:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 23:31:04.304041
• Title: Channel-Selective Normalization for Label-Shift Robust Test-Time Adaptation
• Title（参考訳）: ラベルシフトロバストテスト時間適応のためのチャネル選択正規化
• Authors: Pedro Vianna, Muawiz Chaudhary, Paria Mehrbod, An Tang, Guy Cloutier, Guy Wolf, Michael Eickenberg, Eugene Belilovsky,
• Abstract要約: テスト時間適応は、推論中にモデルを新しいデータ分布に調整するアプローチである。 テスト時のバッチ正規化は、ドメインシフトベンチマークで魅力的なパフォーマンスを達成した、シンプルで一般的な方法である。 本稿では、ディープネットワークにおけるチャネルのみを選択的に適応させ、ラベルシフトに敏感な劇的な適応を最小化することで、この問題に対処することを提案する。
• 参考スコア（独自算出の注目度）: 16.657929958093824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have useful applications in many different tasks, however their performance can be severely affected by changes in the data distribution. For example, in the biomedical field, their performance can be affected by changes in the data (different machines, populations) between training and test datasets. To ensure robustness and generalization to real-world scenarios, test-time adaptation has been recently studied as an approach to adjust models to a new data distribution during inference. Test-time batch normalization is a simple and popular method that achieved compelling performance on domain shift benchmarks. It is implemented by recalculating batch normalization statistics on test batches. Prior work has focused on analysis with test data that has the same label distribution as the training data. However, in many practical applications this technique is vulnerable to label distribution shifts, sometimes producing catastrophic failure. This presents a risk in applying test time adaptation methods in deployment. We propose to tackle this challenge by only selectively adapting channels in a deep network, minimizing drastic adaptation that is sensitive to label shifts. Our selection scheme is based on two principles that we empirically motivate: (1) later layers of networks are more sensitive to label shift (2) individual features can be sensitive to specific classes. We apply the proposed technique to three classification tasks, including CIFAR10-C, Imagenet-C, and diagnosis of fatty liver, where we explore both covariate and label distribution shifts. We find that our method allows to bring the benefits of TTA while significantly reducing the risk of failure common in other methods, while being robust to choice in hyperparameters.
• Abstract（参考訳）: ディープニューラルネットワークは多くの異なるタスクに有用な応用があるが、その性能はデータ分散の変化によって大きく影響を受ける可能性がある。 例えば、バイオメディカル分野では、トレーニングとテストデータセット間のデータ(異なるマシン、人口)の変化によってパフォーマンスが影響を受ける可能性がある。 実世界のシナリオに対するロバストさと一般化を保証するため、最近、推論中に新しいデータ分布にモデルを調整するためのアプローチとしてテスト時間適応法が研究されている。 テスト時のバッチ正規化は、ドメインシフトベンチマークで魅力的なパフォーマンスを達成した、シンプルで一般的な方法である。 テストバッチのバッチ正規化統計を再計算することで実装される。 これまでの研究は、トレーニングデータと同じラベル分布を持つテストデータによる分析に重点を置いてきた。 しかし、多くの実用的な応用において、この手法はラベルの分布シフトに弱いため、時には破滅的な失敗を引き起こすことがある。 これにより、デプロイにテスト時間適応手法を適用するリスクが生じる。 本稿では、ディープネットワークにおけるチャネルのみを選択的に適応させ、ラベルシフトに敏感な劇的な適応を最小化することで、この問題に対処することを提案する。 1) 後続のネットワーク層はラベルシフトに敏感であり,(2) 個々の特徴は特定のクラスに敏感である。 提案手法をCIFAR10-C, Imagenet-C, 脂肪肝診断の3つの分類課題に適用し, 共変量およびラベル分布の変化について検討した。 提案手法は,TTAの利点を生かしつつ,他の手法に共通する障害のリスクを大幅に低減するとともに,ハイパーパラメータの選択に頑健であることを示す。

関連論文リスト

• Label Distribution Shift-Aware Prediction Refinement for Test-Time Adaptation [12.231303059518229]
  テスト時間適応(DART)のためのラベル分散シフト予測の改良について紹介する。 DARTは、クラスワイドの混乱パターンに着目して予測を洗練する新しいTTA手法である。 CIFAR-10Cではラベル分布シフトがない場合,CIFAR-10Cでは精度が5-18%向上する。
  論文  参考訳（メタデータ） (2024-11-20T05:58:52Z)
• Adapting Conformal Prediction to Distribution Shifts Without Labels [16.478151550456804]
  コンフォーマル予測(CP)により、機械学習モデルは、保証されたカバレッジ率で予測セットを出力できる。 我々の目標は、テストドメインからのラベルなしデータのみを使用して、CP生成予測セットの品質を改善することです。 これは、未ラベルテストデータに対するベースモデルの不確実性に応じてCPのスコア関数を調整する、ECP と EACP と呼ばれる2つの新しい手法によって達成される。
  論文  参考訳（メタデータ） (2024-06-03T15:16:02Z)
• Calibrated Adaptive Teacher for Domain Adaptive Intelligent Fault Diagnosis [7.88657961743755]
  教師なしのドメイン適応(UDA)は、ラベル付きデータがソースドメインで利用可能であり、ラベルなしデータがターゲットドメインでのみ利用可能であるシナリオを扱う。 本稿では,自己学習過程を通じて教師ネットワークの予測を校正する,Calibrated Adaptive Teacher (CAT) と呼ばれる新しいUDA手法を提案する。
  論文  参考訳（メタデータ） (2023-12-05T15:19:29Z)
• Generalized Robust Test-Time Adaptation in Continuous Dynamic Scenarios [18.527640606971563]
  テスト時間適応(TTA)は、未ラベルのテストデータストリームのみを使用する推論フェーズにおいて、事前訓練されたモデルに分散をテストする。 本稿では,問題に効果的に対応する汎用ロバストテスト時間適応(GRoTTA)法を提案する。
  論文  参考訳（メタデータ） (2023-10-07T07:13:49Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• AdaNPC: Exploring Non-Parametric Classifier for Test-Time Adaptation [64.9230895853942]
  ドメインの一般化は、ターゲットのドメイン情報を活用することなく、任意に困難にすることができる。 この問題に対処するためにテスト時適応(TTA)手法が提案されている。 本研究では,テスト時間適応(AdaNPC)を行うためにNon-Parametricを採用する。
  論文  参考訳（メタデータ） (2023-04-25T04:23:13Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。