論文の概要: Protected Test-Time Adaptation via Online Entropy Matching: A Betting Approach

• arxiv url: http://arxiv.org/abs/2408.07511v1
• Date: Wed, 14 Aug 2024 12:40:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 13:24:15.168739
• Title: Protected Test-Time Adaptation via Online Entropy Matching: A Betting Approach
• Title（参考訳）: オンラインエントロピーマッチングによるテスト時間適応の保護:ベッティングアプローチ
• Authors: Yarin Bar, Shalev Shaer, Yaniv Romano,
• Abstract要約: オンライン自己学習によるテスト時間適応のための新しい手法を提案する。 提案手法は,マーチンガレットとオンライン学習の概念を組み合わせることで,分布変化に反応可能な検出ツールを構築する。 実験結果から, 分散シフト時のテスト時間精度は, 精度とキャリブレーションを保ちながら向上することが示された。
• 参考スコア（独自算出の注目度）: 14.958884168060097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel approach for test-time adaptation via online self-training, consisting of two components. First, we introduce a statistical framework that detects distribution shifts in the classifier's entropy values obtained on a stream of unlabeled samples. Second, we devise an online adaptation mechanism that utilizes the evidence of distribution shifts captured by the detection tool to dynamically update the classifier's parameters. The resulting adaptation process drives the distribution of test entropy values obtained from the self-trained classifier to match those of the source domain, building invariance to distribution shifts. This approach departs from the conventional self-training method, which focuses on minimizing the classifier's entropy. Our approach combines concepts in betting martingales and online learning to form a detection tool capable of quickly reacting to distribution shifts. We then reveal a tight relation between our adaptation scheme and optimal transport, which forms the basis of our novel self-supervised loss. Experimental results demonstrate that our approach improves test-time accuracy under distribution shifts while maintaining accuracy and calibration in their absence, outperforming leading entropy minimization methods across various scenarios.
• Abstract（参考訳）: 本稿では,2つのコンポーネントからなるオンライン自己学習によるテスト時間適応手法を提案する。 まず,未ラベル標本のストリーム上で得られた分類器のエントロピー値の分布変化を検出する統計フレームワークを提案する。 第2に,検出ツールが取得した分布変化の証拠を利用して,分類器のパラメータを動的に更新するオンライン適応機構を考案する。 結果の適応プロセスは、自己学習型分類器から得られたテストエントロピー値の分布を、ソース領域の値と一致するように駆動し、分散シフトに不変性を構築する。 このアプローチは、分類器のエントロピーを最小化することに焦点を当てた従来の自己学習法から逸脱する。 提案手法では,マーチンガレットとオンライン学習の概念を組み合わせて,分布変化に迅速に対応可能な検出ツールを構築している。 そして、適応スキームと最適輸送の密接な関係を明らかにし、新たな自己監督的損失の基礎となる。 実験結果から,本手法は分布シフト下での試験時間精度を向上し,不在時の精度と校正を維持でき,様々なシナリオにおける先行エントロピー最小化法よりも優れていた。

関連論文リスト

• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
  本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。 提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-14T08:00:49Z)
• Improving Test-Time Adaptation via Shift-agnostic Weight Regularization and Nearest Source Prototypes [18.140619966865955]
  本稿では,対象ドメインからの未ラベルのオンラインデータのみを用いて,ソースドメイン上で事前学習したモデルを調整する新しいテスト時間適応手法を提案する。 提案手法は,各種標準ベンチマークの最先端性能を示すとともに,教師付きベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-24T10:17:05Z)
• Robust Calibration with Multi-domain Temperature Scaling [86.07299013396059]
  我々は,複数の領域からのデータを活用することで,分散シフトを処理するシステムキャリブレーションモデルを開発した。 提案手法は,分布シフト時のキャリブレーションを改善するために,領域内のロバスト性を利用する。
  論文  参考訳（メタデータ） (2022-06-06T17:32:12Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Test-Time Adaptation to Distribution Shift by Confidence Maximization and Input Transformation [44.494319305269535]
  ニューラルネットワークは、トレインタイムのデータ分散下ではありそうもないデータに対して、低いパフォーマンスを示すことが多い。 本稿では,対象分布からのラベル付きデータのみを必要とする完全テスト時間適応設定に焦点をあてる。 本稿では,初期収束とエントロピー最小化の不安定性の両方に対処することにより,テスト時間適応を改善する新しい損失を提案する。
  論文  参考訳（メタデータ） (2021-06-28T22:06:10Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Calibrated Adversarial Refinement for Stochastic Semantic Segmentation [5.849736173068868]
  本稿では,各予測に関連付けられた確率が,その根拠となる真偽の正しさを反映する,セマンティックマップ上の校正された予測分布を学習するための戦略を提案する。 マルチグレーダのLIDCデータセットと、注入曖昧さのあるCityscapesデータセットに対して、最先端の成果を達成し、アプローチの汎用性と堅牢性を実証する。 本研究は,おもちゃの回帰データセットを用いて実験することにより,校正された予測分布の学習を必要とする他のタスクにコア設計を適用することができることを示す。
  論文  参考訳（メタデータ） (2020-06-23T16:39:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。