論文の概要: Un-Mixing Test-Time Normalization Statistics: Combatting Label Temporal Correlation
- arxiv url: http://arxiv.org/abs/2401.08328v2
- Date: Thu, 14 Mar 2024 11:20:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-16 01:42:38.612046
- Title: Un-Mixing Test-Time Normalization Statistics: Combatting Label Temporal Correlation
- Title（参考訳）: 未混合試験時間正規化統計:ラベル時間相関の燃焼
- Authors: Devavrat Tomar, Guillaume Vray, Jean-Philippe Thiran, Behzad Bozorgtabar,
- Abstract要約: 本稿では,Un-Mixing Test-Time Normalization Statistics (UnMix-TNS)と呼ばれる新しい手法を提案する。
本手法は,複数の異なる統計成分を混合することにより,テストバッチ内の各インスタンスの統計を校正する。
この結果は,UnMix-TNSの安定性と性能を,様々なベンチマークで著しく向上させる能力を強調した。
- 参考スコア（独自算出の注目度）: 11.743315123714108
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent test-time adaptation methods heavily rely on nuanced adjustments of batch normalization (BN) parameters. However, one critical assumption often goes overlooked: that of independently and identically distributed (i.i.d.) test batches with respect to unknown labels. This oversight leads to skewed BN statistics and undermines the reliability of the model under non-i.i.d. scenarios. To tackle this challenge, this paper presents a novel method termed 'Un-Mixing Test-Time Normalization Statistics' (UnMix-TNS). Our method re-calibrates the statistics for each instance within a test batch by mixing it with multiple distinct statistics components, thus inherently simulating the i.i.d. scenario. The core of this method hinges on a distinctive online unmixing procedure that continuously updates these statistics components by incorporating the most similar instances from new test batches. Remarkably generic in its design, UnMix-TNS seamlessly integrates with a wide range of leading test-time adaptation methods and pre-trained architectures equipped with BN layers. Empirical evaluations corroborate the robustness of UnMix-TNS under varied scenarios-ranging from single to continual and mixed domain shifts, particularly excelling with temporally correlated test data and corrupted non-i.i.d. real-world streams. This adaptability is maintained even with very small batch sizes or single instances. Our results highlight UnMix-TNS's capacity to markedly enhance stability and performance across various benchmarks. Our code is publicly available at https://github.com/devavratTomar/unmixtns.
- Abstract（参考訳）: 最近のテスト時間適応法は、バッチ正規化(BN)パラメータのニュアンス調整に大きく依存している。
しかし、1つの重要な仮定は見過ごされがちである: 独立で同一に分散されたテストバッチ(すなわち、未知のラベルに関して)。
この監視はBN統計を歪ませ、非I.D.シナリオ下でのモデルの信頼性を損なう。
そこで本研究では,Un-Mixing Test-Time Normalization Statistics (UnMix-TNS) と呼ばれる新しい手法を提案する。
テストバッチ内の各インスタンスの統計を、複数の異なる統計成分と混合することにより再分類し、i.d.シナリオを本質的にシミュレートする。
このメソッドの中核は、新しいテストバッチから最も類似したインスタンスを組み込むことで、これらの統計コンポーネントを継続的に更新するユニークなオンラインアンミックス手順に基づいている。
設計上、UnMix-TNSは広範囲の試験時間適応手法とBN層を備えた事前学習アーキテクチャをシームレスに統合する。
経験的評価は、UnMix-TNSのロバスト性を、単一から連続および混合領域シフト(特に時間的に相関したテストデータと非実世界のストリームの破損に優れる)の様々なシナリオで裏付ける。
この適応性は非常に小さなバッチサイズや単一インスタンスでも維持される。
この結果は,UnMix-TNSの安定性と性能を,様々なベンチマークで著しく向上させる能力を強調した。
私たちのコードはhttps://github.com/devavratTomar/unmixtns.comで公開されています。
関連論文リスト
- STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。
本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。
本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-22T16:25:41Z) - Discover Your Neighbors: Advanced Stable Test-Time Adaptation in Dynamic World [8.332531696256666]
Discover Your Neighbours (DYN)は、動的テスト時間適応(TTA)に特化した最初の後方自由アプローチである。
我々のDYNは階層型インスタンス統計クラスタリング(LISC)とクラスタ対応バッチ正規化(CABN)で構成されています。
DYNのロバスト性と有効性を評価し、動的データストリームパターン下での維持性能を示す実験結果を得た。
論文 参考訳（メタデータ） (2024-06-08T09:22:32Z) - MedBN: Robust Test-Time Adaptation against Malicious Test Samples [11.397666167665484]
テスト時間適応(TTA)は、トレーニングデータとテストデータの間の予期せぬ分散シフトによるパフォーマンス劣化に対処する、有望なソリューションとして登場した。
以前の研究では、テストバッチのごく一部が不正に操作された場合でも、TTA内のセキュリティ脆弱性が明らかになった。
テスト時間推論におけるバッチ正規化層内の統計量推定に中央値のロバスト性を利用する中央値バッチ正規化(MedBN)を提案する。
論文 参考訳（メタデータ） (2024-03-28T11:33:02Z) - Exact Consistency Tests for Gaussian Mixture Filters using Normalized Deviation Squared Statistics [3.3748750222488657]
本稿では,正規化偏差二乗(NDS)統計の枠組み内での整合性テストの新しい正確な結果を得る。
結果の整合性試験の精度と有用性を静的および動的混合推定例で数値的に示す。
論文 参考訳（メタデータ） (2023-12-29T01:28:40Z) - Sequential Kernelized Independence Testing [101.22966794822084]
我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。
シミュレーションデータと実データの両方にアプローチのパワーを実証する。
論文 参考訳（メタデータ） (2022-12-14T18:08:42Z) - C-Mixup: Improving Generalization in Regression [71.10418219781575]
混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。
ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。
C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
論文 参考訳（メタデータ） (2022-10-11T20:39:38Z) - Robust Continual Test-time Adaptation: Instance-aware BN and
Prediction-balanced Memory [58.72445309519892]
テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。
a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
論文 参考訳（メタデータ） (2022-08-10T03:05:46Z) - MixNorm: Test-Time Adaptation Through Online Normalization Estimation [35.65295482033232]
テスト期間中のバッチノーム統計を簡易かつ効果的に推定し、ソースモデルをテストサンプルのターゲットに迅速に適応させる方法を提案する。
テスト時間適応(Test-Time Adaptation)として知られるこのタスクの研究は、(1)テストサンプルが大きなバッチとして集まり、(2)テストの分布が1つであることを評価する上で、2つの前提に従っている。
論文 参考訳（メタデータ） (2021-10-21T21:04:42Z) - Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
我々は,推論中に深層モデルを新しい環境に適応させることを提案する。
バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。
また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
論文 参考訳（メタデータ） (2021-10-06T08:45:03Z) - Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。
より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。
関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
論文 参考訳（メタデータ） (2020-10-10T08:48:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。