論文の概要: Un-Mixing Test-Time Normalization Statistics: Combatting Label Temporal Correlation

• arxiv url: http://arxiv.org/abs/2401.08328v1
• Date: Tue, 16 Jan 2024 12:48:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 14:15:38.313565
• Title: Un-Mixing Test-Time Normalization Statistics: Combatting Label Temporal Correlation
• Title（参考訳）: 未混合試験時間正規化統計:ラベル時間相関の燃焼
• Authors: Devavrat Tomar, Guillaume Vray, Jean-Philippe Thiran, Behzad Bozorgtabar
• Abstract要約: 本稿では,Un-Mixing Test-Time Normalization Statistics (UnMix-TNS)を紹介する。 UnMix-TNSは、複数の未混合統計コンポーネントを混合することにより、バッチ内の各インスタンスを正規化するために使用されるインスタンスワイズ統計を再分類する。 その結果、テスト時間適応のための新しい標準が設定され、複数のベンチマークで安定性と性能の両方が大幅に改善された。
• 参考スコア（独自算出の注目度）: 12.828728138651266
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In an era where test-time adaptation methods increasingly rely on the nuanced manipulation of batch normalization (BN) parameters, one critical assumption often goes overlooked: that of independently and identically distributed (i.i.d.) test batches with respect to unknown labels. This assumption culminates in biased estimates of BN statistics and jeopardizes system stability under non-i.i.d. conditions. This paper pioneers a departure from the i.i.d. paradigm by introducing a groundbreaking strategy termed "Un-Mixing Test-Time Normalization Statistics" (UnMix-TNS). UnMix-TNS re-calibrates the instance-wise statistics used to normalize each instance in a batch by mixing it with multiple unmixed statistics components, thus inherently simulating the i.i.d. environment. The key lies in our innovative online unmixing procedure, which persistently refines these statistics components by drawing upon the closest instances from an incoming test batch. Remarkably generic in its design, UnMix-TNS seamlessly integrates with an array of state-of-the-art test-time adaptation methods and pre-trained architectures equipped with BN layers. Empirical evaluations corroborate the robustness of UnMix-TNS under varied scenarios ranging from single to continual and mixed domain shifts. UnMix-TNS stands out when handling test data streams with temporal correlation, including those with corrupted real-world non-i.i.d. streams, sustaining its efficacy even with minimal batch sizes and individual samples. Our results set a new standard for test-time adaptation, demonstrating significant improvements in both stability and performance across multiple benchmarks.
• Abstract（参考訳）: テスト時間適応手法がバッチ正規化(bn)パラメータのニュアンス操作に依存するようになった時代において、一つの重要な仮定は見過ごされがちである。 この仮定はBN統計の偏りのある推定で頂点に達し、非二項条件下でシステムの安定性を危険にさらす。 本稿では,Un-Mixing Test-Time Normalization Statistics (Un-Mixing Test-Time Normalization Statistics) と呼ばれる画期的な戦略を導入することで,i.d.パラダイムから脱却する。 UnMix-TNSは、複数の未混合統計成分を混合することにより、バッチ内の各インスタンスを正規化するために使用されるインスタンスワイズ統計を再分類し、i.d.環境を本質的にシミュレートする。 これは、入ってくるテストバッチから最も近いインスタンスを描画することで、これらの統計コンポーネントを永続的に洗練します。 設計上、UnMix-TNSは最先端のテスト時間適応法とBN層を備えた事前学習アーキテクチャをシームレスに統合する。 経験的評価により,unmix-tnのロバスト性は,単一から連続,混合の領域シフトによって異なる。 UnMix-TNSは、テストデータストリームを時間的相関で扱う際に際立っており、実世界の非i.d.ストリームが破損している場合を含む。 結果から,テスト時間適応の新しい標準が設定され,複数のベンチマークにおける安定性と性能が大幅に向上した。

関連論文リスト

• STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
  テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。 本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。 本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T16:25:41Z)
• Discover Your Neighbors: Advanced Stable Test-Time Adaptation in Dynamic World [8.332531696256666]
  Discover Your Neighbours (DYN)は、動的テスト時間適応(TTA)に特化した最初の後方自由アプローチである。 我々のDYNは階層型インスタンス統計クラスタリング(LISC)とクラスタ対応バッチ正規化(CABN)で構成されています。 DYNのロバスト性と有効性を評価し、動的データストリームパターン下での維持性能を示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-06-08T09:22:32Z)
• MedBN: Robust Test-Time Adaptation against Malicious Test Samples [11.397666167665484]
  テスト時間適応(TTA)は、トレーニングデータとテストデータの間の予期せぬ分散シフトによるパフォーマンス劣化に対処する、有望なソリューションとして登場した。 以前の研究では、テストバッチのごく一部が不正に操作された場合でも、TTA内のセキュリティ脆弱性が明らかになった。 テスト時間推論におけるバッチ正規化層内の統計量推定に中央値のロバスト性を利用する中央値バッチ正規化(MedBN)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T11:33:02Z)
• Exact Consistency Tests for Gaussian Mixture Filters using Normalized Deviation Squared Statistics [3.3748750222488657]
  本稿では,正規化偏差二乗(NDS)統計の枠組み内での整合性テストの新しい正確な結果を得る。 結果の整合性試験の精度と有用性を静的および動的混合推定例で数値的に示す。
  論文  参考訳（メタデータ） (2023-12-29T01:28:40Z)
• Sequential Kernelized Independence Testing [101.22966794822084]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• C-Mixup: Improving Generalization in Regression [71.10418219781575]
  混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。 ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。 C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
  論文  参考訳（メタデータ） (2022-10-11T20:39:38Z)
• Robust Continual Test-time Adaptation: Instance-aware BN and Prediction-balanced Memory [58.72445309519892]
  テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。 a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
  論文  参考訳（メタデータ） (2022-08-10T03:05:46Z)
• MixNorm: Test-Time Adaptation Through Online Normalization Estimation [35.65295482033232]
  テスト期間中のバッチノーム統計を簡易かつ効果的に推定し、ソースモデルをテストサンプルのターゲットに迅速に適応させる方法を提案する。 テスト時間適応(Test-Time Adaptation)として知られるこのタスクの研究は、(1)テストサンプルが大きなバッチとして集まり、(2)テストの分布が1つであることを評価する上で、2つの前提に従っている。
  論文  参考訳（メタデータ） (2021-10-21T21:04:42Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。