論文の概要: Discover Your Neighbors: Advanced Stable Test-Time Adaptation in Dynamic World

• arxiv url: http://arxiv.org/abs/2406.05413v1
• Date: Sat, 8 Jun 2024 09:22:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 19:55:06.865405
• Title: Discover Your Neighbors: Advanced Stable Test-Time Adaptation in Dynamic World
• Title（参考訳）: 隣人を見つける:動的世界における高度な安定したテスト時間適応
• Authors: Qinting Jiang, Chuyang Ye, Dongyan Wei, Yuan Xue, Jingyan Jiang, Zhi Wang,
• Abstract要約: Discover Your Neighbours (DYN)は、動的テスト時間適応(TTA)に特化した最初の後方自由アプローチである。 我々のDYNは階層型インスタンス統計クラスタリング(LISC)とクラスタ対応バッチ正規化(CABN)で構成されています。 DYNのロバスト性と有効性を評価し、動的データストリームパターン下での維持性能を示す実験結果を得た。
• 参考スコア（独自算出の注目度）: 8.332531696256666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite progress, deep neural networks still suffer performance declines under distribution shifts between training and test domains, leading to a substantial decrease in Quality of Experience (QoE) for multimedia applications. Existing test-time adaptation (TTA) methods are challenged by dynamic, multiple test distributions within batches. This work provides a new perspective on analyzing batch normalization techniques through class-related and class-irrelevant features, our observations reveal combining source and test batch normalization statistics robustly characterizes target distributions. However, test statistics must have high similarity. We thus propose Discover Your Neighbours (DYN), the first backward-free approach specialized for dynamic TTA. The core innovation is identifying similar samples via instance normalization statistics and clustering into groups which provides consistent class-irrelevant representations. Specifically, Our DYN consists of layer-wise instance statistics clustering (LISC) and cluster-aware batch normalization (CABN). In LISC, we perform layer-wise clustering of approximate feature samples at each BN layer by calculating the cosine similarity of instance normalization statistics across the batch. CABN then aggregates SBN and TCN statistics to collaboratively characterize the target distribution, enabling more robust representations. Experimental results validate DYN's robustness and effectiveness, demonstrating maintained performance under dynamic data stream patterns.
• Abstract（参考訳）: 高度なニューラルネットワークは、トレーニングとテストドメイン間の分散シフトによって依然としてパフォーマンス低下を被っており、マルチメディアアプリケーションにおけるQuality of Experience(QoE)の大幅な低下につながっている。 既存のテスト時間適応(TTA)メソッドは、バッチ内で動的に複数のテスト分布によって挑戦される。 本研究は,クラス関連およびクラス非関連機能によるバッチ正規化手法の解析における新たな視点を提供する。 しかし、テスト統計は高い類似性を持つ必要がある。 そこで我々は、動的TTAに特化した最初の後方自由アプローチであるDiscover Your Neighbours (DYN)を提案する。 中心となるイノベーションは、インスタンスの正規化統計と一貫したクラス非関連表現を提供するグループへのクラスタリングを通じて、類似したサンプルを識別することである。 具体的には,階層型インスタンス統計クラスタリング(LISC)とクラスタ対応バッチ正規化(CABN)から構成される。 LISCでは、各BN層に近似した特徴サンプルを階層的にクラスタリングし、バッチ全体にわたるインスタンス正規化統計量のコサイン類似性を計算する。 CABN は SBN と TCN の統計データを集約し、より堅牢な表現を可能にする。 DYNのロバスト性と有効性を評価し、動的データストリームパターン下での維持性能を示す実験結果を得た。

関連論文リスト

• MedBN: Robust Test-Time Adaptation against Malicious Test Samples [11.397666167665484]
  テスト時間適応(TTA)は、トレーニングデータとテストデータの間の予期せぬ分散シフトによるパフォーマンス劣化に対処する、有望なソリューションとして登場した。 以前の研究では、テストバッチのごく一部が不正に操作された場合でも、TTA内のセキュリティ脆弱性が明らかになった。 テスト時間推論におけるバッチ正規化層内の統計量推定に中央値のロバスト性を利用する中央値バッチ正規化(MedBN)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T11:33:02Z)
• Un-Mixing Test-Time Normalization Statistics: Combatting Label Temporal Correlation [11.743315123714108]
  本稿では,Un-Mixing Test-Time Normalization Statistics (UnMix-TNS)と呼ばれる新しい手法を提案する。 本手法は,複数の異なる統計成分を混合することにより,テストバッチ内の各インスタンスの統計を校正する。 この結果は,UnMix-TNSの安定性と性能を,様々なベンチマークで著しく向上させる能力を強調した。
  論文  参考訳（メタデータ） (2024-01-16T12:48:52Z)
• Generalized Robust Test-Time Adaptation in Continuous Dynamic Scenarios [18.527640606971563]
  テスト時間適応(TTA)は、未ラベルのテストデータストリームのみを使用する推論フェーズにおいて、事前訓練されたモデルに分散をテストする。 本稿では,問題に効果的に対応する汎用ロバストテスト時間適応(GRoTTA)法を提案する。
  論文  参考訳（メタデータ） (2023-10-07T07:13:49Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Robust Continual Test-time Adaptation: Instance-aware BN and Prediction-balanced Memory [58.72445309519892]
  テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。 a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
  論文  参考訳（メタデータ） (2022-08-10T03:05:46Z)
• Test-time Batch Normalization [61.292862024903584]
  ディープニューラルネットワークは、トレーニングとテストの間のデータ分散シフトに悩まされることが多い。 トレーニングプロセスにおけるバッチ正規化(BN)を再検討し、テスト時の最適化に有効な2つの重要な洞察を明らかにします。 本稿では,エントロピー損失を最小限に抑えて,テスト中に最適化された新しいBN層設計GpreBNを提案する。
  論文  参考訳（メタデータ） (2022-05-20T14:33:39Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Self-Challenging Improves Cross-Domain Generalization [81.99554996975372]
  畳み込みニューラルネットワーク(CNN)は、ラベルと相関する支配的特徴を活性化することにより、画像分類を行う。 ドメイン外データに対するCNNの一般化を著しく改善する簡単なトレーニングである自己整合表現(RSC)を導入する。 RSCはトレーニングデータ上で活性化される主要な機能に対して反復的に挑戦し、ラベルと相関する残りの機能を有効にするようネットワークに強制する。
  論文  参考訳（メタデータ） (2020-07-05T21:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。