論文の概要: Noisy Test-Time Adaptation in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2502.14604v1
- Date: Thu, 20 Feb 2025 14:37:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-21 17:44:17.392809
- Title: Noisy Test-Time Adaptation in Vision-Language Models
- Title（参考訳）: 視覚言語モデルにおけるノイズの多いテスト時間適応
- Authors: Chentao Cao, Zhun Zhong, Zhanke Zhou, Tongliang Liu, Yang Liu, Kun Zhang, Bo Han,
- Abstract要約: テスト時間適応(TTA)は、テスト中のターゲットデータのみに依存することにより、ソースデータとターゲットデータの分散シフトに対処することを目的としている。
本稿では、ゼロショット方式で、テスト時にノイズのあるサンプルをターゲットとするデータにモデルを適応させることに焦点を当てたゼロショットノイズTTA(ZS-NTTA)を提案する。
本稿では, 冷凍機の出力を擬似ラベルとして利用し, ノイズ検出器の訓練を行う適応ノイズ検出器(AdaND)を提案する。
- 参考スコア（独自算出の注目度）: 73.14136220844156
- License:
- Abstract: Test-time adaptation (TTA) aims to address distribution shifts between source and target data by relying solely on target data during testing. In open-world scenarios, models often encounter noisy samples, i.e., samples outside the in-distribution (ID) label space. Leveraging the zero-shot capability of pre-trained vision-language models (VLMs), this paper introduces Zero-Shot Noisy TTA (ZS-NTTA), focusing on adapting the model to target data with noisy samples during test-time in a zero-shot manner. We find existing TTA methods underperform under ZS-NTTA, often lagging behind even the frozen model. We conduct comprehensive experiments to analyze this phenomenon, revealing that the negative impact of unfiltered noisy data outweighs the benefits of clean data during model updating. Also, adapting a classifier for ID classification and noise detection hampers both sub-tasks. Built on this, we propose a framework that decouples the classifier and detector, focusing on developing an individual detector while keeping the classifier frozen. Technically, we introduce the Adaptive Noise Detector (AdaND), which utilizes the frozen model's outputs as pseudo-labels to train a noise detector. To handle clean data streams, we further inject Gaussian noise during adaptation, preventing the detector from misclassifying clean samples as noisy. Beyond the ZS-NTTA, AdaND can also improve the zero-shot out-of-distribution (ZS-OOD) detection ability of VLMs. Experiments show that AdaND outperforms in both ZS-NTTA and ZS-OOD detection. On ImageNet, AdaND achieves a notable improvement of $8.32\%$ in harmonic mean accuracy ($\text{Acc}_\text{H}$) for ZS-NTTA and $9.40\%$ in FPR95 for ZS-OOD detection, compared to SOTA methods. Importantly, AdaND is computationally efficient and comparable to the model-frozen method. The code is publicly available at: https://github.com/tmlr-group/ZS-NTTA.
- Abstract（参考訳）: テスト時間適応(TTA)は、テスト中のターゲットデータのみに依存することにより、ソースデータとターゲットデータの分散シフトに対処することを目的としている。
オープンワールドのシナリオでは、モデルはしばしばノイズの多いサンプル、すなわち、分布内(ID)ラベル空間の外側のサンプルに遭遇する。
本稿では,事前学習された視覚言語モデル(VLM)のゼロショット機能を活用し,ゼロショット方式で試験時間内にノイズのあるサンプルをターゲットデータに適応させることに着目したゼロショットノイズTTA(ZS-NTTA)を提案する。
既存のTTA法はZS-NTTAの下では性能が悪く、凍結モデルでさえ遅れることが多い。
我々は、この現象を分析するための包括的な実験を行い、フィルタされていないノイズデータの負の影響が、モデル更新時のクリーンデータの利点を上回ることを示した。
また、サブタスクの両方にID分類とノイズ検出のための分類器を適用する。
そこで本研究では,分類器と検出器を分離する枠組みを提案し,分類器の凍結を維持しながら個々の検出器の開発に焦点をあてる。
技術的には,凍結したモデルの出力を擬似ラベルとして利用してノイズ検出器を訓練する適応ノイズ検出器 (AdaND) を導入する。
クリーンなデータストリームを処理するために、適応中にガウスノイズを注入し、検出器がクリーンなサンプルをノイズとして誤分類しないようにする。
ZS-NTTA以外にも、AdaNDはVLMのゼロショット・アウト・オブ・ディストリビューション(ZS-OOD)検出能力を向上させることができる。
実験の結果、AdaNDはZS-NTTAとZS-OODの両方で優れていた。
ImageNetでは、ZS-NTTAでは8.32 %$(\text{Acc}_\text{H}$)、ZS-OOD検出では9.40 %$(SOTA法と比較して9.40 %)の顕著な改善が達成されている。
重要なことは、AdaNDは計算効率が良く、モデル凍結法に匹敵する。
コードはhttps://github.com/tmlr-group/ZS-NTTAで公開されている。
関連論文リスト
- SUDS: A Strategy for Unsupervised Drift Sampling [0.5437605013181142]
監視された機械学習は、データ分散が時間とともに変化するコンセプトドリフトに遭遇し、パフォーマンスが低下する。
本稿では,既存のドリフト検出アルゴリズムを用いて,同種サンプルを選択する新しい手法であるドリフトサンプリング戦略(SUDS)を提案する。
本研究は, 動的環境におけるラベル付きデータ利用の最適化におけるSUDSの有効性を示すものである。
論文 参考訳（メタデータ） (2024-11-05T10:55:29Z) - An accurate detection is not all you need to combat label noise in web-noisy datasets [23.020126612431746]
分離した超平面の直接推定により,OOD試料の正確な検出が可能であることを示す。
本稿では,線形分離を用いた雑音検出とSOTA(State-of-the-art-the-loss)アプローチを交互に行うハイブリッドソリューションを提案する。
論文 参考訳（メタデータ） (2024-07-08T00:21:42Z) - Efficient Test-Time Adaptation of Vision-Language Models [58.3646257833533]
事前学習された視覚言語モデルによるテスト時間適応は、テスト時間中に分散シフトに取り組むことに注目が集まっている。
我々は、視覚言語モデルによる効率的なテスト時間適応を可能にするトレーニングフリーな動的アダプタであるTDAを設計する。
論文 参考訳（メタデータ） (2024-03-27T06:37:51Z) - Robust Tiny Object Detection in Aerial Images amidst Label Noise [50.257696872021164]
本研究は,ノイズラベル管理下での微小物体検出の問題に対処する。
本稿では,DN-TOD(Denoising Tiny Object Detector)を提案する。
本手法は,1段と2段の両方のオブジェクト検出パイプラインにシームレスに統合できる。
論文 参考訳（メタデータ） (2024-01-16T02:14:33Z) - SoTTA: Robust Test-Time Adaptation on Noisy Data Streams [9.490557638324084]
テスト時間適応(TTA)は、トレーニングとテストデータの分散シフトに対処することを目的としている。
ほとんどのTTAメソッドは良質なテストストリームを仮定するが、テストサンプルは野生では意外に多様である可能性がある。
ノイズの多いサンプルに対して頑健な新しいTTAアルゴリズムであるScreening-out Test-Time Adaptation (SoTTA)を提案する。
論文 参考訳（メタデータ） (2023-10-16T05:15:35Z) - Improving the Robustness of Summarization Models by Detecting and
Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。
本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文 参考訳（メタデータ） (2022-12-20T00:33:11Z) - DDPM-CD: Denoising Diffusion Probabilistic Models as Feature Extractors
for Change Detection [31.125812018296127]
Deno Diffusion Probabilistic Model (DDPM) の事前学習による変化検出のための新しいアプローチを提案する。
DDPMは、訓練画像を徐々にマルコフ連鎖を用いてガウス分布に変換することにより、トレーニングデータ分布を学習する。
推論(サンプリング)中に、トレーニング分布に近い多様なサンプルセットを生成することができる。
LEVIR-CD, WHU-CD, DSIFN-CD, CDDデータセットを用いて行った実験により,提案手法は既存の変化検出法よりもF1スコアで大幅に優れており, I。
論文 参考訳（メタデータ） (2022-06-23T17:58:29Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z) - DAAIN: Detection of Anomalous and Adversarial Input using Normalizing
Flows [52.31831255787147]
我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。
本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。
当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
論文 参考訳（メタデータ） (2021-05-30T22:07:13Z) - NAT: Noise-Aware Training for Robust Neural Sequence Labeling [30.91638109413785]
入力におけるシーケンスラベリングのロバスト性を改善する2つのノイズ・アウェア・トレーニング(NAT)目標を提案する。
我々のデータ拡張法は、クリーンなサンプルとノイズの多いサンプルの混合を用いてニューラルモデルを訓練する一方、安定性のトレーニングアルゴリズムは、ノイズ不変の潜在表現を作成することを奨励する。
英語とドイツ語の名前付きエンティティ認識ベンチマークの実験では、NATは人気のあるシークエンスラベリングモデルの堅牢性を一貫して改善した。
論文 参考訳（メタデータ） (2020-05-14T17:30:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。