論文の概要: Dual Distribution Estimation for Zero-shot Noisy Test-Time Adaptation with VLMs
- arxiv url: http://arxiv.org/abs/2606.25758v1
- Date: Wed, 24 Jun 2026 12:32:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.325762
- Title: Dual Distribution Estimation for Zero-shot Noisy Test-Time Adaptation with VLMs
- Title(参考訳): VLMを用いたゼロショットノイズ試験時間適応の二重分布推定
- Abstract要約: 本稿ではDDE(Dual Distribution Estimation)という新しいフレームワークを提案する。
DDEは2つの新しいモジュールを組み込んでいる。正の特徴分布推定(PFDE)と負のラベル分布推定(NLDE)である。
大規模なImageNetベンチマークでは、DDEは高調波平均精度が3.70%向上し、OOD検出のためのFPR95を6.20%削減した。
- 参考スコア(独自算出の注目度): 26.58533514461074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While test-time adaptation (TTA) empowers vision-language models to adapt without costly retraining, it remains highly vulnerable to out-of-distribution (OOD) outliers prevalent in real-world applications. This discrepancy motivates Noisy TTA (NTTA), an online task to filter noisy OOD samples on the fly while maximizing in-distribution (ID) classification accuracy. Existing zero-shot NTTA approaches typically rely on test-time discriminative training, leading to overconfident misclassifications and significantly degraded inference efficiency. To address these limitations, we propose a novel framework named Dual Distribution Estimation (DDE), shifting the zero-shot NTTA paradigm from instance-level learning to training-free Gaussian distribution modeling. DDE incorporates two novel modules: Positive Feature Distribution Estimation (PFDE) and Negative Label Distribution Estimation (NLDE). PFDE explicitly models class-wise inclusion and exclusion Gaussian distributions to formulate a calibrated contrastive score, robustly enhancing ID accuracy. In parallel, NLDE improves OOD identification by explicitly modeling the negative label distribution to mine highly discriminative labels, effectively mitigating spurious correlations. Extensive experiments show that on the large-scale ImageNet benchmark, DDE achieves an improvement of 3.70\% in harmonic mean accuracy and reduces the FPR95 for OOD detection by 6.20\%, while ensuring highly scalable and efficient online inference. Furthermore, DDE is zero-shot and training-free, demonstrating remarkable robustness in data-scarce scenarios. Codes are available at https://github.com/ZhuWenjie98/DDE.
- Abstract(参考訳): テスト時適応(TTA)は、視覚言語モデルに対して、コストのかかる再トレーニングなしに適応する権限を与えるが、現実世界のアプリケーションでよく見られるアウト・オブ・ディストリビューション(OOD)のアウトレージに対して、非常に脆弱なままである。
この不一致は、ノイズの多いOODサンプルをオンザフライでフィルタリングするオンラインタスクであるNoisy TTA(NTTA)を動機付け、ID分類の精度を最大化する。
既存のゼロショットNTTAアプローチは、典型的にはテストタイムの差別訓練に依存しており、過度に誤った分類が行われ、推論効率が著しく低下する。
これらの制約に対処するため、我々は、ゼロショットNTTAパラダイムをインスタンスレベルの学習から学習不要ガウス分布モデリングへシフトさせる、DDE(Dual Distribution Estimation)という新しいフレームワークを提案する。
DDEにはPFDE(Positive Feature Distribution Estimation)とNLDE(Negative Label Distribution Estimation)という2つの新しいモジュールが含まれている。
PFDEは、分類されたコントラストスコアを定式化するためにクラス単位での包含と除外のガウス分布を明示的にモデル化し、IDの精度を堅牢に向上させる。
並行して、NLDEは、負のラベル分布を高度に識別可能なラベルに明示的にモデル化することにより、OOD識別を改善し、スプリアス相関を効果的に緩和する。
大規模なImageNetベンチマークでは、DDEは3.70 %の高調波平均精度の向上を実現し、OOD検出のためのFPR95を6.20 %削減し、高度にスケーラブルで効率的なオンライン推論を実現している。
さらに、DDEはゼロショットでトレーニング不要であり、データスカースシナリオにおける顕著な堅牢性を示している。
コードはhttps://github.com/ZhuWenjie98/DDEで公開されている。
関連論文リスト
- MixSD: Mixed Contextual Self-Distillation for Knowledge Injection [29.7616760417696]
Supervised Fine-tuning (SFT) は言語モデルに新しい知識を注入するために広く使われている。
このことは、人間や外部システムからの微調整対象が、モデルの自動回帰分布から逸脱するためである、と我々は主張する。
分布整合型知識注入のための簡易な外部教師なし手法であるMixSDを提案する。
論文 参考訳(メタデータ) (2026-05-16T07:57:09Z) - Mitigating the ID-OOD Tradeoff in Open-Set Test-Time Adaptation [52.620992698137236]
オープンセットテスト時間適応(OSTTA)は、新しい環境にモデルを適用するという課題に対処する。
本稿では,OSTTAにおけるエントロピーの限界をまず解析し,次に特徴ノルム等級を規制する角損失を導入する。
高いID分類性能を維持しながら強力なOOD検出を実現する。
論文 参考訳(メタデータ) (2026-04-02T04:00:57Z) - ProtoDCS: Towards Robust and Efficient Open-Set Test-Time Adaptation for Vision-Language Models [32.840734752367275]
Prototype-based Double-Check separation (ProtoDCS)はOSTTAの堅牢なフレームワークである。
csIDとcsOODを分離し、ビジョン言語モデルのcsIDデータへの安全かつ効率的な適応を可能にする。
ProtoDCSは、既知のクラス精度とOOD検出メトリクスの両方を大幅に向上させる。
論文 参考訳(メタデータ) (2026-02-27T03:39:02Z) - Cross-modal Proxy Evolving for OOD Detection with Vision-Language Models [59.242742594156546]
CoEvoは、テキストプロキシとビジュアルプロキシの両方を双方向でサンプル条件で適応するテストタイムフレームワークである。
CoEvoは最先端のパフォーマンスを実現し、AUROCを1.33%改善し、ImageNet-1KではFPR95を45.98%削減した。
論文 参考訳(メタデータ) (2026-01-13T12:08:26Z) - Noisy Test-Time Adaptation in Vision-Language Models [73.14136220844156]
テスト時間適応(TTA)は、テスト中のターゲットデータのみに依存することにより、ソースデータとターゲットデータの分散シフトに対処することを目的としている。
本稿では、ゼロショット方式で、テスト時にノイズのあるサンプルをターゲットとするデータにモデルを適応させることに焦点を当てたゼロショットノイズTTA(ZS-NTTA)を提案する。
本稿では, 冷凍機の出力を擬似ラベルとして利用し, ノイズ検出器の訓練を行う適応ノイズ検出器(AdaND)を提案する。
論文 参考訳(メタデータ) (2025-02-20T14:37:53Z) - DisCoPatch: Taming Adversarially-driven Batch Statistics for Improved Out-of-Distribution Detection [11.332987462182713]
バッチ正規化 (BN) で訓練された敵判別器では、実検体と敵検体は独自のバッチ統計を持つ異なる領域を形成する。
本稿では,この機構を利用した教師なし適応変分自動エンコーダフレームワークであるDisCoPatchを紹介する。
DisCoPatchは、公開OOD検出ベンチマークで最先端の結果を達成する。
論文 参考訳(メタデータ) (2025-01-14T10:49:26Z) - Robust Fine-tuning of Zero-shot Models via Variance Reduction [56.360865951192324]
微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。
トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
論文 参考訳(メタデータ) (2024-11-11T13:13:39Z) - Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳(メタデータ) (2023-10-25T17:59:12Z) - Diffusion Denoising Process for Perceptron Bias in Out-of-distribution
Detection [67.49587673594276]
我々は、識別器モデルが入力の特定の特徴に対してより敏感であることを示唆する新しいパーセプトロンバイアスの仮定を導入し、過度な問題を引き起こした。
DMの拡散分解過程 (DDP) が非対称の新たな形態として機能し, 入力を高め, 過信問題を緩和するのに適していることを示す。
CIFAR10, CIFAR100, ImageNetによる実験により, 提案手法がSOTA手法より優れていることが示された。
論文 参考訳(メタデータ) (2022-11-21T08:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。