論文の概要: Local Margin Restoration for Test-Time Adaptation of Vision-Language Models
- arxiv url: http://arxiv.org/abs/2608.02216v1
- Date: Mon, 03 Aug 2026 13:38:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.579978
- Title: Local Margin Restoration for Test-Time Adaptation of Vision-Language Models
- Title(参考訳): 視覚言語モデルのテスト時間適応のための局所マージン復元
- Abstract要約: CLIPのような視覚言語モデル(VLM)は、優れたゼロショット機能を示すが、予期せぬテスト時間分散シフトの下で、その性能は急激に低下する。
テスト時間適応フレームワークであるLocal Margin Restoration (LMR)を提案する。
CIFAR-C、ImageNet-C、ImageNetの変種に関する実験では、LMRが最先端のTTAベースラインを一貫して上回っていることが示されている。
- 参考スコア(独自算出の注目度): 15.097704252897818
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) such as CLIP exhibit remarkable zero-shot capabilities, yet their performance frequently degrades sharply under unexpected test-time distribution shifts. While Test-Time Adaptation (TTA) offers a promising solution, continuously adapting VLMs over an unlabeled test stream presents fundamental challenges. Conventional top-1-centric updates often reinforce errors by corrupting the local semantic geometry among related classes, while iterative adaptation exacerbates progressive bias accumulation, ultimately driving the model toward mode collapse. To overcome these coupled vulnerabilities, we propose Local Margin Restoration (LMR), a lightweight, one-step TTA framework. At the sample level, our Protected Margin Restoration (PMR) objective recovers local semantic geometry by shielding plausible near-top candidates from external hard negatives. Concurrently, to combat stream-level degradation, we introduce a dual-stage stabilization mechanism, featuring an Adaptive Margin (AM) controller and Bias Correction (BC), to dynamically disrupt progressive bias accumulation and prevent mode collapse. Extensive experiments on CIFAR-C, ImageNet-C, and ImageNet variants demonstrate that LMR consistently outperforms state-of-the-art TTA baselines, proving exceptionally robust and efficient even in challenging low-batch test-time regimes. Our code is available at https://github.com/DennisHuangYan/LMR.
- Abstract(参考訳): CLIPのような視覚言語モデル(VLM)は、優れたゼロショット機能を示すが、予期せぬテスト時間分散シフトの下で、その性能は急激に低下する。
TTA(Test-Time Adaptation)は、有望なソリューションを提供する一方で、ラベルのないテストストリームにVLMを継続的に適用することは、根本的な課題を提示します。
従来のトップ1中心のアップデートは、関連するクラス間の局所的な意味的幾何学を損なうことによってエラーを補強するが、反復的適応は進行的バイアスの蓄積を悪化させ、最終的にモデルがモード崩壊に向かう。
これらの脆弱性を克服するため、我々は軽量でワンステップのTTAフレームワークであるLocal Margin Restoration (LMR)を提案する。
サンプルレベルでは,保護マージン修復(PMR)の対象は,可塑性近位候補を外陰性から保護することにより局所的な意味的幾何を復元する。
ストリームレベルの劣化と闘うために,適応マージン(AM)コントローラとバイアス補正(BC)を併用した2段安定化機構を導入し,進行バイアスの蓄積を動的に破壊し,モード崩壊を防止する。
CIFAR-C、ImageNet-C、ImageNetの亜種に対する大規模な実験では、LMRは最先端のTTAベースラインを一貫して上回り、低バッチテストタイムに挑戦しても非常に堅牢で効率的であることが示されている。
私たちのコードはhttps://github.com/DennisHuangYan/LMR.comで公開されています。
関連論文リスト
- Towards Continual Test-Time Adaptation of Vision-Language Models in Open-Vocabulary Semantic Segmentation [7.440412390819483]
Diversify, Anchor, and Filter (DAF) はエントロピーに基づく適応を拡大するフレームワークである。
自然界,自律運転,水中画像,リモートセンシングの5つのデータセットを,その劣化した変種を用いて評価した。
論文 参考訳(メタデータ) (2026-08-30T17:39:14Z) - TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs [83.78708832901194]
大規模ビデオ言語モデル(LVLM)は、野生のマルチモーダル感情認識(ER)のようなマルチモーダルタスクにおいて顕著なパフォーマンスを示している。
しかし、現実のデプロイメントは依然として困難であり、テスト時にモダリティが欠落したりうる。
凍結した教師が自己蒸留により適応的な低学級の生徒を指導する手法を提案する。
MELD, DFEW, BAHを0%-50%のモダリティで実験した結果, この統一型適応復元設計はエントロピーベースの適応, RAG, およびパープレキシティベースの生成より一貫して優れていた。
論文 参考訳(メタデータ) (2026-08-18T23:40:28Z) - DeepBias: Adaptive In-depth Probing of Social Biases in LVLMs [71.85279836937578]
我々は、注意深く設計されたエージェントを用いたLVLMにおける社会バイアスの奥行き探索のための適応的フレームワークDeepBiasを紹介する。
私たちは、私たちのフレームワークを使ってDeepBiasBenchという名のベンチマークを構築します。5つの異なる最先端のLVLMをアンカーとして使用することで、このベンチマークはアーキテクチャ間で共有される脆弱性をキャプチャします。
論文 参考訳(メタデータ) (2026-07-13T08:19:09Z) - MoASE++: Mixture of Activation Sparsity Experts with Domain-Adaptive On-policy Distillation for Continual Test Time Adaptation [65.068801413044]
連続的なテスト時間適応は、非定常な未ラベルのターゲットストリームにソース予測モデルを適用する。
ドメインに依存しない構造をドメイン固有のテクスチャから切り離す。
論文 参考訳(メタデータ) (2026-05-18T01:52:12Z) - ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval [64.14282916266998]
Composed Image Retrievalは、参照画像と修正テキストからなるハイブリッドクエリに基づいてターゲット画像を取得することを目的としている。
本稿では,診断・生成・再定義パイプラインに従うモデルに依存しないフレームワークであるReCALLを提案する。
CIRRとFashionIQの実験では、ReCALLは継続的に劣化した機能を再検討し、最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2026-02-02T04:52:54Z) - Adapt in the Wild: Test-Time Entropy Minimization with Sharpness and Feature Regularization [85.50560211492898]
テスト時適応(TTA)は、テストデータが分散シフトが混在している場合、モデルの性能を改善または損なう可能性がある。
これはしばしば、既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。
両面からTTAを安定化させるため,SARと呼ばれる鋭く信頼性の高いエントロピー最小化手法を提案する。
論文 参考訳(メタデータ) (2025-09-05T10:03:00Z) - CALM: A Framework for Continuous, Adaptive, and LLM-Mediated Anomaly Detection in Time-Series Streams [0.42970700836450476]
本稿では,リアルタイム異常検出のための新しいエンドツーエンドフレームワークであるCALMを紹介する。
CALMはApache Beam分散処理フレームワーク上に構築されている。
クローズドループで連続的な微調整機構を実装し、異常検出モデルがほぼリアルタイムで進化するデータパターンに適応できるようにする。
論文 参考訳(メタデータ) (2025-08-29T00:27:35Z) - BayesTTA: Continual-Temporal Test-Time Adaptation for Vision-Language Models via Gaussian Discriminant Analysis [41.09181390655176]
CLIPのような視覚言語モデル(VLM)は、強いゼロショット認識を実現するが、実世界のシナリオに共通する時空間的な分散シフトの下で大幅に劣化する。
テスト分布が時間とともに徐々に変化するCT-TTA(textitContinal-Temporal Test-Time Adaptation)として、この実践的問題を定式化する。
我々は、時間的に一貫した予測を実行し、視覚表現を動的に調整する、ベイズ適応フレームワークであるtextitBayesTTAを提案する。
論文 参考訳(メタデータ) (2025-07-11T14:02:54Z) - Solving Inverse Problems with FLAIR [68.87167940623318]
本稿では,フローベース生成モデルを逆問題に先立って活用する学習自由変分フレームワークFLAIRを提案する。
標準画像ベンチマークの結果、FLAIRは再現性やサンプルの多様性の観点から、既存の拡散法や流れ法よりも一貫して優れていることが示された。
論文 参考訳(メタデータ) (2025-06-03T09:29:47Z) - MINGLE: Mixture of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging [29.58798660724693]
連続モデルマージは、オリジナルのトレーニングデータにアクセスすることなく、独立して微調整されたモデルを順次統合する。
テスト時間連続モデルマージの新しいフレームワークであるMINGLEを提案する。
MINGLEは堅牢な一般化を実現し、忘れることを大幅に減らし、従来の最先端の手法を平均で7-9%上回っている。
論文 参考訳(メタデータ) (2025-05-17T07:24:22Z) - APCoTTA: Continual Test-Time Adaptation for Semantic Segmentation of Airborne LiDAR Point Clouds [14.348191795901101]
空中レーザースキャン(ALS)ポイントクラウドセグメンテーションは、大規模3Dシーン理解の基本的な課題である。
Continuous Test-Time Adaptation (CTTA)は、ソース予測モデルを適用して、未ラベルのターゲットドメインを進化させるソリューションを提供する。
我々は,ALSポイントクラウドセマンティックセグメンテーションに適した最初のCTTA手法であるAPCoTTAを提案する。
論文 参考訳(メタデータ) (2025-05-15T05:21:16Z) - Reshaping the Online Data Buffering and Organizing Mechanism for Continual Test-Time Adaptation [49.53202761595912]
継続的なテスト時間適応は、訓練済みのソースモデルを適用して、教師なしのターゲットドメインを継続的に変更する。
我々は、オンライン環境、教師なしの自然、エラー蓄積や破滅的な忘れのリスクなど、このタスクの課題を分析する。
教師なしシングルパスデータストリームから重要サンプルを高い確実性で識別・集約する不確実性を考慮したバッファリング手法を提案する。
論文 参考訳(メタデータ) (2024-07-12T15:48:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。