論文の概要: SS-TPT: Stability and Suitability-Guided Test-Time Prompt Tuning for Adversarially Robust Vision-Language Models

• arxiv url: http://arxiv.org/abs/2606.06943v1
• Date: Fri, 05 Jun 2026 06:12:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.587971
• Title: SS-TPT: Stability and Suitability-Guided Test-Time Prompt Tuning for Adversarially Robust Vision-Language Models
• Title（参考訳）: SS-TPT: 対向ロバスト視覚言語モデルのための安定性と適合性を考慮したテスト時間プロンプトチューニング
• Authors: Sunoh Kim, Daeho Um,
• Abstract要約: CLIPのような視覚言語モデル(VLM)は強力なゼロショット認識を実現するが、敵対的摂動下では脆弱である。 最近のテストタイム適応防御は、多くの拡張ビューを活用することで堅牢性を向上させるが、これは非現実的な減速につながる。 本稿では,各拡張ビューの品質を評価するために,安定度と適合性誘導型テストタイム・プロンプト・チューニング(SS-TPT)を提案する。
• 参考スコア（独自算出の注目度）: 7.578599270855317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) such as CLIP achieve strong zero-shot recognition but remain highly fragile under adversarial perturbations. Recent test-time adaptation defenses improve robustness by leveraging many augmented views, but this leads to impractical slowdown and a clear robustness-throughput trade-off. To address this challenge, we present Stability and Suitability-guided Test-time Prompt Tuning (SS-TPT), evaluating the quality of each augmented view via two complementary scores: (1) stability, measuring prediction invariance to weak augmentations, and (2) suitability, measuring feature-space density among views. These stability and suitability (SS) scores guide both adaptation and inference through an SS-guided consistency loss and an SS-weighted prediction, amplifying trustworthy views while suppressing corrupted ones. Extensive experiments demonstrate that SS-TPT significantly outperforms prior state-of-the-art methods, achieving superior robustness-throughput trade-offs across diverse datasets and varying numbers of views, thereby demonstrating both strong practicality and generality. Our code is available at https://github.com/sunoh-kim/SS-TPT.
• Abstract（参考訳）: CLIPのような視覚言語モデル(VLM)は強力なゼロショット認識を実現するが、敵対的摂動下では脆弱である。 近年の試験時間適応防衛は、多くの拡張ビューを活用することでロバスト性を改善するが、これは非現実的な減速と明確なロバストネス・スループのトレードオフにつながる。 この課題に対処するため,安定性と適合性を考慮したテストタイム・プロンプト・チューニング(SS-TPT)を提案する。 これらの安定性と適合性(SS)スコアは、SS誘導一貫性損失とSS重み付き予測を通じて適応と推論の両方を導く。 SS-TPTは従来の最先端手法を著しく上回り、多様なデータセットとさまざまなビューで優れた堅牢性・スループットのトレードオフを実現し、強力な実用性と汎用性の両方を実証している。 私たちのコードはhttps://github.com/sunoh-kim/SS-TPT.comで利用可能です。

関連論文リスト

• PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective [52.693471818837395]
  PEFTは安定性・塑性ジレンマにより評価されるべきである。 本稿では,下流性能と一般能力の維持を計測するベンチマークPEFT-Arenaを紹介する。 そこで本研究では,パスワイド巻き戻しによるポストホック改善の事例研究を行った。
  論文  参考訳（メタデータ） (2026-05-27T17:59:51Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• Less Approximates More: Harmonizing Performance and Confidence Faithfulness via Hybrid Post-Training for High-Stakes Tasks [52.81286869496811]
  大規模な言語モデルは、自信を持って不正確な推論が現実世界の害を引き起こすような、ハイテイクなタスクにますますデプロイされている。 内的フィードバックからの教師なし強化学習と推論・トラス誘導型推論蒸留を併用して協調的に最適化することを提案する。 PRG方式のメトリクスを用いてRDとRLIFを適応的に重み付けするハイブリッドポストトレーニングフレームワークであるHyTuningを紹介する。
  論文  参考訳（メタデータ） (2026-04-09T16:50:11Z)
• Behavioral Fingerprints for LLM Endpoint Stability and Identity [6.5886705394788665]
  安定モニタは、固定されたプロンプトセットから出力をサンプリングすることで、エンドポイントを定期的にフィンガーする。 制御されたバリデーションでは、モデルファミリ、バージョン、推論スタック、量子化、行動パラメータの変更を検出する。 複数のプロバイダがホストする同じモデルの実世界のモニタリングでは、プロバイダ間および内部の安定性の相違がかなり観察される。
  論文  参考訳（メタデータ） (2026-03-19T15:23:23Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Test-Time Adaptation for Tactile-Vision-Language Models [6.918033886034668]
  触覚ビジョン言語(TVL)モデルは、現実のロボットやマルチモーダルな知覚タスクにますます多くデプロイされている。 既存のテスト時間適応法は、一様条件下でのフィルタリングを提供するが、モーダルシフトの下でのモダリティの信頼性の明示的な扱いは欠如している。 本稿では,予測の不確実性と摂動に基づく応答からモダリティ毎の信頼性を推定する信頼性認識フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-31T02:26:01Z)
• TTP: Test-Time Padding for Adversarial Detection and Robust Adaptation on Vision-Language Models [32.85951917559796]
  本稿では, 対向検出を行う軽量な防御フレームワークであるTest-Time Padding (TTP) を提案する。 TTPは最先端のテスト時間防衛を一貫して上回り、クリーンな精度を損なうことなく敵の堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-12-18T13:34:14Z)
• Advancing Reliable Test-Time Adaptation of Vision-Language Models under Visual Variations [67.35596444651037]
  視覚言語モデル(VLM)は、素晴らしいゼロショット機能を示すが、ラベル付きデータが利用できない場合、下流タスクの分散シフトに苦慮する。 本稿では,信頼性を両面から高めるReliable Test-Time Adaptation (ReTA)法を提案する。
  論文  参考訳（メタデータ） (2025-07-13T05:37:33Z)
• Towards Exemplar-Free Continual Learning in Vision Transformers: an Account of Attention, Functional and Weight Regularization [27.131241302082092]
  本研究では,視覚変換器 (ViT) の連続学習について検討する。 我々の研究は、自己注意機構(SAM)の外科的研究に向けて最初の一歩を踏み出した。 非対称な変種を提案し、それをViTに適応したプール出力蒸留(POD)損失に適用する。
  論文  参考訳（メタデータ） (2022-03-24T16:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。