論文の概要: Test-Time Spectrum-Aware Latent Steering for Zero-Shot Generalization in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2511.09809v1
• Date: Fri, 14 Nov 2025 01:10:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.498677
• Title: Test-Time Spectrum-Aware Latent Steering for Zero-Shot Generalization in Vision-Language Models
• Title（参考訳）: ビジョンランゲージモデルにおけるゼロショット一般化のためのテスト時間スペクトル対応潜時ステアリング
• Authors: Konstantinos M. Dafnis, Dimitris N. Metaxas,
• Abstract要約: スペクトル認識型テスト時間ステアリング(STS)を導入し,遅延表現をスペクトル認識方式で操る。 STSは、凍結エンコーダのバックプロパゲーションや修正なしに、潜在空間での推論で完全に動作する。 標準評価プロトコルをベースとした実験では,STSが最先端の試験時間適応手法をはるかに上回るか,あるいは好適に比較することを示した。
• 参考スコア（独自算出の注目度）: 34.181702444695794
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vision-Language Models (VLMs) excel at zero-shot inference but often degrade under test-time domain shifts. For this reason, episodic test-time adaptation strategies have recently emerged as powerful techniques for adapting VLMs to a single unlabeled image. However, existing adaptation strategies, such as test-time prompt tuning, typically require backpropagating through large encoder weights or altering core model components. In this work, we introduce Spectrum-Aware Test-Time Steering (STS), a lightweight adaptation framework that extracts a spectral subspace from the textual embeddings to define principal semantic directions and learns to steer latent representations in a spectrum-aware manner by adapting a small number of per-sample shift parameters to minimize entropy across augmented views. STS operates entirely at inference in the latent space, without backpropagation through or modification of the frozen encoders. Building on standard evaluation protocols, our comprehensive experiments demonstrate that STS largely surpasses or compares favorably against state-of-the-art test-time adaptation methods, while introducing only a handful of additional parameters and achieving inference speeds up to 8x faster with a 12x smaller memory footprint than conventional test-time prompt tuning. The code is available at https://github.com/kdafnis/STS.
• Abstract（参考訳）: VLM(Vision-Language Models)はゼロショット推論では優れるが、テスト時間ドメインシフトでは劣化することが多い。 このため、近年、VLMをラベルのない単一の画像に適応させるための強力な手法として、エピソードなテスト時間適応戦略が出現している。 しかし、テスト時間プロンプトチューニングのような既存の適応戦略は、通常、大きなエンコーダの重み付けやコアモデルコンポーネントの変更をバックプロパゲートする必要がある。 本研究では,テキスト埋め込みからスペクトル部分空間を抽出して主意味方向を定義する軽量適応フレームワークであるSpectrum-Aware Test-Time Steering(STS)を導入し,拡張ビュー間のエントロピーを最小化するために少数のサンプル単位のシフトパラメータを適用することで,スペクトル認識方式で潜在表現をステアリングすることを学ぶ。 STSは、凍結エンコーダのバックプロパゲーションや修正なしに、潜在空間での推論で完全に動作する。 従来のテストタイム・プロンプト・チューニングの12倍のメモリフットプリントで,少数の追加パラメータを導入し,推論速度を最大8倍に向上させるとともに,STSが最先端のテストタイム適応手法をはるかに上回るか,あるいは好適に比較した。 コードはhttps://github.com/kdafnis/STSで公開されている。

関連論文リスト

• TAPS : Frustratingly Simple Test Time Active Learning for VLMs [0.0]
  テスト時間最適化により、モデルはパラメータをオンザフライで更新することで、推論中に新しいデータに適応できる。 本研究では,不確実なサンプルを適応的にクエリし,動的に更新するテスト時アクティブラーニングフレームワークを提案する。 我々のフレームワークは、自律システムや医療診断などの安全クリティカルなアプリケーションに現実世界を配置するための実用的で効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-07-26T18:04:49Z)
• Test-time Loss Landscape Adaptation for Zero-Shot Generalization in Vision-Language Models [3.1099372412393524]
  本稿では,ロスランドスケープの観点から,既存の手法におけるバックプロパゲーションの不要な性質を明らかにする。 テストタイムロスランドスケープ適応(TLLA)と呼ばれるシンプルだが効果的なフレームワークを提案する。 即時チューニングの段階では、最小限のトレーニングを識別するために、シャープネス・アウェア・プロンプト・チューニング(SAPT)法が導入された。 テスト段階では、平らなミニマのアライメントを確保するためにシャープネスに基づくテストサンプル選択(STSS)アプローチが使用される。
  論文  参考訳（メタデータ） (2025-01-31T03:10:48Z)
• Enhancing Test Time Adaptation with Few-shot Guidance [62.49199492255226]
  深層ニューラルネットワークは、トレーニング(ソース)とテスト(ターゲット)データのドメインシフトに直面しながら、大きなパフォーマンス低下に直面することが多い。 TTA(Test Time Adaptation)法は,事前学習したソースモデルを用いて,配信外ストリーミングターゲットデータを処理する手法として提案されている。 本稿では,Few-Shot Test Time Adaptation (FS-TTA) を開発した。
  論文  参考訳（メタデータ） (2024-09-02T15:50:48Z)
• Test-Time Low Rank Adaptation via Confidence Maximization for Zero-Shot Generalization of Vision-Language Models [4.655740975414312]
  本稿では,大規模視覚言語モデル(VLM)のゼロショット一般化のための高速チューニングの代替として,テスト時間低ランク適応(TTL)を提案する。 TTLは、予測信頼度を最大化することにより、変圧器の注意重みを更新するテスト時間効率適応手法を提供する。
  論文  参考訳（メタデータ） (2024-07-22T17:59:19Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Just Shift It: Test-Time Prototype Shifting for Zero-Shot Generalization with Vision-Language Models [19.683461002518147]
  Test-Time Prototype Shifting (TPS)は、未ラベルのテスト入力を使用したデータセットのテストに視覚言語モデルを適用するために設計された先駆的なアプローチである。 TPSは、その後の予測のために最適化不要なプロトタイプの再利用を促進するだけでなく、プロンプトエンジニアリングにおける現在の進歩とシームレスに統合することを可能にする。 我々のフレームワークの特筆すべき点は、従来のテキストプロンプトチューニング手法と比較して、メモリと計算要求が大幅に削減されていることである。
  論文  参考訳（メタデータ） (2024-03-19T17:54:34Z)
• Gradient-Regulated Meta-Prompt Learning for Generalizable Vision-Language Models [137.74524357614285]
  グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。 パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。 GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-03-12T05:03:37Z)
• ViTs for SITS: Vision Transformers for Satellite Image Time Series [52.012084080257544]
  ビジョン変換器(ViT)に基づく一般衛星画像時系列(SITS)処理のための完全アテンショナルモデルを提案する。 TSViTはSITSレコードを空間と時間で重複しないパッチに分割し、トークン化し、分解されたテンポロ空間エンコーダで処理する。
  論文  参考訳（メタデータ） (2023-01-12T11:33:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。