論文の概要: USE: A Unified Self-Ensembling Framework for Test-Time Prompt Tuning
- arxiv url: http://arxiv.org/abs/2607.03900v1
- Date: Sat, 04 Jul 2026 14:45:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.748587
- Title: USE: A Unified Self-Ensembling Framework for Test-Time Prompt Tuning
- Title(参考訳): USE: テスト時間プロンプトチューニングのための統一的な自己組織化フレームワーク
- Abstract要約: テスト時適応(TTA)は、視覚言語モデルの性能向上のための一般的なパラダイムとして登場した。
本稿では,最適化段階と推論段階の整合性を保証する統一型自己組織化フレームワーク(USE)を提案する。
- 参考スコア(独自算出の注目度): 54.44143638529487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-time adaptation (TTA) has emerged as a popular paradigm for improving the performance of vision-language models (e.g., CLIP) on downstream tasks. Among existing CLIP-based TTA methods, Test-Time Prompt Tuning (TPT) is a pioneering work that optimizes textual prompts using multiple test-time augmentations and remains a strong baseline to date. In this work, we revisit TPT and reveal that its optimization can be interpreted as implicitly learning from self-generated pseudo labels. Building on this perspective, we propose a unified self-ensembling framework (USE) that ensures consistency between the optimization and inference stages. During optimization, we introduce a simple yet effective self-ensembling (SE) strategy that emphasizes the test image itself over its augmented views adaptively to obtain more reliable pseudo labels. To fully exploit the potential of augmentations, we further apply the same strategy at inference time, unifying the objectives of both stages. Notably, SE can also act as a lightweight optimization-free TTA method. Extensive experiments across multiple datasets demonstrate that SE and USE outperform their counterparts, respectively. Furthermore, SE yields consistent performance gains when integrated with existing TTA methods. The code is available at https://github.com/sirujiang/USE.
- Abstract(参考訳): テスト時適応(TTA)は、下流タスクにおける視覚言語モデル(例えばCLIP)のパフォーマンスを改善するための一般的なパラダイムとして登場した。
既存のCLIPベースのTTAメソッドの中で、Test-Time Prompt Tuning(TPT)は、複数のテスト時間拡張を使ってテキストプロンプトを最適化する先駆的な作業であり、現在も強力なベースラインである。
本研究では,TPTを再検討し,その最適化を自己生成した擬似ラベルから暗黙的に学習できることを示す。
この観点から、最適化と推論段階の整合性を保証する統一的な自己組織化フレームワーク(USE)を提案する。
最適化中、我々は、より信頼性の高い擬似ラベルを得るために、拡張ビューよりもテスト画像自体を適応的に強調する、シンプルで効果的な自己認識(SE)戦略を導入する。
拡張の可能性を完全に活用するために、推論時に同じ戦略を適用し、両方の段階の目的を統一する。
特にSEは、軽量な最適化不要なTTAメソッドとしても機能する。
複数のデータセットにわたる大規模な実験では、SEとUSEがそれぞれ、それぞれのデータセットよりも優れていることが示されている。
さらに、SEは既存のTTAメソッドと統合した場合、一貫したパフォーマンス向上をもたらす。
コードはhttps://github.com/sirujiang/USEで公開されている。
関連論文リスト
- TTT-VLA: Test-Time Latent Prompt Optimization for Vision-Language-Action Models [49.463896453707065]
VLA(Vision-Language-Action)モデルは目覚ましい進歩を遂げているが、展開時の分散シフトには弱いままである。
近年のVLAモデルは、プロンプトが政策行動の効率的なインターフェースとして機能することを示唆しているが、既存のプロンプトベースのステアリングは通常、外部ガイダンスに依存している。
VLAのテストタイムトレーニング(TTT)は、プロンプトの最適化によって実現可能か?
我々は、遅延プロンプト最適化(LPO)に基づくテスト時間トレーニングフレームワークであるTTT-VLAでこの問題に対処する。
論文 参考訳(メタデータ) (2026-06-02T04:10:39Z) - Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。
テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。
そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
論文 参考訳(メタデータ) (2026-02-02T09:14:51Z) - MetaTPT: Meta Test-time Prompt Tuning for Vision-Language Models [62.20230218401528]
テスト時間プロンプトチューニング(MetaTPT, Meta Test-Time Prompt Tuning)は、テスト時間プロンプトチューニングをガイドする自己教師付き補助タスクを学習するメタラーニングフレームワークである。
拡張学習と即時チューニングを結合することにより、MetaTPTはドメインシフトによるテスト時間適応を改善する。
論文 参考訳(メタデータ) (2025-12-13T10:23:10Z) - ETTA: Efficient Test-Time Adaptation for Vision-Language Models through Dynamic Embedding Updates [5.84817561920117]
Test-Time Adaptationは、新しいドメインでラベル付けされていないテストデータに視覚言語モデルを適用する。
現在のキャッシュベースのTTAモデルは、限られた高信頼のサンプルのみを格納する。
入ってくるすべてのテストサンプルを統合するRecursive Updatingモジュールを提案する。
論文 参考訳(メタデータ) (2025-08-07T23:11:33Z) - TAPS : Frustratingly Simple Test Time Active Learning for VLMs [0.0]
テスト時間最適化により、モデルはパラメータをオンザフライで更新することで、推論中に新しいデータに適応できる。
本研究では,不確実なサンプルを適応的にクエリし,動的に更新するテスト時アクティブラーニングフレームワークを提案する。
我々のフレームワークは、自律システムや医療診断などの安全クリティカルなアプリケーションに現実世界を配置するための実用的で効果的なソリューションを提供する。
論文 参考訳(メタデータ) (2025-07-26T18:04:49Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳(メタデータ) (2025-04-02T17:40:47Z) - SETS: Leveraging Self-Verification and Self-Correction for Improved Test-Time Scaling [39.57154199908565]
自己拡張テストタイムスケーリング(SETS)は、並列およびシーケンシャルなテクニックを戦略的に組み合わせることで制限を克服する、シンプルで効果的なアプローチである。
SETSは、大規模言語モデルの固有の自己検証と自己計算機能を活用し、単一のフレームワーク内でサンプリング、検証、修正を統合する。
以上の結果から,SETSは代替品よりも優れた性能向上と,より有利なテスト時間スケーリング動作を実現していることがわかった。
論文 参考訳(メタデータ) (2025-01-31T17:03:16Z) - Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。
完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
論文 参考訳(メタデータ) (2024-04-07T22:31:34Z) - Few Clicks Suffice: Active Test-Time Adaptation for Semantic
Segmentation [14.112999441288615]
テスト時間適応(TTA)は、未ラベルのテストデータを使用した推論中に事前訓練されたモデルに適応する。
TTAアプローチと教師付きアプローチの間には,依然として大きなパフォーマンスギャップがあります。
本稿では,モデルアダプタとラベルアノテータの2つの部分からなるATASegフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-04T12:16:02Z) - Optimization-Free Test-Time Adaptation for Cross-Person Activity
Recognition [30.350005654271868]
Test-Time Adaptationは、テストストリームを使用して、リアルタイムの推論で予測を調整することを目的としている。
計算コストが高いため、リソース制約のあるエッジデバイス上での動作が困難になる。
センサベースHARのための最適化自由テスト時間適応フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-28T02:20:33Z) - Realistic Unsupervised CLIP Fine-tuning with Universal Entropy Optimization [101.08992036691673]
本稿では,未知のクラスにおける配布外サンプルの存在を考慮し,教師なしの微調整シナリオについて考察する。
特に,分布外検出と既知のクラスに関連するインスタンスの認識を同時に強化することに注力する。
我々はUniversal Entropy Optimization(UEO)と呼ばれるシンプルで効率的で効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-24T16:47:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。