論文の概要: Historical Test-time Prompt Tuning for Vision Foundation Models

• arxiv url: http://arxiv.org/abs/2410.20346v1
• Date: Sun, 27 Oct 2024 06:03:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:19:46.615608
• Title: Historical Test-time Prompt Tuning for Vision Foundation Models
• Title（参考訳）: ビジョンファウンデーションモデルのための歴史的テストタイムプロンプトチューニング
• Authors: Jingyi Zhang, Jiaxing Huang, Xiaoqin Zhang, Ling Shao, Shijian Lu,
• Abstract要約: HisTPTは、学習したテストサンプルの有用な知識を記憶する、履歴的テストタイムプロンプトチューニング技術である。 HisTPTは、異なる視覚認識タスクを処理しながら、一貫した優れたプロンプトチューニング性能を達成する。
• 参考スコア（独自算出の注目度）: 99.96912440427192
• License:
• Abstract: Test-time prompt tuning, which learns prompts online with unlabelled test samples during the inference stage, has demonstrated great potential by learning effective prompts on-the-fly without requiring any task-specific annotations. However, its performance often degrades clearly along the tuning process when the prompts are continuously updated with the test data flow, and the degradation becomes more severe when the domain of test samples changes continuously. We propose HisTPT, a Historical Test-time Prompt Tuning technique that memorizes the useful knowledge of the learnt test samples and enables robust test-time prompt tuning with the memorized knowledge. HisTPT introduces three types of knowledge banks, namely, local knowledge bank, hard-sample knowledge bank, and global knowledge bank, each of which works with different mechanisms for effective knowledge memorization and test-time prompt optimization. In addition, HisTPT features an adaptive knowledge retrieval mechanism that regularizes the prediction of each test sample by adaptively retrieving the memorized knowledge. Extensive experiments show that HisTPT achieves superior prompt tuning performance consistently while handling different visual recognition tasks (e.g., image classification, semantic segmentation, and object detection) and test samples from continuously changing domains.
• Abstract（参考訳）: テストタイムプロンプトチューニング(Test-time prompt tuning)は、推論段階で、未学習のテストサンプルでオンラインでプロンプトを学習するが、タスク固有のアノテーションを必要とせずに、効果的なプロンプトをオンザフライで学習することで大きな可能性を証明している。 しかし、テストデータフローによってプロンプトが継続的に更新されると、その性能はチューニングプロセスに沿って明確に低下し、テストサンプルのドメインが継続的に変化すると、劣化がより深刻になる。 HisTPTは、学習したテストサンプルの有用な知識を記憶し、記憶された知識で堅牢なテストタイム・プロンプトチューニングを可能にする、履歴的テストタイム・プロンプトチューニング技術である。 HisTPTは、ローカルな知識銀行、ハードサンプルな知識銀行、グローバルな知識銀行という3つのタイプの知識銀行を導入し、それぞれが効果的な知識記憶とテストタイムのプロンプト最適化のための異なるメカニズムで動作する。 さらに、HisTPTは、記憶された知識を適応的に検索することで、各テストサンプルの予測を規則化する適応的知識検索機構を備えている。 画像分類,セマンティックセグメンテーション,オブジェクト検出など) とテストサンプルを連続的に変化する領域から処理しながら, HisTPT が連続的に優れたプロンプトチューニング性能を発揮することを示す。

関連論文リスト

• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• C-TPT: Calibrated Test-Time Prompt Tuning for Vision-Language Models via Text Feature Dispersion [54.81141583427542]
  深層学習において,ラベル付きデータを必要としない微調整手法としてテスト時間適応が注目されている。 本稿では,CLIPの固有特性を利用したテスト時プロンプトチューニング時の校正について検討する。 そこで本研究では,C-TPT(Calibrated Test-time Prompt Tuning)という,キャリブレーションの強化によるテスト時間中のプロンプトの最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-03-21T04:08:29Z)
• Consistent Prompting for Rehearsal-Free Continual Learning [5.166083532861163]
  継続的な学習は、古い知識を忘れずに、モデルが絶えず変化する環境やデータストリームに自律的に適応することを可能にする。 既存のプロンプトベースの手法は、トレーニングとテストの間に不整合であり、その効果を制限している。 より整合性のあるトレーニングとテストのための新しいプロンプトベースの手法であるConsistent Prompting(CPrompt)を提案する。
  論文  参考訳（メタデータ） (2024-03-13T14:24:09Z)
• In-context Prompt Learning for Test-time Vision Recognition with Frozen Vision-language Model [13.983810804606264]
  In-Context Prompt Learning (InCPL) を提案する。 InCPLは、コンテキスト情報としてラベル付き例がほとんどない新しいテストサンプルを関連付けている。 テストサンプルに適した視覚的プロンプトを最適化するために、コンテキスト対応の教師なし損失を導入する。
  論文  参考訳（メタデータ） (2024-03-10T08:15:51Z)
• ClusT3: Information Invariant Test-Time Training [19.461441044484427]
  これらの脆弱性を軽減するため、TTT(Test-time Training)法が開発されている。 マルチスケール特徴写像と離散潜在表現の相互情報に基づく新しい非教師付きTTT手法を提案する。 実験結果から, 様々なテスト時間適応ベンチマークにおいて, 競争力のある分類性能が示された。
  論文  参考訳（メタデータ） (2023-10-18T21:43:37Z)
• Diverse Data Augmentation with Diffusions for Effective Test-time Prompt Tuning [73.75282761503581]
  DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。 DiffTPTがゼロショット精度を平均5.13%向上することを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:36:31Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
  新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。 このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。