論文の概要: Diffusion-Enhanced Test-time Adaptation with Text and Image Augmentation

• arxiv url: http://arxiv.org/abs/2412.09706v2
• Date: Wed, 25 Dec 2024 10:01:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:22:08.457931
• Title: Diffusion-Enhanced Test-time Adaptation with Text and Image Augmentation
• Title（参考訳）: テキストと画像拡張による拡散強化テスト時間適応
• Authors: Chun-Mei Feng, Yuanyang He, Jian Zou, Salman Khan, Huan Xiong, Zhen Li, Wangmeng Zuo, Rick Siow Mong Goh, Yong Liu,
• Abstract要約: IT3Aは、未知の新しいドメインから各テストサンプルをマルチモーダル拡張するために、事前訓練された生成モデルを利用する新しいテスト時間適応手法である。 事前学習された視覚と言語モデルからの強化されたデータを組み合わせることで、未知の新しいテストデータに適応するモデルの能力を高めることができる。 ゼロショット設定では、IT3Aは5.50%の精度で最先端のテスト時間プロンプトチューニング手法より優れている。
• 参考スコア（独自算出の注目度）: 67.37146712877794
• License:
• Abstract: Existing test-time prompt tuning (TPT) methods focus on single-modality data, primarily enhancing images and using confidence ratings to filter out inaccurate images. However, while image generation models can produce visually diverse images, single-modality data enhancement techniques still fail to capture the comprehensive knowledge provided by different modalities. Additionally, we note that the performance of TPT-based methods drops significantly when the number of augmented images is limited, which is not unusual given the computational expense of generative augmentation. To address these issues, we introduce IT3A, a novel test-time adaptation method that utilizes a pre-trained generative model for multi-modal augmentation of each test sample from unknown new domains. By combining augmented data from pre-trained vision and language models, we enhance the ability of the model to adapt to unknown new test data. Additionally, to ensure that key semantics are accurately retained when generating various visual and text enhancements, we employ cosine similarity filtering between the logits of the enhanced images and text with the original test data. This process allows us to filter out some spurious augmentation and inadequate combinations. To leverage the diverse enhancements provided by the generation model across different modals, we have replaced prompt tuning with an adapter for greater flexibility in utilizing text templates. Our experiments on the test datasets with distribution shifts and domain gaps show that in a zero-shot setting, IT3A outperforms state-of-the-art test-time prompt tuning methods with a 5.50% increase in accuracy.
• Abstract（参考訳）: 既存のテスト時間プロンプトチューニング(TPT)手法は、主に画像の強化と不正確な画像のフィルタリングに信頼性評価を使用する、単一のモダリティデータに重点を置いている。 しかし、画像生成モデルは視覚的に多様な画像を生成することができるが、単一のモダリティデータ拡張技術は、異なるモダリティによって提供される包括的知識を捉えることができない。 さらに,TPT法の性能は,拡張画像の数に制限がある場合には著しく低下するが,生成増大の計算コストを考えると,これは珍しくない。 これらの課題に対処するために、未知の新しいドメインから各テストサンプルをマルチモーダル拡張するために、事前学習された生成モデルを利用する新しいテスト時間適応手法であるIT3Aを紹介する。 事前学習された視覚と言語モデルからの強化されたデータを組み合わせることで、未知の新しいテストデータに適応するモデルの能力を高めることができる。 さらに、様々な視覚的・テキスト的拡張を生成する際にキーセマンティクスを正確に保持するために、拡張画像のロジットと元のテストデータとのコサイン類似度フィルタリングを用いる。 このプロセスは、いくつかの急激な拡張と不適切な組み合わせをフィルタリングすることを可能にする。 そこで本研究では, テキストテンプレートの柔軟性向上のために, アクセラブルチューニングをアダプタに置き換えた。 分散シフトとドメインギャップを伴うテストデータセットの実験では、ゼロショット設定では、IT3Aは5.50%の精度で最先端のテスト時間プロンプトチューニング手法より優れていることが示された。

関連論文リスト

• Test-Time Generative Augmentation for Medical Image Segmentation [20.12850876150199]
  本稿では,テスト期間中の医用画像のセグメンテーションを強化する新しい手法を提案する。 入力テスト画像に手作り変換や関数を使う代わりに、先進的なドメインファインチューニング生成モデル(GM)の利用を提唱する。 医用画像分割作業におけるTTGAの有効性と有用性を示す実験を行った。
  論文  参考訳（メタデータ） (2024-06-25T14:53:01Z)
• ASPIRE: Language-Guided Data Augmentation for Improving Robustness Against Spurious Correlations [43.323791505213634]
  ASPIRE (Language-guided Data Augmentation for SPurious correlation Removal) は、スプリアスな特徴のない画像でトレーニングデータセットを補完するソリューションである。 トレーニングセットにグループラベルや既存の非スパースイメージを必要とせずに、非スパース画像を生成することができる。 先行手法の最悪のグループ分類精度を1%から38%向上させる。
  論文  参考訳（メタデータ） (2023-08-19T20:18:15Z)
• Diverse Data Augmentation with Diffusions for Effective Test-time Prompt Tuning [73.75282761503581]
  DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。 DiffTPTがゼロショット精度を平均5.13%向上することを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:36:31Z)
• Training on Thin Air: Improve Image Classification with Generated Data [28.96941414724037]
  Diffusion Inversionは、画像分類のための多種多様な高品質なトレーニングデータを生成するための、シンプルで効果的な方法である。 提案手法は,元のデータ分布を捕捉し,画像を安定拡散の潜在空間に反転させることにより,データカバレッジを確保する。 生成した画像が元のデータセットに取って代わることに成功した3つの重要なコンポーネントを特定します。
  論文  参考訳（メタデータ） (2023-05-24T16:33:02Z)
• Multimodal Data Augmentation for Image Captioning using Diffusion Models [12.221685807426264]
  本研究では,Stable Diffusionと呼ばれるテキスト・ツー・イメージ・モデルを利用してトレーニングセットを拡張するデータ拡張手法を提案する。 MS COCOデータセットの実験は、いくつかのベンチマーク手法に対する我々のアプローチの利点を実証している。 生成されたデータを意図的にフィルタリングした後、トレーニング効率及び有効性に関するさらなる改善が得られる。
  論文  参考訳（メタデータ） (2023-05-03T01:57:33Z)
• Text-Conditioned Sampling Framework for Text-to-Image Generation with Masked Generative Models [52.29800567587504]
  そこで本研究では,テキスト情報を用いた局所的監視により最適なトークンを選択するための,学習可能なサンプリングモデルであるテキスト定義トークン選択(TCTS)を提案する。 TCTSは画像の品質だけでなく、生成された画像と与えられたテキストのセマンティックアライメントも改善する。 我々は、周波数適応サンプリング(FAS)と様々な生成タスクを組み合わせたTCTSの有効性を検証し、画像テキストのアライメントや画質において、ベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2023-04-04T03:52:49Z)
• Effective Data Augmentation With Diffusion Models [65.09758931804478]
  我々は、事前訓練されたテキスト・画像拡散モデルによりパラメータ化された画像・画像変換によるデータ拡張の多様性の欠如に対処する。 本手法は,市販の拡散モデルを用いて画像のセマンティクスを編集し,いくつかのラベル付き例から新しい視覚概念に一般化する。 本手法は,実世界の雑草認識タスクと数ショット画像分類タスクにおいて評価し,テスト領域における精度の向上を観察する。
  論文  参考訳（メタデータ） (2023-02-07T20:42:28Z)
• Learning Representational Invariances for Data-Efficient Action Recognition [52.23716087656834]
  我々は,データ拡張戦略により,Kinetics-100,UCF-101,HMDB-51データセットのパフォーマンスが期待できることを示す。 また,完全な教師付き設定でデータ拡張戦略を検証し,性能向上を実証した。
  論文  参考訳（メタデータ） (2021-03-30T17:59:49Z)
• XGPT: Cross-modal Generative Pre-Training for Image Captioning [80.26456233277435]
  XGPTは画像キャプチャのためのクロスモーダル生成前訓練法である。 テキスト・ツー・イメージ・キャプション・ジェネレータを3つの新しい生成タスクで事前訓練するように設計されている。 XGPTはタスク固有のアーキテクチャ変更なしに微調整できる。
  論文  参考訳（メタデータ） (2020-03-03T12:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。