論文の概要: EFSA: Episodic Few-Shot Adaptation for Text-to-Image Retrieval

• arxiv url: http://arxiv.org/abs/2412.00139v1
• Date: Thu, 28 Nov 2024 17:09:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:46:07.931175
• Title: EFSA: Episodic Few-Shot Adaptation for Text-to-Image Retrieval
• Title（参考訳）: EFSA: テキスト・画像検索のためのエピソードなFew-Shot適応
• Authors: Muhammad Huzaifa, Yova Kementchedjhieva,
• Abstract要約: Episodic Few-Shot Adaptation (EFSA)は、事前学習されたモデルをクエリのドメインに動的に適用する新しいテストタイムフレームワークである。 EFSAは、一般化を維持しながら、さまざまなドメインのパフォーマンスを改善する。 本研究は,オープンドメインテキスト・ツー・イメージ検索の重要・未検討課題における頑健性を高めるために,エピソードな小ショット適応の可能性を強調した。
• 参考スコア（独自算出の注目度）: 6.826641237986711
• License:
• Abstract: Text-to-image retrieval is a critical task for managing diverse visual content, but common benchmarks for the task rely on small, single-domain datasets that fail to capture real-world complexity. Pre-trained vision-language models tend to perform well with easy negatives but struggle with hard negatives--visually similar yet incorrect images--especially in open-domain scenarios. To address this, we introduce Episodic Few-Shot Adaptation (EFSA), a novel test-time framework that adapts pre-trained models dynamically to a query's domain by fine-tuning on top-k retrieved candidates and synthetic captions generated for them. EFSA improves performance across diverse domains while preserving generalization, as shown in evaluations on queries from eight highly distinct visual domains and an open-domain retrieval pool of over one million images. Our work highlights the potential of episodic few-shot adaptation to enhance robustness in the critical and understudied task of open-domain text-to-image retrieval.
• Abstract（参考訳）: テキスト・ツー・イメージ検索は多様なビジュアルコンテンツを管理する上で重要なタスクであるが、タスクの一般的なベンチマークは、現実世界の複雑さを捉えるのに失敗する小さな単一ドメインのデータセットに依存している。 事前学習された視覚言語モデルは、容易なネガティブでうまく機能する傾向がありますが、ハードネガティブ(特にオープンドメインのシナリオでは、視覚的に似ていますが、正しくないイメージ)に苦しむ傾向があります。 これを解決するために、Epsodic Few-Shot Adaptation (EFSA)という新しいテストタイムフレームワークを導入し、トップk検索候補とそれらに対して生成された合成キャプションを微調整することで、事前学習されたモデルをクエリのドメインに動的に適用する。 EFSAは、非常に異なる8つの視覚ドメインからのクエリと100万以上の画像のオープンドメイン検索プールの評価で示されているように、一般化を維持しながら、さまざまなドメインのパフォーマンスを改善している。 本研究は,オープンドメインテキスト・ツー・イメージ検索の重要・未検討課題における頑健性を高めるために,エピソードな小ショット適応の可能性を強調した。

関連論文リスト

• ILIAS: Instance-Level Image retrieval At Scale [10.013289586440104]
  ILIASはインスタンスレベルイメージ検索のための新しいテストデータセットである。 それは、現在および将来の基礎モデルと、特定のオブジェクトを認識するための検索技術を評価するために設計されている。
  論文  参考訳（メタデータ） (2025-02-17T12:42:38Z)
• WIDIn: Wording Image for Domain-Invariant Representation in Single-Source Domain Generalization [63.98650220772378]
  We present WIDIn, Wording Images for Domain-Invariant representation, to disentangleative discriminative visual representation。 まず、ドメイン固有の言語を適応的に識別し、削除するために使用可能な、きめ細かいアライメントを組み込んだ言語を推定する。 WIDInは、CLIPのような事前訓練された視覚言語モデルと、MoCoやBERTのような個別訓練されたユニモーダルモデルの両方に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-28T17:46:27Z)
• Image2Sentence based Asymmetrical Zero-shot Composed Image Retrieval [92.13664084464514]
  合成画像検索(CIR)の課題は,検索画像とユーザの意図を記述したテキストに基づいて画像を取得することである。 既存の手法は、CIRタスクにおける高度な大規模視覚言語(VL)モデルにおいて大きな進歩を遂げているが、それらは一般的に、モデルトレーニングのためのラベル付き三重項の欠如とリソース制限された環境への展開の困難という2つの大きな問題に悩まされている。 本稿では、VLモデルを利用して合成学習のためのラベルなし画像のみに依存する画像2Sentenceに基づく非対称ゼロショット合成画像検索(ISA)を提案する。
  論文  参考訳（メタデータ） (2024-03-03T07:58:03Z)
• Adapt Before Comparison: A New Perspective on Cross-Domain Few-Shot Segmentation [0.0]
  クロスドメイン小ショットセグメンテーション (CD-FSS) が登場した。 テスト時間タスク適応がCD-FSSの成功の鍵であることを示す。 テスト時にラベル付きサンプル以外の画像は使用しないが,CD-FSSでは新たな最先端性能を実現している。
  論文  参考訳（メタデータ） (2024-02-27T15:43:53Z)
• Coarse-to-Fine: Learning Compact Discriminative Representation for Single-Stage Image Retrieval [11.696941841000985]
  検索と参照のパラダイムに従う2段階の手法は優れた性能を達成しているが、それぞれのローカルモジュールとグローバルモジュールは現実世界のアプリケーションでは非効率である。 本稿では,重要な局所記述子を注意深く選択し,大域的な表現に微粒な意味関係を注入する機構を提案する。 提案手法は,Revisited OxfordやRevisited Parisなどのベンチマークを用いて,最先端の単一ステージ画像検索性能を実現する。
  論文  参考訳（メタデータ） (2023-08-08T03:06:10Z)
• Vocabulary-free Image Classification [75.38039557783414]
  VIC(Vocabulary-free Image Classification)と呼ばれる新しいタスクを定式化する。 VICは、既知の語彙を必要とせずに、制約のない言語によって引き起こされる意味空間に存在するクラスを入力画像に割り当てることを目的としている。 CaSEDは、事前訓練された視覚言語モデルと外部視覚言語データベースを利用して、VICをトレーニング不要に対処する手法である。
  論文  参考訳（メタデータ） (2023-06-01T17:19:43Z)
• Using Language to Extend to Unseen Domains [81.37175826824625]
  ビジョンモデルがデプロイ時に遭遇する可能性のあるすべてのドメインのトレーニングデータを集めることは、費用がかかる。 トレーニングドメインと拡張したいが、堅牢性を改善するためのデータを持っていないドメインを、いかに単純に言葉で表現するかを考えます。 共同画像と言語埋め込み空間を備えたマルチモーダルモデルを用いて、LADSはトレーニング領域から各未確認テスト領域への画像埋め込みの変換を学習する。
  論文  参考訳（メタデータ） (2022-10-18T01:14:02Z)
• Disentangled Feature Representation for Few-shot Image Classification [64.40410801469106]
  そこで本研究では,DFRと呼ばれる新しいDistangled Feature Representationフレームワークを提案する。 DFRは、分類枝によってモデル化される識別的特徴を、変動枝のクラス非関連成分から適応的に分離することができる。 一般的に、一般的な深層数ショット学習手法のほとんどが分類ブランチとしてプラグインできるため、DFRは様々な数ショットタスクのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2021-09-26T09:53:11Z)
• Tasks Integrated Networks: Joint Detection and Retrieval for Image Search [99.49021025124405]
  多くの現実世界の探索シナリオ(例えばビデオ監視)では、オブジェクトは正確に検出または注釈付けされることはめったにない。 まず、エンド・ツー・エンド統合ネット(I-Net)を紹介します。 さらに,2つの新しいコントリビューションを行うDC-I-Netという改良されたI-Netを提案する。
  論文  参考訳（メタデータ） (2020-09-03T03:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。