論文の概要: If At First You Don't Succeed: Test Time Re-ranking for Zero-shot, Cross-domain Retrieval

• arxiv url: http://arxiv.org/abs/2303.17703v2
• Date: Fri, 28 Feb 2025 09:02:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:38:21.595318
• Title: If At First You Don't Succeed: Test Time Re-ranking for Zero-shot, Cross-domain Retrieval
• Title（参考訳）: 最初は理解できなかった場合:ゼロショット、クロスドメイン検索でテスト時間が再ランクされる
• Authors: Finlay G. C. Hudson, William A. P. Smith,
• Abstract要約: 反復的クラスタフリーリグレードプロセスは、ギャラリーギャラリー機能情報を活用して、クエリとギャラリーイメージ間のセマンティックリンクを確立する。 慎重に選択されたVision Transformerのバックボーンとゼロショット検索の損失の組み合わせを組み合わせると、我々の手法は最先端の結果をもたらす。
• 参考スコア（独自算出の注目度）: 15.272149101494005
• License:
• Abstract: In this paper, we introduce a novel method for zero-shot, cross-domain image retrieval. Our key contribution is a test-time Iterative Cluster-free Re-ranking process that leverages gallery-gallery feature information to establish semantic links between query and gallery images. This enables the retrieval of relevant images even when they do not exhibit similar visual features but share underlying semantic concepts. This can be combined with any pre-existing cross-domain feature extraction backbone to improve retrieval performance. However, when combined with a carefully chosen Vision Transformer backbone and combination of zero-shot retrieval losses, our approach yields state-of-the-art results on the Sketchy, TU-Berlin and QuickDraw sketch-based retrieval benchmarks. We show that our re-ranking also improves performance with other backbones and outperforms other re-ranking methods applied with our backbone. Importantly, unlike many previous methods, none of the components in our approach are engineered specifically towards the sketch-based image retrieval task - it can be generally applied to any cross-domain, zero-shot retrieval task. We therefore also present new results on zero-shot cartoon-to-photo and art-to-product retrieval using the Office-Home dataset. Project page: finlay-hudson.github.io/icfrr, code available at: github.com/finlay-hudson/ICFRR
• Abstract（参考訳）: 本稿では,ゼロショット・クロスドメイン画像検索のための新しい手法を提案する。 私たちの重要なコントリビューションは、ギャラリーギャラリーの機能情報を活用して、クエリとギャラリーイメージ間のセマンティックリンクを確立する、テストタイムの反復的クラスタフリーなリグレードプロセスです。 これにより、類似した視覚的特徴を示さず、基礎となる意味概念を共有する場合でも、関連する画像の検索が可能になる。 これは、既存のクロスドメイン特徴抽出バックボーンと組み合わせて、検索性能を向上させることができる。 しかし、慎重に選択されたVision Transformerのバックボーンとゼロショット検索損失の組み合わせを組み合わせると、Sketchy、TU-Berlin、QuickDrawのスケッチベースの検索ベンチマークで最先端の結果が得られる。 我々の再ランクは、他のバックボーンでのパフォーマンスも向上し、バックボーンで適用された他の再ランクメソッドよりも優れています。 重要なことに、従来の多くの方法とは異なり、我々のアプローチのどのコンポーネントもスケッチベースの画像検索タスクに特化して設計されていない。 そこで本研究では,Office-Homeデータセットを用いたゼロショットマンガ・写真・アート・ツー・プロダクト検索の新たな結果も提示する。 プロジェクトページ: finlay-hudson.github.io/icfrr, code available at: github.com/finlay-hudson/ICFRR

関連論文リスト

• You'll Never Walk Alone: A Sketch and Text Duet for Fine-Grained Image Retrieval [120.49126407479717]
  事前学習したCLIPモデルを用いて,スケッチとテキストを効果的に組み合わせた新しい構成性フレームワークを提案する。 我々のシステムは、合成画像検索、ドメイン転送、きめ細かい生成における新しい応用にまで拡張する。
  論文  参考訳（メタデータ） (2024-03-12T00:27:18Z)
• Advancing Image Retrieval with Few-Shot Learning and Relevance Feedback [5.770351255180495]
  Image Retrieval with Relevance Feedback (IRRF) は、検索プロセス中に反復的なヒューマンインタラクションを伴う。 本稿では,タスクに適したハイパーネットワークに基づく新しいスキームを提案し,ユーザフィードバックの迅速な調整を容易にする。 提案手法は,数発の1クラス分類でSoTAを達成でき,数発のオープンセット認識のバイナリ分類タスクで同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-12-18T10:20:28Z)
• Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based Image Retrieval [69.46139774646308]
  本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。 目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。 ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
  論文  参考訳（メタデータ） (2023-12-16T04:50:34Z)
• Sketch-an-Anchor: Sub-epoch Fast Model Adaptation for Zero-shot Sketch-based Image Retrieval [1.52292571922932]
  Sketch-an-Anchorは、最先端のZSSBIR(Zero-shot Image Retrieval)モデルをエポック下でトレーニングする新しい方法である。 我々の高速収束モデルは、スケッチから類似した表現を抽出することを学びながら、単一ドメインのパフォーマンスを維持します。
  論文  参考訳（メタデータ） (2023-03-29T15:00:02Z)
• Distribution Aligned Feature Clustering for Zero-Shot Sketch-Based Image Retrieval [18.81230334624234]
  本稿では,ギャラリー画像機能の利用という新たな視点から,課題に取り組む。 本稿では,ギャラリー画像上でクラスタリングを行うクラスタ-then-Retrieve (ClusterRetri)法を提案し,クラスタ・セントロイドをプロキシとして利用した。 その単純さにもかかわらず、提案手法は一般的なデータセットに対して高いマージンで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-01-17T03:58:12Z)
• ARTEMIS: Attention-based Retrieval with Text-Explicit Matching and Implicit Similarity [16.550790981646276]
  現在のアプローチでは、クエリの2つの要素のそれぞれの特徴をひとつの表現にまとめています。 本研究の目的は,テキスト・ツー・イメージ検索と画像・ツー・イメージ検索という,慣れ親しんだ2つのフレームワークのプリズムを通じてタスクに新たな光を当てることである。
  論文  参考訳（メタデータ） (2022-03-15T17:29:20Z)
• Contextual Similarity Aggregation with Self-attention for Visual Re-ranking [96.55393026011811]
  本稿では,自己注意を伴う文脈的類似性集約による視覚的再ランク付け手法を提案する。 提案手法の汎用性と有効性を示すため,4つのベンチマークデータセットの総合的な実験を行った。
  論文  参考訳（メタデータ） (2021-10-26T06:20:31Z)
• Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based Image Retrieval [55.29233996427243]
  ローショットスケッチに基づく画像検索はコンピュータビジョンの新たな課題である。 本稿では,ゼロショットおよび少数ショットのスケッチベース画像検索(SBIR)タスクについて述べる。 これらの課題を解決するために,SEM-PCYC(SEM-PCYC)を提案する。 以上の結果から,Sketchy,TU-Berlin,QuickDrawのデータセットを拡張したバージョンでは,最先端の撮影性能が大幅に向上した。
  論文  参考訳（メタデータ） (2020-06-20T22:43:53Z)
• Geometrically Mappable Image Features [85.81073893916414]
  地図内のエージェントの視覚に基づくローカライゼーションは、ロボット工学とコンピュータビジョンにおいて重要な問題である。 本稿では,画像検索を対象とした画像特徴学習手法を提案する。
  論文  参考訳（メタデータ） (2020-03-21T15:36:38Z)
• Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image Retrieval [203.2520862597357]
  きめ細かいスケッチベースの画像検索(FG-SBIR)は、ユーザのクエリのスケッチから特定の写真インスタンスを検索する問題に対処する。 これらの課題に対処するため、従来のFG-SBIRフレームワークを再構築する。 ユーザが絵を描き始めるとすぐに検索を開始できるオンザフライ設計を提案する。
  論文  参考訳（メタデータ） (2020-02-24T15:36:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。