論文の概要: If At First You Don't Succeed: Test Time Re-ranking for Zero-shot, Cross-domain Retrieval

• arxiv url: http://arxiv.org/abs/2303.17703v1
• Date: Thu, 30 Mar 2023 20:52:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 15:56:25.323400
• Title: If At First You Don't Succeed: Test Time Re-ranking for Zero-shot, Cross-domain Retrieval
• Title（参考訳）: 最初は成功しなかった場合: ゼロショット、クロスドメイン検索のためのテスト時間の再ランキング
• Authors: Finlay G. C. Hudson and William A. P. Smith
• Abstract要約: 我々はゼロショット・クロスドメイン画像検索の分野に2つの重要な貢献をしている。 ひとつは、有意義な共有視覚的特徴のないクエリ・ギャラリペアを可能にする、テスト時間の再ランク付け手順である。 2つ目は、訓練時のクロスアテンションと知識蒸留を利用して、1枚の画像からテスト時にクロスアテンションのような特徴を抽出することである。
• 参考スコア（独自算出の注目度）: 24.7196877149196
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we propose a novel method for zero-shot, cross-domain image retrieval in which we make two key contributions. The first is a test-time re-ranking procedure that enables query-gallery pairs, without meaningful shared visual features, to be matched by incorporating gallery-gallery ranks into an iterative re-ranking process. The second is the use of cross-attention at training time and knowledge distillation to encourage cross-attention-like features to be extracted at test time from a single image. When combined with the Vision Transformer architecture and zero-shot retrieval losses, our approach yields state-of-the-art results on the Sketchy and TU-Berlin sketch-based image retrieval benchmarks. However, unlike many previous methods, none of the components in our approach are engineered specifically towards the sketch-based image retrieval task - it can be generally applied to any cross-domain, zero-shot retrieval task. We therefore also show results on zero-shot cartoon-to-photo retrieval using the Office-Home dataset.
• Abstract（参考訳）: 本稿では,2つの重要な貢献を行う,ゼロショット・クロスドメイン画像検索手法を提案する。 ひとつは、クエリとギャラリーのペアを、意味のある共有視覚的特徴を伴わずに、ギャラリーとギャラリーのランクを反復的な再ランク付けプロセスに組み込むことで、マッチングを可能にするテスト時間の再ランク付け手順である。 2つ目は、訓練時のクロスアテンションと知識蒸留を用いて、1枚の画像からテスト時にクロスアテンションのような特徴を抽出する。 Vision Transformer アーキテクチャとゼロショット検索損失を組み合わせると,Sketchy と TU-Berlin のスケッチに基づく画像検索ベンチマークの最先端結果が得られる。 しかし、従来の多くの方法とは異なり、スケッチベースの画像検索タスクに特化して設計されたコンポーネントは存在せず、クロスドメインのゼロショット検索タスクに一般的に適用することができる。 また,Office-Homeデータセットを用いたゼロショットマンガ画像検索の結果も示す。

関連論文リスト

• You'll Never Walk Alone: A Sketch and Text Duet for Fine-Grained Image Retrieval [120.49126407479717]
  事前学習したCLIPモデルを用いて,スケッチとテキストを効果的に組み合わせた新しい構成性フレームワークを提案する。 我々のシステムは、合成画像検索、ドメイン転送、きめ細かい生成における新しい応用にまで拡張する。
  論文  参考訳（メタデータ） (2024-03-12T00:27:18Z)
• Advancing Image Retrieval with Few-Shot Learning and Relevance Feedback [5.770351255180495]
  Image Retrieval with Relevance Feedback (IRRF) は、検索プロセス中に反復的なヒューマンインタラクションを伴う。 本稿では,タスクに適したハイパーネットワークに基づく新しいスキームを提案し,ユーザフィードバックの迅速な調整を容易にする。 提案手法は,数発の1クラス分類でSoTAを達成でき,数発のオープンセット認識のバイナリ分類タスクで同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-12-18T10:20:28Z)
• Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based Image Retrieval [69.46139774646308]
  本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。 目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。 ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
  論文  参考訳（メタデータ） (2023-12-16T04:50:34Z)
• Sketch-an-Anchor: Sub-epoch Fast Model Adaptation for Zero-shot Sketch-based Image Retrieval [1.52292571922932]
  Sketch-an-Anchorは、最先端のZSSBIR(Zero-shot Image Retrieval)モデルをエポック下でトレーニングする新しい方法である。 我々の高速収束モデルは、スケッチから類似した表現を抽出することを学びながら、単一ドメインのパフォーマンスを維持します。
  論文  参考訳（メタデータ） (2023-03-29T15:00:02Z)
• Distribution Aligned Feature Clustering for Zero-Shot Sketch-Based Image Retrieval [18.81230334624234]
  本稿では,ギャラリー画像機能の利用という新たな視点から,課題に取り組む。 本稿では,ギャラリー画像上でクラスタリングを行うクラスタ-then-Retrieve (ClusterRetri)法を提案し,クラスタ・セントロイドをプロキシとして利用した。 その単純さにもかかわらず、提案手法は一般的なデータセットに対して高いマージンで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-01-17T03:58:12Z)
• ARTEMIS: Attention-based Retrieval with Text-Explicit Matching and Implicit Similarity [16.550790981646276]
  現在のアプローチでは、クエリの2つの要素のそれぞれの特徴をひとつの表現にまとめています。 本研究の目的は,テキスト・ツー・イメージ検索と画像・ツー・イメージ検索という,慣れ親しんだ2つのフレームワークのプリズムを通じてタスクに新たな光を当てることである。
  論文  参考訳（メタデータ） (2022-03-15T17:29:20Z)
• Contextual Similarity Aggregation with Self-attention for Visual Re-ranking [96.55393026011811]
  本稿では,自己注意を伴う文脈的類似性集約による視覚的再ランク付け手法を提案する。 提案手法の汎用性と有効性を示すため,4つのベンチマークデータセットの総合的な実験を行った。
  論文  参考訳（メタデータ） (2021-10-26T06:20:31Z)
• Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based Image Retrieval [55.29233996427243]
  ローショットスケッチに基づく画像検索はコンピュータビジョンの新たな課題である。 本稿では,ゼロショットおよび少数ショットのスケッチベース画像検索(SBIR)タスクについて述べる。 これらの課題を解決するために,SEM-PCYC(SEM-PCYC)を提案する。 以上の結果から,Sketchy,TU-Berlin,QuickDrawのデータセットを拡張したバージョンでは,最先端の撮影性能が大幅に向上した。
  論文  参考訳（メタデータ） (2020-06-20T22:43:53Z)
• Geometrically Mappable Image Features [85.81073893916414]
  地図内のエージェントの視覚に基づくローカライゼーションは、ロボット工学とコンピュータビジョンにおいて重要な問題である。 本稿では,画像検索を対象とした画像特徴学習手法を提案する。
  論文  参考訳（メタデータ） (2020-03-21T15:36:38Z)
• Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image Retrieval [203.2520862597357]
  きめ細かいスケッチベースの画像検索(FG-SBIR)は、ユーザのクエリのスケッチから特定の写真インスタンスを検索する問題に対処する。 これらの課題に対処するため、従来のFG-SBIRフレームワークを再構築する。 ユーザが絵を描き始めるとすぐに検索を開始できるオンザフライ設計を提案する。
  論文  参考訳（メタデータ） (2020-02-24T15:36:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。