論文の概要: Sketch-an-Anchor: Sub-epoch Fast Model Adaptation for Zero-shot Sketch-based Image Retrieval

• arxiv url: http://arxiv.org/abs/2303.16769v1
• Date: Wed, 29 Mar 2023 15:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-30 14:11:45.947970
• Title: Sketch-an-Anchor: Sub-epoch Fast Model Adaptation for Zero-shot Sketch-based Image Retrieval
• Title（参考訳）: Sketch-an-Anchor:Zero-shot Sketch-based Image Retrievalのためのサブエピック高速モデル適応
• Authors: Leo Sampaio Ferraz Ribeiro, Moacir Antonelli Ponti
• Abstract要約: Sketch-an-Anchorは、最先端のZSSBIR(Zero-shot Image Retrieval)モデルをエポック下でトレーニングする新しい方法である。 我々の高速収束モデルは、スケッチから類似した表現を抽出することを学びながら、単一ドメインのパフォーマンスを維持します。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sketch-an-Anchor is a novel method to train state-of-the-art Zero-shot Sketch-based Image Retrieval (ZSSBIR) models in under an epoch. Most studies break down the problem of ZSSBIR into two parts: domain alignment between images and sketches, inherited from SBIR, and generalization to unseen data, inherent to the zero-shot protocol. We argue one of these problems can be considerably simplified and re-frame the ZSSBIR problem around the already-stellar yet underexplored Zero-shot Image-based Retrieval performance of off-the-shelf models. Our fast-converging model keeps the single-domain performance while learning to extract similar representations from sketches. To this end we introduce our Semantic Anchors -- guiding embeddings learned from word-based semantic spaces and features from off-the-shelf models -- and combine them with our novel Anchored Contrastive Loss. Empirical evidence shows we can achieve state-of-the-art performance on all benchmark datasets while training for 100x less iterations than other methods.
• Abstract（参考訳）: sketch-an-anchorは、最先端のゼロショットスケッチベース画像検索(zssbir)モデルを画期的に訓練する新しい手法である。 ZSSBIRの問題は、SBIRから継承された画像とスケッチのドメインアライメントと、ゼロショットプロトコル固有の見えないデータへの一般化の2つの部分に分けられる。 これらの問題の1つは、既に探索されているZero-shot Image-based Retrievalのパフォーマンスに関するZSSBIR問題を大幅に単純化し、再構成することができると我々は主張する。 高速収束モデルでは,スケッチからの類似表現抽出を学習しながら,単一ドメインのパフォーマンスを維持している。 この目的のために、セマンティックアンカー (Semantic Anchors) -- 単語ベースのセマンティックスペースから学んだ埋め込みと、既成のモデルからの特徴 -- を導入し、それらを私たちの小説Anchored Contrastive Lossと組み合わせます。 実証的な証拠は、すべてのベンチマークデータセットで最先端のパフォーマンスを達成でき、他の方法よりも100倍少ないイテレーションをトレーニングできることを示している。

関連論文リスト

• Relation-Aware Meta-Learning for Zero-shot Sketch-Based Image Retrieval [89.15541654536544]
  スケッチベースの画像検索(SBIR)は、同じクラス内で自然写真を取得するためにフリーハンドスケッチに依存している。 この制限に対処するため、タスクはゼロショットSketch-based Image Retrieval (ZS-SBIR)へと進化した。 本稿では,ZS-SBIRのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-28T09:35:27Z)
• Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval [10.568851068989973]
  ゼロショット学習は、機械学習モデルが目に見えないカテゴリを扱うための効率的なソリューションを提供する。 そこで本研究では,スケッチや写真をテキストで対比して間接的にアライメントする新しいフレームワークを提案する。 データから学習したモダリティを明示的に符号化することで、モダリティ固有の情報からモダリティに依存しないセマンティクスを分離する。
  論文  参考訳（メタデータ） (2024-01-10T00:39:03Z)
• Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based Image Retrieval [69.46139774646308]
  本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。 目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。 ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
  論文  参考訳（メタデータ） (2023-12-16T04:50:34Z)
• Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval [85.39613457282107]
  スケッチに基づく画像検索のクロスドメイン性は困難である。 重要な課題に対処する効果的なAdaptとAlignのアプローチを提案する。 ゼロショットシナリオにおける画像テキスト基盤モデル(例えばCLIP)の最近の進歩に触発されて、学習したイメージの埋め込みを、より意味的なテキスト埋め込みと明確に整合させ、見知らぬクラスから見つからないクラスへの所望の知識伝達を実現する。
  論文  参考訳（メタデータ） (2023-05-09T03:10:15Z)
• BDA-SketRet: Bi-Level Domain Adaptation for Zero-Shot SBIR [52.78253400327191]
  BDA-SketRetは、視覚データペアの空間的特徴と意味的特徴を整合させるために、バイレベルドメイン適応を実行する新しいフレームワークである。 拡張されたSketchy、TU-Berlin、QuickDrawの実験結果は、文献よりも大幅に改善された。
  論文  参考訳（メタデータ） (2022-01-17T18:45:55Z)
• Domain-Smoothing Network for Zero-Shot Sketch-Based Image Retrieval [66.37346493506737]
  Zero-Shot Sketch-Based Image Retrieval (ZS-SBIR) は、新しいクロスモーダル検索タスクである。 ZS-SBIRのための新しいドメイン・スムーシング・ネットワーク(DSN)を提案する。 我々のアプローチは、SketchyとTU-Berlinの両方のデータセットで最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-06-22T14:58:08Z)
• More Photos are All You Need: Semi-Supervised Learning for Fine-Grained Sketch Based Image Retrieval [112.1756171062067]
  クロスモーダル検索のための新しい半監視フレームワークについて紹介する。 私たちの設計の中心には、連続したフォトツースケッチ生成モデルがあります。 また,不適切な生成を誘導する判別器誘導機構も導入する。
  論文  参考訳（メタデータ） (2021-03-25T17:27:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。