論文の概要: Relation-Aware Meta-Learning for Zero-shot Sketch-Based Image Retrieval

• arxiv url: http://arxiv.org/abs/2412.00120v1
• Date: Thu, 28 Nov 2024 09:35:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:50:11.052243
• Title: Relation-Aware Meta-Learning for Zero-shot Sketch-Based Image Retrieval
• Title（参考訳）: ゼロショットスケッチに基づく画像検索のための関係認識型メタラーニング
• Authors: Yang Liu, Jiale Du, Xinbo Gao, Jungong Han,
• Abstract要約: スケッチベースの画像検索(SBIR)は、同じクラス内で自然写真を取得するためにフリーハンドスケッチに依存している。 この制限に対処するため、タスクはゼロショットSketch-based Image Retrieval (ZS-SBIR)へと進化した。 本稿では,ZS-SBIRのための新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 89.15541654536544
• License:
• Abstract: Sketch-based image retrieval (SBIR) relies on free-hand sketches to retrieve natural photos within the same class. However, its practical application is limited by its inability to retrieve classes absent from the training set. To address this limitation, the task has evolved into Zero-Shot Sketch-Based Image Retrieval (ZS-SBIR), where model performance is evaluated on unseen categories. Traditional SBIR primarily focuses on narrowing the domain gap between photo and sketch modalities. However, in the zero-shot setting, the model not only needs to address this cross-modal discrepancy but also requires a strong generalization capability to transfer knowledge to unseen categories. To this end, we propose a novel framework for ZS-SBIR that employs a pair-based relation-aware quadruplet loss to bridge feature gaps. By incorporating two negative samples from different modalities, the approach prevents positive features from becoming disproportionately distant from one modality while remaining close to another, thus enhancing inter-class separability. We also propose a Relation-Aware Meta-Learning Network (RAMLN) to obtain the margin, a hyper-parameter of cross-modal quadruplet loss, to improve the generalization ability of the model. RAMLN leverages external memory to store feature information, which it utilizes to assign optimal margin values. Experimental results obtained on the extended Sketchy and TU-Berlin datasets show a sharp improvement over existing state-of-the-art methods in ZS-SBIR.
• Abstract（参考訳）: スケッチベースの画像検索(SBIR)は、同じクラス内で自然写真を取得するためにフリーハンドスケッチに依存している。 しかし、その実践的応用は、トレーニングセットから欠席したクラスを検索できないことによる制限がある。 この制限に対処するため、タスクはゼロショットスケッチベース画像検索 (ZS-SBIR) へと進化し、未確認のカテゴリでモデル性能を評価する。 従来のSBIRは主に写真とスケッチのモダリティの間の領域ギャップを狭めることに重点を置いている。 しかし、ゼロショット設定では、このモデルはモデアルの相違に対処するだけでなく、未知のカテゴリに知識を移すための強力な一般化能力も必要である。 そこで本稿では,ZS-SBIRの新たなフレームワークを提案する。 異なるモダリティから2つの負のサンプルを組み込むことで、あるモダリティに近づきながら正の特徴が不均等に遠くなるのを防ぐことができ、クラス間の分離性を高めることができる。 また,関係認識型メタラーニングネットワーク (RAMLN) を提案し,モデルの一般化能力を向上させるために,クロスモーダル四重項損失のハイパーパラメータであるマージンを求める。 RAMLNは外部メモリを利用して特徴情報を格納し、最適なマージン値を割り当てる。 拡張SketchyおよびTU-Berlinデータセットで得られた実験結果は、ZS-SBIRにおける既存の最先端手法よりも大幅に改善されたことを示している。

関連論文リスト

• Towards Self-Supervised FG-SBIR with Unified Sample Feature Alignment and Multi-Scale Token Recycling [11.129453244307369]
  FG-SBIRは、埋め込み空間におけるスケッチと対応する画像の距離を最小化することを目的としている。 両領域間のギャップを狭める効果的なアプローチを提案する。 主に、イントラサンプルとインターサンプルの両方を共有する統一的な相互情報共有を促進する。
  論文  参考訳（メタデータ） (2024-06-17T13:49:12Z)
• Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval [10.568851068989973]
  ゼロショット学習は、機械学習モデルが目に見えないカテゴリを扱うための効率的なソリューションを提供する。 そこで本研究では,スケッチや写真をテキストで対比して間接的にアライメントする新しいフレームワークを提案する。 データから学習したモダリティを明示的に符号化することで、モダリティ固有の情報からモダリティに依存しないセマンティクスを分離する。
  論文  参考訳（メタデータ） (2024-01-10T00:39:03Z)
• Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based Image Retrieval [69.46139774646308]
  本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。 目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。 ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
  論文  参考訳（メタデータ） (2023-12-16T04:50:34Z)
• Active Learning for Fine-Grained Sketch-Based Image Retrieval [1.994307489466967]
  フリーハンドスケッチによる写真検索能力は、きめ細かなスケッチベース画像検索(FG-SBIR)の可能性を強調している。 本稿では,写真スケッチ作成の必要性を大幅に軽減する,新しい能動的学習サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T20:07:14Z)
• BDA-SketRet: Bi-Level Domain Adaptation for Zero-Shot SBIR [52.78253400327191]
  BDA-SketRetは、視覚データペアの空間的特徴と意味的特徴を整合させるために、バイレベルドメイン適応を実行する新しいフレームワークである。 拡張されたSketchy、TU-Berlin、QuickDrawの実験結果は、文献よりも大幅に改善された。
  論文  参考訳（メタデータ） (2022-01-17T18:45:55Z)
• Domain-Smoothing Network for Zero-Shot Sketch-Based Image Retrieval [66.37346493506737]
  Zero-Shot Sketch-Based Image Retrieval (ZS-SBIR) は、新しいクロスモーダル検索タスクである。 ZS-SBIRのための新しいドメイン・スムーシング・ネットワーク(DSN)を提案する。 我々のアプローチは、SketchyとTU-Berlinの両方のデータセットで最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-06-22T14:58:08Z)
• Towards Unsupervised Sketch-based Image Retrieval [126.77787336692802]
  本稿では,教師なし表現学習とスケッチ写真領域アライメントを同時に行う新しいフレームワークを提案する。 このフレームワークは,新しい教師なし設定では優れた性能を達成し,ゼロショット設定では最先端以上の性能を発揮する。
  論文  参考訳（メタデータ） (2021-05-18T02:38:22Z)
• More Photos are All You Need: Semi-Supervised Learning for Fine-Grained Sketch Based Image Retrieval [112.1756171062067]
  クロスモーダル検索のための新しい半監視フレームワークについて紹介する。 私たちの設計の中心には、連続したフォトツースケッチ生成モデルがあります。 また,不適切な生成を誘導する判別器誘導機構も導入する。
  論文  参考訳（メタデータ） (2021-03-25T17:27:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。