論文の概要: BDA-SketRet: Bi-Level Domain Adaptation for Zero-Shot SBIR
- arxiv url: http://arxiv.org/abs/2201.06570v1
- Date: Mon, 17 Jan 2022 18:45:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-19 15:08:33.784272
- Title: BDA-SketRet: Bi-Level Domain Adaptation for Zero-Shot SBIR
- Title（参考訳）: BDA-SketRet: ゼロショットSBIRのための双方向ドメイン適応
- Authors: Ushasi Chaudhuri, Ruchika Chavan, Biplab Banerjee, Anjan Dutta, Zeynep
Akata
- Abstract要約: BDA-SketRetは、視覚データペアの空間的特徴と意味的特徴を整合させるために、バイレベルドメイン適応を実行する新しいフレームワークである。
拡張されたSketchy、TU-Berlin、QuickDrawの実験結果は、文献よりも大幅に改善された。
- 参考スコア（独自算出の注目度）: 52.78253400327191
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The efficacy of zero-shot sketch-based image retrieval (ZS-SBIR) models is
governed by two challenges. The immense distributions-gap between the sketches
and the images requires a proper domain alignment. Moreover, the fine-grained
nature of the task and the high intra-class variance of many categories
necessitates a class-wise discriminative mapping among the sketch, image, and
the semantic spaces. Under this premise, we propose BDA-SketRet, a novel
ZS-SBIR framework performing a bi-level domain adaptation for aligning the
spatial and semantic features of the visual data pairs progressively. In order
to highlight the shared features and reduce the effects of any sketch or
image-specific artifacts, we propose a novel symmetric loss function based on
the notion of information bottleneck for aligning the semantic features while a
cross-entropy-based adversarial loss is introduced to align the spatial feature
maps. Finally, our CNN-based model confirms the discriminativeness of the
shared latent space through a novel topology-preserving semantic projection
network. Experimental results on the extended Sketchy, TU-Berlin, and QuickDraw
datasets exhibit sharp improvements over the literature.
- Abstract（参考訳）: ゼロショットスケッチベース画像検索(ZS-SBIR)モデルの有効性は2つの課題によって制御される。
スケッチと画像の間の膨大な分布は、適切なドメインアライメントを必要とする。
さらに、タスクのきめ細かい性質と多くのカテゴリのクラス内の高い分散は、スケッチ、画像、セマンティック空間間のクラスワイドの識別的マッピングを必要とする。
この前提のもと、視覚データペアの空間的特徴と意味的特徴を段階的に整合させる二段階ドメイン適応を行う新しいZS-SBIRフレームワークであるBDA-SketRetを提案する。
共有特徴を強調表示し,スケッチや画像特有のアーティファクトの効果を低減すべく,空間的特徴マップにクロスエントロピーベースの逆損失を導入する一方で,意味的特徴を整合するための情報ボトルネックの概念に基づく新しい対称的損失関数を提案する。
最後に、cnnに基づくモデルは、新しいトポロジー保存意味投影ネットワークを介して共有潜在空間の識別性を確認する。
拡張Sketchy、TU-Berlin、QuickDrawデータセットの実験結果は、文献よりも大幅に改善されている。
関連論文リスト
- Towards Self-Supervised FG-SBIR with Unified Sample Feature Alignment and Multi-Scale Token Recycling [11.129453244307369]
FG-SBIRは、埋め込み空間におけるスケッチと対応する画像の距離を最小化することを目的としている。
両領域間のギャップを狭める効果的なアプローチを提案する。
主に、イントラサンプルとインターサンプルの両方を共有する統一的な相互情報共有を促進する。
論文 参考訳（メタデータ） (2024-06-17T13:49:12Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳（メタデータ） (2023-12-19T08:14:14Z) - Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based
Image Retrieval [69.46139774646308]
本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。
目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。
ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
論文 参考訳（メタデータ） (2023-12-16T04:50:34Z) - Boosting Few-shot Fine-grained Recognition with Background Suppression
and Foreground Alignment [53.401889855278704]
FS-FGR (Few-shot Fine-fine Recognition) は、限られたサンプルの助けを借りて、新しいきめ細かなカテゴリを認識することを目的としている。
本研究では,背景アクティベーション抑制 (BAS) モジュール,フォアグラウンドオブジェクトアライメント (FOA) モジュール,および局所的局所的(L2L) 類似度測定器からなる2段階の背景アライメントとフォアグラウンドアライメントフレームワークを提案する。
複数のベンチマークで行った実験により,提案手法は既存の最先端技術よりも大きなマージンで優れていることが示された。
論文 参考訳（メタデータ） (2022-10-04T07:54:40Z) - Zero-Shot Sketch Based Image Retrieval using Graph Transformer [18.00165431469872]
本稿では,ZS-SBIRタスクを解くためのゼロショットスケッチベース画像検索(GTZSR)フレームワークを提案する。
視覚的特徴間の領域ギャップを埋めるために,学習領域共有空間における画像とスケッチ間のワッサーシュタイン距離を最小化することを提案する。
また、トレーニングセット内の他のすべてのクラスのドメインギャップに対して、1つのクラスのドメインギャップをブリッジすることで、2つの視覚領域を更に整合させる新しい互換性損失を提案する。
論文 参考訳（メタデータ） (2022-01-25T09:02:39Z) - Domain-Smoothing Network for Zero-Shot Sketch-Based Image Retrieval [66.37346493506737]
Zero-Shot Sketch-Based Image Retrieval (ZS-SBIR) は、新しいクロスモーダル検索タスクである。
ZS-SBIRのための新しいドメイン・スムーシング・ネットワーク(DSN)を提案する。
我々のアプローチは、SketchyとTU-Berlinの両方のデータセットで最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2021-06-22T14:58:08Z) - CrossATNet - A Novel Cross-Attention Based Framework for Sketch-Based
Image Retrieval [30.249581102239645]
スケッチベース画像検索(SBIR)の文脈におけるZSL(クロスモーダル・ゼロショット・ラーニング)のための新しいフレームワークを提案する。
共有空間の識別性を確保するためにクロスモーダル三重項損失を定義する一方で、画像領域から特徴抽出を導くための革新的なクロスモーダル注意学習戦略も提案されている。
論文 参考訳（メタデータ） (2021-04-20T12:11:12Z) - Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based
Image Retrieval [55.29233996427243]
ローショットスケッチに基づく画像検索はコンピュータビジョンの新たな課題である。
本稿では,ゼロショットおよび少数ショットのスケッチベース画像検索(SBIR)タスクについて述べる。
これらの課題を解決するために,SEM-PCYC(SEM-PCYC)を提案する。
以上の結果から,Sketchy,TU-Berlin,QuickDrawのデータセットを拡張したバージョンでは,最先端の撮影性能が大幅に向上した。
論文 参考訳（メタデータ） (2020-06-20T22:43:53Z) - Progressive Domain-Independent Feature Decomposition Network for
Zero-Shot Sketch-Based Image Retrieval [15.955284712628444]
本稿では,ZS-SBIRのためのプログレッシブドメイン独立型特徴分解(PDFD)ネットワークを提案する。
具体的には、PDFDは、視覚的特徴をドメインの特徴と意味的特徴に分解し、その意味的特徴をZS-SBIRの検索機能として共通空間に投影する。
論文 参考訳（メタデータ） (2020-03-22T12:07:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。