論文の概要: Three-Stream Joint Network for Zero-Shot Sketch-Based Image Retrieval
- arxiv url: http://arxiv.org/abs/2204.05666v1
- Date: Tue, 12 Apr 2022 09:52:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-13 20:53:30.843569
- Title: Three-Stream Joint Network for Zero-Shot Sketch-Based Image Retrieval
- Title（参考訳）: ゼロショットスケッチに基づく画像検索のための3ストリームジョイントネットワーク
- Authors: Yu-Wei Zhan, Xin Luo, Yongxin Wang, Zhen-Duo Chen, Xin-Shun Xu
- Abstract要約: ZS-SBIR(Zero-Shot Sketch-based Image Retrieval)は、スケッチと自然画像の間に大きな領域ギャップがあるため、難しい課題である。
本稿では,ZS-SBIRタスクのための3ストリーム共同学習ネットワーク(JOIN)を提案する。
- 参考スコア（独自算出の注目度）: 15.191262439963221
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Zero-Shot Sketch-based Image Retrieval (ZS-SBIR) is a challenging task
because of the large domain gap between sketches and natural images as well as
the semantic inconsistency between seen and unseen categories. Previous
literature bridges seen and unseen categories by semantic embedding, which
requires prior knowledge of the exact class names and additional extraction
efforts. And most works reduce domain gap by mapping sketches and natural
images into a common high-level space using constructed sketch-image pairs,
which ignore the unpaired information between images and sketches. To address
these issues, in this paper, we propose a novel Three-Stream Joint Training
Network (3JOIN) for the ZS-SBIR task. To narrow the domain differences between
sketches and images, we extract edge maps for natural images and treat them as
a bridge between images and sketches, which have similar content to images and
similar style to sketches. For exploiting a sufficient combination of sketches,
natural images, and edge maps, a novel three-stream joint training network is
proposed. In addition, we use a teacher network to extract the implicit
semantics of the samples without the aid of other semantics and transfer the
learned knowledge to unseen classes. Extensive experiments conducted on two
real-world datasets demonstrate the superiority of our proposed method.
- Abstract（参考訳）: ZS-SBIR(Zero-Shot Sketch-based Image Retrieval)は、スケッチと自然画像の間の大きなドメインギャップと、目に見えないカテゴリと見えないカテゴリ間のセマンティック不整合のため、難しいタスクである。
それまでの文献ブリッジはセマンティック埋め込みによって見え、目に見えないカテゴリーであり、正確なクラス名に関する事前の知識と追加の抽出努力が必要である。
そしてほとんどの研究は、スケッチと自然なイメージを構築済みのスケッチイメージペアを使って共通の高レベルな空間にマッピングすることで、ドメインギャップを減らす。
そこで本稿では,zs-sbirタスクのための新たな3系統合同学習ネットワーク(3join)を提案する。
スケッチと画像の領域差を狭めるために,自然画像のエッジマップを抽出し,画像とスケッチの橋渡しとして扱う。
スケッチ,自然画像,エッジマップの十分な組み合わせを利用するために,新しい3ストリーム共同学習ネットワークを提案する。
さらに,教師ネットワークを用いてサンプルの暗黙的な意味を他の意味論の助けを借りずに抽出し,学習した知識を未知のクラスに転送する。
2つの実世界のデータセット上で行った広範囲な実験により,提案手法の優越性が証明された。
関連論文リスト
- Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval [85.39613457282107]
スケッチに基づく画像検索のクロスドメイン性は困難である。
重要な課題に対処する効果的なAdaptとAlignのアプローチを提案する。
ゼロショットシナリオにおける画像テキスト基盤モデル(例えばCLIP)の最近の進歩に触発されて、学習したイメージの埋め込みを、より意味的なテキスト埋め込みと明確に整合させ、見知らぬクラスから見つからないクラスへの所望の知識伝達を実現する。
論文 参考訳（メタデータ） (2023-05-09T03:10:15Z) - WAD-CMSN: Wasserstein Distance based Cross-Modal Semantic Network for
Zero-Shot Sketch-Based Image Retrieval [1.4180331276028657]
ゼロショットスケッチに基づく画像検索(ZSSBIR)はコンピュータビジョンの一般的な研究分野である。
ZSSBIRのためのワッサースタイン距離に基づくクロスモーダルセマンティックネットワーク(WAD-CMSN)を提案する。
論文 参考訳（メタデータ） (2022-02-11T05:56:30Z) - Domain-Smoothing Network for Zero-Shot Sketch-Based Image Retrieval [66.37346493506737]
Zero-Shot Sketch-Based Image Retrieval (ZS-SBIR) は、新しいクロスモーダル検索タスクである。
ZS-SBIRのための新しいドメイン・スムーシング・ネットワーク(DSN)を提案する。
我々のアプローチは、SketchyとTU-Berlinの両方のデータセットで最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2021-06-22T14:58:08Z) - CrossATNet - A Novel Cross-Attention Based Framework for Sketch-Based
Image Retrieval [30.249581102239645]
スケッチベース画像検索(SBIR)の文脈におけるZSL(クロスモーダル・ゼロショット・ラーニング)のための新しいフレームワークを提案する。
共有空間の識別性を確保するためにクロスモーダル三重項損失を定義する一方で、画像領域から特徴抽出を導くための革新的なクロスモーダル注意学習戦略も提案されている。
論文 参考訳（メタデータ） (2021-04-20T12:11:12Z) - Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image
Retrieval [147.24102408745247]
我々は、これまで見過ごされてきたスケッチのさらなる特性、すなわち、詳細レベルの階層性について研究する。
本稿では,スケッチ固有の階層を育成し,それを利用して,対応する階層レベルでのスケッチと写真とのマッチングを行う新しいネットワークを設計する。
論文 参考訳（メタデータ） (2020-07-29T20:50:25Z) - Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based
Image Retrieval [55.29233996427243]
ローショットスケッチに基づく画像検索はコンピュータビジョンの新たな課題である。
本稿では,ゼロショットおよび少数ショットのスケッチベース画像検索(SBIR)タスクについて述べる。
これらの課題を解決するために,SEM-PCYC(SEM-PCYC)を提案する。
以上の結果から,Sketchy,TU-Berlin,QuickDrawのデータセットを拡張したバージョンでは,最先端の撮影性能が大幅に向上した。
論文 参考訳（メタデータ） (2020-06-20T22:43:53Z) - Deep Self-Supervised Representation Learning for Free-Hand Sketch [51.101565480583304]
フリーハンドスケッチにおける自己指導型表現学習の課題に対処する。
自己教師型学習パラダイムの成功の鍵は、スケッチ固有の設計にある。
提案手法は最先端の教師なし表現学習法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-02-03T16:28:29Z) - SketchDesc: Learning Local Sketch Descriptors for Multi-view
Correspondence [68.63311821718416]
我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。
異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。
我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
論文 参考訳（メタデータ） (2020-01-16T11:31:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。