論文の概要: ACNet: Approaching-and-Centralizing Network for Zero-Shot Sketch-Based
Image Retrieval
- arxiv url: http://arxiv.org/abs/2111.12757v1
- Date: Wed, 24 Nov 2021 19:36:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-05 04:59:28.030041
- Title: ACNet: Approaching-and-Centralizing Network for Zero-Shot Sketch-Based
Image Retrieval
- Title（参考訳）: ACNet:ゼロショット画像検索のためのアプローチと中心化ネットワーク
- Authors: Hao Ren, Ziqiang Zheng, Yang Wu, Hong Lu, Yang Yang, Sai-Kit Yeung
- Abstract要約: textbfApproaching-and-textbfCentralizing textbfACNetwork (termed textbfACNet'')を提案する。
検索モジュールは合成モジュールをガイドし、写真ドメインに徐々に接近する多彩な写真ライクな画像を生成する。
提案手法は、広く使われている2つのZS-SBIRデータセットの最先端性能を達成し、従来手法をはるかに上回っている。
- 参考スコア（独自算出の注目度）: 28.022137537238425
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The huge domain gap between sketches and photos and the highly abstract
sketch representations pose challenges for sketch-based image retrieval
(\underline{SBIR}). The zero-shot sketch-based image retrieval
(\underline{ZS-SBIR}) is more generic and practical but poses an even greater
challenge because of the additional knowledge gap between the seen and unseen
categories. To simultaneously mitigate both gaps, we propose an
\textbf{A}pproaching-and-\textbf{C}entralizing \textbf{Net}work (termed
``\textbf{ACNet}'') to jointly optimize sketch-to-photo synthesis and the image
retrieval. The retrieval module guides the synthesis module to generate large
amounts of diverse photo-like images which gradually approach the photo domain,
and thus better serve the retrieval module than ever to learn domain-agnostic
representations and category-agnostic common knowledge for generalizing to
unseen categories. These diverse images generated with retrieval guidance can
effectively alleviate the overfitting problem troubling concrete
category-specific training samples with high gradients. We also discover the
use of proxy-based NormSoftmax loss is effective in the zero-shot setting
because its centralizing effect can stabilize our joint training and promote
the generalization ability to unseen categories. Our approach is simple yet
effective, which achieves state-of-the-art performance on two widely used
ZS-SBIR datasets and surpasses previous methods by a large margin.
- Abstract（参考訳）: スケッチと写真の間の大きなドメインギャップと高度に抽象的なスケッチ表現は、スケッチベースの画像検索(\underline{SBIR})に課題をもたらす。
ゼロショットスケッチに基づく画像検索(\underline{ZS-SBIR})はより汎用的で実用的であるが、見知らぬカテゴリと見つからないカテゴリの間に追加の知識ギャップがあるため、さらに大きな課題となる。
両者のギャップを緩和するために, スケッチから写真への合成と画像検索を共同で最適化する \textbf{a}pproaching-and-\textbf{c}entralizing \textbf{net}work (``\textbf{acnet}'') を提案する。
検索モジュールは、合成モジュールを誘導して、写真領域に徐々に近づく多彩な写真ライクな画像を大量に生成し、ドメイン非依存表現やカテゴリ非依存の共通知識を学習し、未知のカテゴリに一般化する。
これらの多種多様な画像は,高勾配の具体的カテゴリー別トレーニングサンプルの過剰フィッティング問題を効果的に軽減することができる。
また,その集中化効果が共同トレーニングを安定化させ,カテゴリを認識できない一般化能力を促進するため,ゼロショット設定において,プロキシベースのノルムソフトマックス損失の利用が有効であることを発見した。
我々の手法は単純だが有効であり、広く使われている2つのZS-SBIRデータセットの最先端性能を実現し、従来の手法をはるかに上回っている。
関連論文リスト
- Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based
Image Retrieval [69.46139774646308]
本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。
目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。
ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
論文 参考訳（メタデータ） (2023-12-16T04:50:34Z) - Coarse-to-Fine: Learning Compact Discriminative Representation for
Single-Stage Image Retrieval [11.696941841000985]
検索と参照のパラダイムに従う2段階の手法は優れた性能を達成しているが、それぞれのローカルモジュールとグローバルモジュールは現実世界のアプリケーションでは非効率である。
本稿では,重要な局所記述子を注意深く選択し,大域的な表現に微粒な意味関係を注入する機構を提案する。
提案手法は,Revisited OxfordやRevisited Parisなどのベンチマークを用いて,最先端の単一ステージ画像検索性能を実現する。
論文 参考訳（メタデータ） (2023-08-08T03:06:10Z) - Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval [85.39613457282107]
スケッチに基づく画像検索のクロスドメイン性は困難である。
重要な課題に対処する効果的なAdaptとAlignのアプローチを提案する。
ゼロショットシナリオにおける画像テキスト基盤モデル(例えばCLIP)の最近の進歩に触発されて、学習したイメージの埋め込みを、より意味的なテキスト埋め込みと明確に整合させ、見知らぬクラスから見つからないクラスへの所望の知識伝達を実現する。
論文 参考訳（メタデータ） (2023-05-09T03:10:15Z) - Distribution Aligned Feature Clustering for Zero-Shot Sketch-Based Image
Retrieval [18.81230334624234]
本稿では,ギャラリー画像機能の利用という新たな視点から,課題に取り組む。
本稿では,ギャラリー画像上でクラスタリングを行うクラスタ-then-Retrieve (ClusterRetri)法を提案し,クラスタ・セントロイドをプロキシとして利用した。
その単純さにもかかわらず、提案手法は一般的なデータセットに対して高いマージンで最先端の手法より優れている。
論文 参考訳（メタデータ） (2023-01-17T03:58:12Z) - Domain-Smoothing Network for Zero-Shot Sketch-Based Image Retrieval [66.37346493506737]
Zero-Shot Sketch-Based Image Retrieval (ZS-SBIR) は、新しいクロスモーダル検索タスクである。
ZS-SBIRのための新しいドメイン・スムーシング・ネットワーク(DSN)を提案する。
我々のアプローチは、SketchyとTU-Berlinの両方のデータセットで最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2021-06-22T14:58:08Z) - Towards Unsupervised Sketch-based Image Retrieval [126.77787336692802]
本稿では,教師なし表現学習とスケッチ写真領域アライメントを同時に行う新しいフレームワークを提案する。
このフレームワークは,新しい教師なし設定では優れた性能を達成し,ゼロショット設定では最先端以上の性能を発揮する。
論文 参考訳（メタデータ） (2021-05-18T02:38:22Z) - More Photos are All You Need: Semi-Supervised Learning for Fine-Grained
Sketch Based Image Retrieval [112.1756171062067]
クロスモーダル検索のための新しい半監視フレームワークについて紹介する。
私たちの設計の中心には、連続したフォトツースケッチ生成モデルがあります。
また,不適切な生成を誘導する判別器誘導機構も導入する。
論文 参考訳（メタデータ） (2021-03-25T17:27:08Z) - The Power of Triply Complementary Priors for Image Compressive Sensing [89.14144796591685]
本稿では,一対の相補的な旅先を含むLRD画像モデルを提案する。
次に、画像CSのためのRDモデルに基づく新しいハイブリッド・プラグイン・アンド・プレイ・フレームワークを提案する。
そこで,提案したH-based image CS問題の解法として,単純で効果的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-05-16T08:17:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。