論文の概要: Distribution Aligned Feature Clustering for Zero-Shot Sketch-Based Image
Retrieval
- arxiv url: http://arxiv.org/abs/2301.06685v1
- Date: Tue, 17 Jan 2023 03:58:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-18 14:56:33.752123
- Title: Distribution Aligned Feature Clustering for Zero-Shot Sketch-Based Image
Retrieval
- Title（参考訳）: ゼロショットスケッチに基づく画像検索のための配向特徴クラスタリング
- Authors: Yuchen Wu, Kun Song, Fangzheng Zhao, Jiansheng Chen, Huimin Ma
- Abstract要約: 本稿では,ギャラリー画像機能の利用という新たな視点から,課題に取り組む。
本稿では,ギャラリー画像上でクラスタリングを行うクラスタ-then-Retrieve (ClusterRetri)法を提案し,クラスタ・セントロイドをプロキシとして利用した。
その単純さにもかかわらず、提案手法は一般的なデータセットに対して高いマージンで最先端の手法より優れている。
- 参考スコア（独自算出の注目度）: 18.81230334624234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Zero-Shot Sketch-Based Image Retrieval (ZS-SBIR) is a challenging cross-modal
retrieval task. In prior arts, the retrieval is conducted by sorting the
distance between the query sketch and each image in the gallery. However, the
domain gap and the zero-shot setting make neural networks hard to generalize.
This paper tackles the challenges from a new perspective: utilizing gallery
image features. We propose a Cluster-then-Retrieve (ClusterRetri) method that
performs clustering on the gallery images and uses the cluster centroids as
proxies for retrieval. Furthermore, a distribution alignment loss is proposed
to align the image and sketch features with a common Gaussian distribution,
reducing the domain gap. Despite its simplicity, our proposed method
outperforms the state-of-the-art methods by a large margin on popular datasets,
e.g., up to 31% and 39% relative improvement of mAP@all on the Sketchy and
TU-Berlin datasets.
- Abstract（参考訳）: Zero-Shot Sketch-Based Image Retrieval (ZS-SBIR)は、クロスモーダル検索の課題である。
先行技術では、問合せスケッチとギャラリー内の各画像との間の距離をソートして検索を行う。
しかし、ドメインギャップとゼロショット設定により、ニューラルネットワークの一般化が困難になる。
本稿では,ギャラリー画像機能の利用という新たな視点から課題に取り組む。
本稿では,ギャラリーイメージ上でクラスタリングを行い,クラスタセンタを検索のプロキシとして使用するクラスタレトリーブ(clusterretri)手法を提案する。
さらに,画像とスケッチの特徴を共通のガウス分布にアライメントするために分布アライメント損失を提案し,領域ギャップを低減した。
その単純さにもかかわらず、提案手法は、一般的なデータセット、例えばSketchyおよびTU-BerlinデータセットにおけるmAP@allの31%と39%の相対的な改善において、最先端の手法よりも優れている。
関連論文リスト
- Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval [85.39613457282107]
スケッチに基づく画像検索のクロスドメイン性は困難である。
重要な課題に対処する効果的なAdaptとAlignのアプローチを提案する。
ゼロショットシナリオにおける画像テキスト基盤モデル(例えばCLIP)の最近の進歩に触発されて、学習したイメージの埋め込みを、より意味的なテキスト埋め込みと明確に整合させ、見知らぬクラスから見つからないクラスへの所望の知識伝達を実現する。
論文 参考訳（メタデータ） (2023-05-09T03:10:15Z) - DCN-T: Dual Context Network with Transformer for Hyperspectral Image
Classification [109.09061514799413]
複雑な撮像条件による空間変動のため,HSI分類は困難である。
本稿では,HSIを高品質な三スペクトル画像に変換する三スペクトル画像生成パイプラインを提案する。
提案手法は,HSI分類における最先端手法よりも優れている。
論文 参考訳（メタデータ） (2023-04-19T18:32:52Z) - Semantic-Enhanced Image Clustering [6.218389227248297]
本稿では,視覚言語事前学習モデルの助けを借りて,画像クラスタリングの課題について検討する。
イメージを適切なセマンティック空間にマップする方法と、イメージとセマンティック空間の両方からイメージをクラスタリングする方法は、2つの重要な問題である。
本稿では,与えられた画像を適切な意味空間にマッピングする手法を提案し,画像と意味論の関係に応じて擬似ラベルを生成する。
論文 参考訳（メタデータ） (2022-08-21T09:04:21Z) - BDA-SketRet: Bi-Level Domain Adaptation for Zero-Shot SBIR [52.78253400327191]
BDA-SketRetは、視覚データペアの空間的特徴と意味的特徴を整合させるために、バイレベルドメイン適応を実行する新しいフレームワークである。
拡張されたSketchy、TU-Berlin、QuickDrawの実験結果は、文献よりも大幅に改善された。
論文 参考訳（メタデータ） (2022-01-17T18:45:55Z) - ACNet: Approaching-and-Centralizing Network for Zero-Shot Sketch-Based
Image Retrieval [28.022137537238425]
textbfApproaching-and-textbfCentralizing textbfACNetwork (termed textbfACNet'')を提案する。
検索モジュールは合成モジュールをガイドし、写真ドメインに徐々に接近する多彩な写真ライクな画像を生成する。
提案手法は、広く使われている2つのZS-SBIRデータセットの最先端性能を達成し、従来手法をはるかに上回っている。
論文 参考訳（メタデータ） (2021-11-24T19:36:10Z) - Clustering by Maximizing Mutual Information Across Views [62.21716612888669]
本稿では,共同表現学習とクラスタリングを組み合わせた画像クラスタリングのための新しいフレームワークを提案する。
提案手法は,様々な画像データセットにおける最先端の単一ステージクラスタリング手法よりも優れていた。
論文 参考訳（メタデータ） (2021-07-24T15:36:49Z) - Domain-Smoothing Network for Zero-Shot Sketch-Based Image Retrieval [66.37346493506737]
Zero-Shot Sketch-Based Image Retrieval (ZS-SBIR) は、新しいクロスモーダル検索タスクである。
ZS-SBIRのための新しいドメイン・スムーシング・ネットワーク(DSN)を提案する。
我々のアプローチは、SketchyとTU-Berlinの両方のデータセットで最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2021-06-22T14:58:08Z) - Reconciliation of Statistical and Spatial Sparsity For Robust Image and
Image-Set Classification [27.319334479994787]
分類のための画像や画像セットデータをモデル化するために,textitJ3Sと呼ばれる新しい統計空間スパース表現を提案する。
本稿では,J3Sモデルに基づく結合スパース符号化問題の解法を提案する。
実験の結果,提案手法はFMD, UIUC, ETH-80, YTCデータベース上での競合手法よりも高い性能を示した。
論文 参考訳（メタデータ） (2021-06-01T06:33:24Z) - CrossATNet - A Novel Cross-Attention Based Framework for Sketch-Based
Image Retrieval [30.249581102239645]
スケッチベース画像検索(SBIR)の文脈におけるZSL(クロスモーダル・ゼロショット・ラーニング)のための新しいフレームワークを提案する。
共有空間の識別性を確保するためにクロスモーダル三重項損失を定義する一方で、画像領域から特徴抽出を導くための革新的なクロスモーダル注意学習戦略も提案されている。
論文 参考訳（メタデータ） (2021-04-20T12:11:12Z) - Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based
Image Retrieval [55.29233996427243]
ローショットスケッチに基づく画像検索はコンピュータビジョンの新たな課題である。
本稿では,ゼロショットおよび少数ショットのスケッチベース画像検索(SBIR)タスクについて述べる。
これらの課題を解決するために,SEM-PCYC(SEM-PCYC)を提案する。
以上の結果から,Sketchy,TU-Berlin,QuickDrawのデータセットを拡張したバージョンでは,最先端の撮影性能が大幅に向上した。
論文 参考訳（メタデータ） (2020-06-20T22:43:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。