論文の概要: Towards Unsupervised Sketch-based Image Retrieval

• arxiv url: http://arxiv.org/abs/2105.08237v1
• Date: Tue, 18 May 2021 02:38:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-19 13:59:31.592297
• Title: Towards Unsupervised Sketch-based Image Retrieval
• Title（参考訳）: 教師なしスケッチに基づく画像検索に向けて
• Authors: Conghui Hu, Yongxin Yang, Yunpeng Li, Timothy M. Hospedales, Yi-Zhe Song
• Abstract要約: 本稿では,教師なし表現学習とスケッチ写真領域アライメントを同時に行う新しいフレームワークを提案する。 このフレームワークは,新しい教師なし設定では優れた性能を達成し,ゼロショット設定では最先端以上の性能を発揮する。
• 参考スコア（独自算出の注目度）: 126.77787336692802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current supervised sketch-based image retrieval (SBIR) methods achieve excellent performance. However, the cost of data collection and labeling imposes an intractable barrier to practical deployment of real applications. In this paper, we present the first attempt at unsupervised SBIR to remove the labeling cost (category annotations and sketch-photo pairings) that is conventionally needed for training. Existing single-domain unsupervised representation learning methods perform poorly in this application, due to the unique cross-domain (sketch and photo) nature of the problem. We therefore introduce a novel framework that simultaneously performs unsupervised representation learning and sketch-photo domain alignment. Technically this is underpinned by exploiting joint distribution optimal transport (JDOT) to align data from different domains during representation learning, which we extend with trainable cluster prototypes and feature memory banks to further improve scalability and efficacy. Extensive experiments show that our framework achieves excellent performance in the new unsupervised setting, and performs comparably or better than state-of-the-art in the zero-shot setting.
• Abstract（参考訳）: 現在の教師付きスケッチベース画像検索(SBIR)は優れた性能を発揮する。 しかし、データ収集とラベリングのコストは、実際のアプリケーションの実用的なデプロイに対する難解な障壁を伴います。 本稿では,従来訓練に必要であったラベル付けコスト(カテゴリアノテーションとスケッチ写真ペアリング)を取り除くための教師なしsbirの最初の試みについて述べる。 既存の単一ドメインの教師なし表現学習手法は、この問題のユニークなクロスドメイン性(スケッチとフォト)のため、このアプリケーションでは性能が悪い。 そこで我々は,教師なし表現学習とスケッチ写真領域アライメントを同時に行う新しい枠組みを提案する。 技術的には、これは関節分布最適輸送(JDOT)を利用して表現学習中に異なる領域からのデータを整列させ、トレーニング可能なクラスタプロトタイプと機能記憶バンクで拡張し、スケーラビリティと効率をさらに向上させます。 広範な実験により,新しい教師なし設定では優れた性能を達成し,ゼロショット設定では最先端よりも優れた性能を示すことができた。

関連論文リスト

• Towards Self-Supervised FG-SBIR with Unified Sample Feature Alignment and Multi-Scale Token Recycling [11.129453244307369]
  FG-SBIRは、埋め込み空間におけるスケッチと対応する画像の距離を最小化することを目的としている。 両領域間のギャップを狭める効果的なアプローチを提案する。 主に、イントラサンプルとインターサンプルの両方を共有する統一的な相互情報共有を促進する。
  論文  参考訳（メタデータ） (2024-06-17T13:49:12Z)
• Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based Image Retrieval [69.46139774646308]
  本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。 目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。 ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
  論文  参考訳（メタデータ） (2023-12-16T04:50:34Z)
• Active Learning for Fine-Grained Sketch-Based Image Retrieval [1.994307489466967]
  フリーハンドスケッチによる写真検索能力は、きめ細かなスケッチベース画像検索(FG-SBIR)の可能性を強調している。 本稿では,写真スケッチ作成の必要性を大幅に軽減する,新しい能動的学習サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T20:07:14Z)
• Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval [85.39613457282107]
  スケッチに基づく画像検索のクロスドメイン性は困難である。 重要な課題に対処する効果的なAdaptとAlignのアプローチを提案する。 ゼロショットシナリオにおける画像テキスト基盤モデル(例えばCLIP)の最近の進歩に触発されて、学習したイメージの埋め込みを、より意味的なテキスト埋め込みと明確に整合させ、見知らぬクラスから見つからないクラスへの所望の知識伝達を実現する。
  論文  参考訳（メタデータ） (2023-05-09T03:10:15Z)
• Cross-domain Few-shot Segmentation with Transductive Fine-tuning [29.81009103722184]
  本稿では,数ショットの条件下でのクエリ画像の集合に基づいて,ベースモデルをトランスダクティブに微調整することを提案する。 提案手法は,すべてのクロスドメインタスクにおいて,FSSモデルの性能を一貫して,かつ著しく向上させることができる。
  論文  参考訳（メタデータ） (2022-11-27T06:44:41Z)
• Feature Representation Learning for Unsupervised Cross-domain Image Retrieval [73.3152060987961]
  現在の教師付きクロスドメイン画像検索法は優れた性能が得られる。 データ収集とラベリングのコストは、実際のアプリケーションにおける実践的なデプロイにおいて、難易度の高い障壁を課します。 本稿では,クラス意味認識機能抽出を支援するために,クラスタ単位のコントラスト学習機構を提案する。
  論文  参考訳（メタデータ） (2022-07-20T07:52:14Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)
• ACNet: Approaching-and-Centralizing Network for Zero-Shot Sketch-Based Image Retrieval [28.022137537238425]
  textbfApproaching-and-textbfCentralizing textbfACNetwork (termed textbfACNet'')を提案する。 検索モジュールは合成モジュールをガイドし、写真ドメインに徐々に接近する多彩な写真ライクな画像を生成する。 提案手法は、広く使われている2つのZS-SBIRデータセットの最先端性能を達成し、従来手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-24T19:36:10Z)
• More Photos are All You Need: Semi-Supervised Learning for Fine-Grained Sketch Based Image Retrieval [112.1756171062067]
  クロスモーダル検索のための新しい半監視フレームワークについて紹介する。 私たちの設計の中心には、連続したフォトツースケッチ生成モデルがあります。 また,不適切な生成を誘導する判別器誘導機構も導入する。
  論文  参考訳（メタデータ） (2021-03-25T17:27:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。