論文の概要: Active Learning for Fine-Grained Sketch-Based Image Retrieval

• arxiv url: http://arxiv.org/abs/2309.08743v1
• Date: Fri, 15 Sep 2023 20:07:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 19:45:47.872314
• Title: Active Learning for Fine-Grained Sketch-Based Image Retrieval
• Title（参考訳）: 微細スケッチ画像検索のためのアクティブラーニング
• Authors: Himanshu Thakur, Soumitri Chattopadhyay
• Abstract要約: フリーハンドスケッチによる写真検索能力は、きめ細かなスケッチベース画像検索(FG-SBIR)の可能性を強調している。 本稿では,写真スケッチ作成の必要性を大幅に軽減する,新しい能動的学習サンプリング手法を提案する。
• 参考スコア（独自算出の注目度）: 1.994307489466967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to retrieve a photo by mere free-hand sketching highlights the immense potential of Fine-grained sketch-based image retrieval (FG-SBIR). However, its rapid practical adoption, as well as scalability, is limited by the expense of acquiring faithful sketches for easily available photo counterparts. A solution to this problem is Active Learning, which could minimise the need for labeled sketches while maximising performance. Despite extensive studies in the field, there exists no work that utilises it for reducing sketching effort in FG-SBIR tasks. To this end, we propose a novel active learning sampling technique that drastically minimises the need for drawing photo sketches. Our proposed approach tackles the trade-off between uncertainty and diversity by utilising the relationship between the existing photo-sketch pair to a photo that does not have its sketch and augmenting this relation with its intermediate representations. Since our approach relies only on the underlying data distribution, it is agnostic of the modelling approach and hence is applicable to other cross-modal instance-level retrieval tasks as well. With experimentation over two publicly available fine-grained SBIR datasets ChairV2 and ShoeV2, we validate our approach and reveal its superiority over adapted baselines.
• Abstract（参考訳）: フリーハンドスケッチで写真を取得する能力は、きめ細かなスケッチベース画像検索(FG-SBIR)の潜在可能性を強調している。 しかし、その急速な実践的採用とスケーラビリティは、簡単に手に入る写真のために忠実なスケッチを取得するコストによって制限されている。 この問題の解決策はActive Learningであり、パフォーマンスを最大化しながらラベル付きスケッチの必要性を最小限に抑えることができる。 この分野での広範な研究にもかかわらず、FG-SBIRタスクのスケッチ作業を減らすためにそれを利用する研究は存在しない。 そこで本研究では,写真スケッチの描画の必要性を極端に軽減する新しいアクティブラーニングサンプリング手法を提案する。 提案手法は,既存のフォトスケッチ対とスケッチを持たない写真との関係を利用して不確実性と多様性のトレードオフを解消し,その中間表現との関係を補強するものである。 提案手法は基礎となるデータ分布にのみ依存するため,モデリング手法に依存しないため,他のモーダルなインスタンスレベルの検索タスクにも適用可能である。 sbirデータセットである chairv2 と shoev2 を2つ公開して実験した結果,本手法の有効性を確認し,適応ベースラインよりもその優越性を明らかにする。

関連論文リスト

• Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based Image Retrieval [69.46139774646308]
  本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。 目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。 ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
  論文  参考訳（メタデータ） (2023-12-16T04:50:34Z)
• Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval [85.39613457282107]
  スケッチに基づく画像検索のクロスドメイン性は困難である。 重要な課題に対処する効果的なAdaptとAlignのアプローチを提案する。 ゼロショットシナリオにおける画像テキスト基盤モデル(例えばCLIP)の最近の進歩に触発されて、学習したイメージの埋め込みを、より意味的なテキスト埋め込みと明確に整合させ、見知らぬクラスから見つからないクラスへの所望の知識伝達を実現する。
  論文  参考訳（メタデータ） (2023-05-09T03:10:15Z)
• ACNet: Approaching-and-Centralizing Network for Zero-Shot Sketch-Based Image Retrieval [28.022137537238425]
  textbfApproaching-and-textbfCentralizing textbfACNetwork (termed textbfACNet'')を提案する。 検索モジュールは合成モジュールをガイドし、写真ドメインに徐々に接近する多彩な写真ライクな画像を生成する。 提案手法は、広く使われている2つのZS-SBIRデータセットの最先端性能を達成し、従来手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-24T19:36:10Z)
• Domain-Smoothing Network for Zero-Shot Sketch-Based Image Retrieval [66.37346493506737]
  Zero-Shot Sketch-Based Image Retrieval (ZS-SBIR) は、新しいクロスモーダル検索タスクである。 ZS-SBIRのための新しいドメイン・スムーシング・ネットワーク(DSN)を提案する。 我々のアプローチは、SketchyとTU-Berlinの両方のデータセットで最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-06-22T14:58:08Z)
• Towards Unsupervised Sketch-based Image Retrieval [126.77787336692802]
  本稿では,教師なし表現学習とスケッチ写真領域アライメントを同時に行う新しいフレームワークを提案する。 このフレームワークは,新しい教師なし設定では優れた性能を達成し,ゼロショット設定では最先端以上の性能を発揮する。
  論文  参考訳（メタデータ） (2021-05-18T02:38:22Z)
• More Photos are All You Need: Semi-Supervised Learning for Fine-Grained Sketch Based Image Retrieval [112.1756171062067]
  クロスモーダル検索のための新しい半監視フレームワークについて紹介する。 私たちの設計の中心には、連続したフォトツースケッチ生成モデルがあります。 また,不適切な生成を誘導する判別器誘導機構も導入する。
  論文  参考訳（メタデータ） (2021-03-25T17:27:08Z)
• Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image Retrieval [203.2520862597357]
  きめ細かいスケッチベースの画像検索(FG-SBIR)は、ユーザのクエリのスケッチから特定の写真インスタンスを検索する問題に対処する。 これらの課題に対処するため、従来のFG-SBIRフレームワークを再構築する。 ユーザが絵を描き始めるとすぐに検索を開始できるオンザフライ設計を提案する。
  論文  参考訳（メタデータ） (2020-02-24T15:36:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。