論文の概要: Deep Reinforced Attention Regression for Partial Sketch Based Image Retrieval

• arxiv url: http://arxiv.org/abs/2111.10917v1
• Date: Sun, 21 Nov 2021 23:12:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-23 14:53:15.786904
• Title: Deep Reinforced Attention Regression for Partial Sketch Based Image Retrieval
• Title（参考訳）: 部分的スケッチに基づく画像検索のための奥行き強化注意回帰
• Authors: Dingrong Wang, Hitesh Sapkota, Xumin Liu, Qi Yu
• Abstract要約: Fine-Grained Sketch-Based Image Retrieval (FG-SBIR)は、クエリスケッチを与えられた大きなギャラリーから特定の画像を見つけることを目的としている。 既存のアプローチは、スケッチで不要なストロークのような外部ノイズに敏感でありながら、依然として低い精度で悩まされている。 本稿では,一意に設計された深部強化学習モデルを用いて,部分スケッチトレーニングと注意領域選択に対処する2段階探索を行うフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.7667046211131066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-Grained Sketch-Based Image Retrieval (FG-SBIR) aims at finding a specific image from a large gallery given a query sketch. Despite the widespread applicability of FG-SBIR in many critical domains (e.g., crime activity tracking), existing approaches still suffer from a low accuracy while being sensitive to external noises such as unnecessary strokes in the sketch. The retrieval performance will further deteriorate under a more practical on-the-fly setting, where only a partially complete sketch with only a few (noisy) strokes are available to retrieve corresponding images. We propose a novel framework that leverages a uniquely designed deep reinforcement learning model that performs a dual-level exploration to deal with partial sketch training and attention region selection. By enforcing the model's attention on the important regions of the original sketches, it remains robust to unnecessary stroke noises and improve the retrieval accuracy by a large margin. To sufficiently explore partial sketches and locate the important regions to attend, the model performs bootstrapped policy gradient for global exploration while adjusting a standard deviation term that governs a locator network for local exploration. The training process is guided by a hybrid loss that integrates a reinforcement loss and a supervised loss. A dynamic ranking reward is developed to fit the on-the-fly image retrieval process using partial sketches. The extensive experimentation performed on three public datasets shows that our proposed approach achieves the state-of-the-art performance on partial sketch based image retrieval.
• Abstract（参考訳）: Fine-Grained Sketch-Based Image Retrieval (FG-SBIR)は、クエリスケッチを与えられた大きなギャラリーから特定の画像を見つけることを目的としている。 多くの重要な領域(例えば犯罪活動追跡)でFG-SBIRが広く適用されているにもかかわらず、既存のアプローチは、スケッチの不要なストロークのような外部ノイズに敏感でありながら、依然として低い精度に悩まされている。 検索性能は、より実用的なオンザフライ設定でさらに劣化し、一部(ノイズの多い)ストロークだけで、対応する画像を取得することができる部分完備スケッチのみとなる。 本稿では,一意に設計された深部強化学習モデルを用いて,部分スケッチトレーニングと注意領域選択に対処する2段階探索を行うフレームワークを提案する。 オリジナルのスケッチの重要な領域にモデルの注意を向けることで、不要なストロークノイズに対して頑健であり、大きなマージンで精度を向上する。 局所的なスケッチを十分に探索し,参加すべき重要な領域を特定するために,局所探索のためのロケータネットワークを管理する標準偏差項を調整しながら,グローバル探索のための自己ストラップ型ポリシー勾配を実行する。 トレーニングプロセスは、強化損失と教師付き損失を統合したハイブリッド損失によってガイドされる。 部分スケッチを用いたオンザフライ画像検索プロセスに適合する動的ランキング報酬を開発する。 3つの公開データセット上で行った広範囲な実験により,提案手法は部分スケッチに基づく画像検索における最先端の性能を実現することを示す。

関連論文リスト

• Active Learning for Fine-Grained Sketch-Based Image Retrieval [1.994307489466967]
  フリーハンドスケッチによる写真検索能力は、きめ細かなスケッチベース画像検索(FG-SBIR)の可能性を強調している。 本稿では,写真スケッチ作成の必要性を大幅に軽減する,新しい能動的学習サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T20:07:14Z)
• Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval [85.39613457282107]
  スケッチに基づく画像検索のクロスドメイン性は困難である。 重要な課題に対処する効果的なAdaptとAlignのアプローチを提案する。 ゼロショットシナリオにおける画像テキスト基盤モデル(例えばCLIP)の最近の進歩に触発されて、学習したイメージの埋め込みを、より意味的なテキスト埋め込みと明確に整合させ、見知らぬクラスから見つからないクラスへの所望の知識伝達を実現する。
  論文  参考訳（メタデータ） (2023-05-09T03:10:15Z)
• Partially Does It: Towards Scene-Level FG-SBIR with Partial Input [106.59164595640704]
  シーンスケッチのかなりの部分は「部分的」である そこで我々は,部分認識方式でクロスモーダル領域アソシエーションをモデル化するためのセットベースアプローチを提案する。 提案手法はシーンスケッチ部分に対して頑健なだけでなく,既存のデータセット上での最先端の性能も向上する。
  論文  参考訳（メタデータ） (2022-03-28T14:44:45Z)
• BDA-SketRet: Bi-Level Domain Adaptation for Zero-Shot SBIR [52.78253400327191]
  BDA-SketRetは、視覚データペアの空間的特徴と意味的特徴を整合させるために、バイレベルドメイン適応を実行する新しいフレームワークである。 拡張されたSketchy、TU-Berlin、QuickDrawの実験結果は、文献よりも大幅に改善された。
  論文  参考訳（メタデータ） (2022-01-17T18:45:55Z)
• ACNet: Approaching-and-Centralizing Network for Zero-Shot Sketch-Based Image Retrieval [28.022137537238425]
  textbfApproaching-and-textbfCentralizing textbfACNetwork (termed textbfACNet'')を提案する。 検索モジュールは合成モジュールをガイドし、写真ドメインに徐々に接近する多彩な写真ライクな画像を生成する。 提案手法は、広く使われている2つのZS-SBIRデータセットの最先端性能を達成し、従来手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-24T19:36:10Z)
• Domain-Smoothing Network for Zero-Shot Sketch-Based Image Retrieval [66.37346493506737]
  Zero-Shot Sketch-Based Image Retrieval (ZS-SBIR) は、新しいクロスモーダル検索タスクである。 ZS-SBIRのための新しいドメイン・スムーシング・ネットワーク(DSN)を提案する。 我々のアプローチは、SketchyとTU-Berlinの両方のデータセットで最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-06-22T14:58:08Z)
• More Photos are All You Need: Semi-Supervised Learning for Fine-Grained Sketch Based Image Retrieval [112.1756171062067]
  クロスモーダル検索のための新しい半監視フレームワークについて紹介する。 私たちの設計の中心には、連続したフォトツースケッチ生成モデルがあります。 また,不適切な生成を誘導する判別器誘導機構も導入する。
  論文  参考訳（メタデータ） (2021-03-25T17:27:08Z)
• Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image Retrieval [203.2520862597357]
  きめ細かいスケッチベースの画像検索(FG-SBIR)は、ユーザのクエリのスケッチから特定の写真インスタンスを検索する問題に対処する。 これらの課題に対処するため、従来のFG-SBIRフレームワークを再構築する。 ユーザが絵を描き始めるとすぐに検索を開始できるオンザフライ設計を提案する。
  論文  参考訳（メタデータ） (2020-02-24T15:36:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。