論文の概要: Sketching without Worrying: Noise-Tolerant Sketch-Based Image Retrieval

• arxiv url: http://arxiv.org/abs/2203.14817v1
• Date: Mon, 28 Mar 2022 14:55:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 20:42:02.639381
• Title: Sketching without Worrying: Noise-Tolerant Sketch-Based Image Retrieval
• Title（参考訳）: 心配せずにスケッチする: ノイズ耐性のあるスケッチに基づく画像検索
• Authors: Ayan Kumar Bhunia and Subhadeep Koley and Abdullah Faiz Ur Rahman Khilji and Aneeshan Sain and Pinaki Nath Chowdhury and Tao Xiang and Yi-Zhe Song
• Abstract要約: 恐怖とスケッチの問題(つまり「私はスケッチできない」)は広く採用されていることで致命的であることが証明されている。 本稿では,この「偽」の見出しに取り組み,既存の検索モデルのための補助モジュールを初めて提案する。
• 参考スコア（独自算出の注目度）: 103.84923197609513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sketching enables many exciting applications, notably, image retrieval. The fear-to-sketch problem (i.e., "I can't sketch") has however proven to be fatal for its widespread adoption. This paper tackles this "fear" head on, and for the first time, proposes an auxiliary module for existing retrieval models that predominantly lets the users sketch without having to worry. We first conducted a pilot study that revealed the secret lies in the existence of noisy strokes, but not so much of the "I can't sketch". We consequently design a stroke subset selector that {detects noisy strokes, leaving only those} which make a positive contribution towards successful retrieval. Our Reinforcement Learning based formulation quantifies the importance of each stroke present in a given subset, based on the extent to which that stroke contributes to retrieval. When combined with pre-trained retrieval models as a pre-processing module, we achieve a significant gain of 8%-10% over standard baselines and in turn report new state-of-the-art performance. Last but not least, we demonstrate the selector once trained, can also be used in a plug-and-play manner to empower various sketch applications in ways that were not previously possible.
• Abstract（参考訳）: スケッチによって多くのエキサイティングなアプリケーション、特に画像検索が可能になる。 しかし、恐怖からスケッチへの問題(すなわち「スケッチできない」)は、その普及によって致命的であることが証明されている。 本稿では,この「恐ろしい」見出しに取り組み,ユーザが心配せずにスケッチできる既存の検索モデルのための補助モジュールを初めて提案する。 我々は最初に、ノイズストロークの存在に秘密があることを示すパイロット実験を行ったが、「私はスケッチできない」というほどではなかった。 そこで我々は,検索に肯定的な寄与をもたらすノイズストロークのみを検出可能なストロークサブセットセレクタを設計した。 強化学習に基づく定式化は,与えられた部分集合に存在する各ストロークの重要性を,そのストロークが検索にどの程度寄与するかに基づいて定量化する。 事前学習した検索モデルを前処理モジュールとして組み合わせることで,標準ベースラインよりも8%～10%の大幅な向上を実現し,新たな最先端性能を報告した。 最後に、一度トレーニングされたセレクタをプラグイン・アンド・プレイ方式で使用して、以前は不可能だった方法で様々なスケッチアプリケーションを強化することを実証する。

関連論文リスト

• Active Learning for Fine-Grained Sketch-Based Image Retrieval [1.994307489466967]
  フリーハンドスケッチによる写真検索能力は、きめ細かなスケッチベース画像検索(FG-SBIR)の可能性を強調している。 本稿では,写真スケッチ作成の必要性を大幅に軽減する,新しい能動的学習サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T20:07:14Z)
• What Can Human Sketches Do for Object Detection? [127.67444974452411]
  スケッチは非常に表現力が高く、本質的に主観的かつきめ細かい視覚的手がかりを捉えている。 スケッチ可能なオブジェクト検出フレームワークは、 textityou sketch -- textit that zebra' に基づいて検出する。 スケッチベース画像検索(SBIR)のために構築された基礎モデル(例えばCLIP)と既存のスケッチモデルとの直感的な相乗効果を示す。 特に、まず、エンコーダモデルの両方のスケッチブランチで独立に実行し、高度に一般化可能なスケッチとフォトエンコーダを構築する。
  論文  参考訳（メタデータ） (2023-03-27T12:33:23Z)
• Sketch2Saliency: Learning to Detect Salient Objects from Human Drawings [99.9788496281408]
  本研究では,スケッチを弱いラベルとして使用して,画像中の有能な物体を検出する方法について検討する。 これを実現するために,与えられた視覚写真に対応する逐次スケッチ座標を生成することを目的としたフォト・ツー・スケッチ生成モデルを提案する。 テストは、私たちの仮説を証明し、スケッチベースの唾液度検出モデルが、最先端技術と比較して、競争力のあるパフォーマンスを提供する方法を明確にします。
  論文  参考訳（メタデータ） (2023-03-20T23:46:46Z)
• Sketch Less Face Image Retrieval: A New Challenge [9.703239229149261]
  完全な顔のスケッチを描くには、しばしばスキルと時間が必要です。 そこで本研究では,各ストロークで顔画像検索を行い,ストロークの少ない部分スケッチを用いて対象の顔写真を検索することを目的とした,スケッチ少ない顔画像検索(SLFIR)を提案する。 実験は、新しいフレームワークが部分的またはプール描画スケッチを使用して検索を終了できることを示している。
  論文  参考訳（メタデータ） (2023-02-11T02:36:00Z)
• Sketch3T: Test-Time Training for Zero-Shot SBIR [106.59164595640704]
  ゼロショットのスケッチに基づく画像検索は、通常、未確認のカテゴリのように訓練されたモデルを適用するように要求する。 我々は、ZS-SBIRを拡張して、両方のカテゴリとスケッチ分布に転送するよう求めます。 私たちの重要な貢献は、ひとつのスケッチを使って適応できるテスト時のトレーニングパラダイムです。
  論文  参考訳（メタデータ） (2022-03-28T12:44:49Z)
• Deep Reinforced Attention Regression for Partial Sketch Based Image Retrieval [6.7667046211131066]
  Fine-Grained Sketch-Based Image Retrieval (FG-SBIR)は、クエリスケッチを与えられた大きなギャラリーから特定の画像を見つけることを目的としている。 既存のアプローチは、スケッチで不要なストロークのような外部ノイズに敏感でありながら、依然として低い精度で悩まされている。 本稿では,一意に設計された深部強化学習モデルを用いて,部分スケッチトレーニングと注意領域選択に対処する2段階探索を行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-21T23:12:51Z)
• Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image Retrieval [203.2520862597357]
  きめ細かいスケッチベースの画像検索(FG-SBIR)は、ユーザのクエリのスケッチから特定の写真インスタンスを検索する問題に対処する。 これらの課題に対処するため、従来のFG-SBIRフレームワークを再構築する。 ユーザが絵を描き始めるとすぐに検索を開始できるオンザフライ設計を提案する。
  論文  参考訳（メタデータ） (2020-02-24T15:36:02Z)
• Deep Self-Supervised Representation Learning for Free-Hand Sketch [51.101565480583304]
  フリーハンドスケッチにおける自己指導型表現学習の課題に対処する。 自己教師型学習パラダイムの成功の鍵は、スケッチ固有の設計にある。 提案手法は最先端の教師なし表現学習法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-03T16:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。