論文の概要: Multi-granularity Association Learning Framework for on-the-fly Fine-Grained Sketch-based Image Retrieval

• arxiv url: http://arxiv.org/abs/2201.05007v1
• Date: Thu, 13 Jan 2022 14:38:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-14 13:52:27.785289
• Title: Multi-granularity Association Learning Framework for on-the-fly Fine-Grained Sketch-based Image Retrieval
• Title（参考訳）: マルチグラニュラリティアソシエーション学習フレームワークによる細粒度画像検索
• Authors: Dawei Dai, Xiaoyu Tang, Shuyin Xia, Yingge Liu, Guoyin Wang, Zizhong Chen
• Abstract要約: きめ細かいスケッチベース画像検索(FG-SBIR)は、与えられたクエリスケッチで特定の写真を取得する問題に対処する。 本研究では,最小のストローク数で対象写真を検索することを目的とした(不完全スケッチ)。 非完全スケッチの埋め込み空間をさらに最適化する多粒性関連学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.797006835701767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained sketch-based image retrieval (FG-SBIR) addresses the problem of retrieving a particular photo in a given query sketch. However, its widespread applicability is limited by the fact that it is difficult to draw a complete sketch for most people, and the drawing process often takes time. In this study, we aim to retrieve the target photo with the least number of strokes possible (incomplete sketch), named on-the-fly FG-SBIR (Bhunia et al. 2020), which starts retrieving at each stroke as soon as the drawing begins. We consider that there is a significant correlation among these incomplete sketches in the sketch drawing episode of each photo. To learn more efficient joint embedding space shared between the photo and its incomplete sketches, we propose a multi-granularity association learning framework that further optimizes the embedding space of all incomplete sketches. Specifically, based on the integrity of the sketch, we can divide a complete sketch episode into several stages, each of which corresponds to a simple linear mapping layer. Moreover, our framework guides the vector space representation of the current sketch to approximate that of its later sketches to realize the retrieval performance of the sketch with fewer strokes to approach that of the sketch with more strokes. In the experiments, we proposed more realistic challenges, and our method achieved superior early retrieval efficiency over the state-of-the-art methods and alternative baselines on two publicly available fine-grained sketch retrieval datasets.
• Abstract（参考訳）: きめ細かいスケッチベース画像検索(FG-SBIR)は、与えられたクエリスケッチで特定の写真を取得する問題に対処する。 しかし、ほとんどの人には完全なスケッチを描くのが難しいため、適用範囲は限られており、描画には時間がかかることが多い。 本研究では,FG-SBIR (Bhunia et al. 2020) と命名された,最小ストローク数(不完全スケッチ)で対象写真を検索し,描画開始と同時に各ストロークで検索を開始することを目的とする。 各写真のスケッチ描画エピソードにおいて,これらの不完全なスケッチには有意な相関があると考えられる。 写真と不完全スケッチ間で共有されるより効率的な共同埋め込み空間を学習するために,不完全スケッチの埋め込み空間をさらに最適化する多粒度関連学習フレームワークを提案する。 具体的には、スケッチの完全性に基づいて、完全なスケッチエピソードをいくつかのステージに分割し、それぞれが単純な線形マッピング層に対応する。 さらに,現在のスケッチのベクトル空間表現をガイドし,後のスケッチを近似し,スケッチの検索性能を少ないストロークで実現し,より多くのストロークでスケッチに接近する。 実験では,より現実的な課題を提案し,公開きめ細粒度スケッチ検索データセットにおいて,最先端手法や代替ベースラインよりも優れた早期検索効率を実現した。

関連論文リスト

• SketchTriplet: Self-Supervised Scenarized Sketch-Text-Image Triplet Generation [6.39528707908268]
  シーンスケッチ用の大規模なペアデータセットは引き続き欠如している。 本稿では,既存のシーンスケッチに依存しないシーンスケッチ生成のための自己教師型手法を提案する。 シーンスケッチを中心にした大規模なデータセットをコントリビュートし、セマンティックに一貫した「テキスト・スケッチ・イメージ」三つ子を含む。
  論文  参考訳（メタデータ） (2024-05-29T06:43:49Z)
• Picture that Sketch: Photorealistic Image Generation from Abstract Sketches [109.69076457732632]
  この論文は、あなたや私のような訓練を受けていないアマチュアの抽象的で変形した普通のスケッチから、それをフォトリアリスティックなイメージに変えます。 まず、エッジマップのようなスケッチを指示するのではなく、抽象的なフリーハンドな人間のスケッチで作業することを目指しています。 そうすることで、スケッチから写真までのパイプラインを民主化し、スケッチがどれだけよいかに関わらず、スケッチを"写真化"します。
  論文  参考訳（メタデータ） (2023-03-20T14:49:03Z)
• Sketch Less Face Image Retrieval: A New Challenge [9.703239229149261]
  完全な顔のスケッチを描くには、しばしばスキルと時間が必要です。 そこで本研究では,各ストロークで顔画像検索を行い,ストロークの少ない部分スケッチを用いて対象の顔写真を検索することを目的とした,スケッチ少ない顔画像検索(SLFIR)を提案する。 実験は、新しいフレームワークが部分的またはプール描画スケッチを使用して検索を終了できることを示している。
  論文  参考訳（メタデータ） (2023-02-11T02:36:00Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context [112.07988211268612]
  フリーハンドシーンスケッチの最初のデータセットであるFS-COCOを用いてスケッチ研究を進めた。 本データセットは,100名の非専門家による1点あたりの時空間情報付きフリーハンドシーンベクトルスケッチからなる。 フリーハンドシーンのスケッチやスケッチのキャプションからきめ細かい画像検索の問題が初めて研究された。
  論文  参考訳（メタデータ） (2022-03-04T03:00:51Z)
• Adversarial Open Domain Adaption for Sketch-to-Photo Synthesis [42.83974176146334]
  自由自在なスケッチから写実的な写真をクラスラベルで合成することを目的とした,オープンドメインのスケッチから写真への翻訳について検討する。 トレーニング監督の欠如とフリーハンドスケッチとフォトドメイン間の大きな幾何学的歪みのため、これは困難である。 スケッチ・ツー・フォト・ツー・スケッチ生成を共同学習するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-12T17:58:46Z)
• Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval [147.24102408745247]
  我々は、これまで見過ごされてきたスケッチのさらなる特性、すなわち、詳細レベルの階層性について研究する。 本稿では,スケッチ固有の階層を育成し,それを利用して,対応する階層レベルでのスケッチと写真とのマッチングを行う新しいネットワークを設計する。
  論文  参考訳（メタデータ） (2020-07-29T20:50:25Z)
• Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image Retrieval [203.2520862597357]
  きめ細かいスケッチベースの画像検索(FG-SBIR)は、ユーザのクエリのスケッチから特定の写真インスタンスを検索する問題に対処する。 これらの課題に対処するため、従来のFG-SBIRフレームワークを再構築する。 ユーザが絵を描き始めるとすぐに検索を開始できるオンザフライ設計を提案する。
  論文  参考訳（メタデータ） (2020-02-24T15:36:02Z)
• Deep Self-Supervised Representation Learning for Free-Hand Sketch [51.101565480583304]
  フリーハンドスケッチにおける自己指導型表現学習の課題に対処する。 自己教師型学習パラダイムの成功の鍵は、スケッチ固有の設計にある。 提案手法は最先端の教師なし表現学習法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-03T16:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。