論文の概要: Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval

• arxiv url: http://arxiv.org/abs/2007.15103v2
• Date: Tue, 11 Aug 2020 17:14:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 20:53:57.993270
• Title: Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval
• Title（参考訳）: 細粒度スケッチに基づく画像検索のためのクロスモーダル階層モデリング
• Authors: Aneeshan Sain, Ayan Kumar Bhunia, Yongxin Yang, Tao Xiang, Yi-Zhe Song
• Abstract要約: 我々は、これまで見過ごされてきたスケッチのさらなる特性、すなわち、詳細レベルの階層性について研究する。 本稿では,スケッチ固有の階層を育成し,それを利用して,対応する階層レベルでのスケッチと写真とのマッチングを行う新しいネットワークを設計する。
• 参考スコア（独自算出の注目度）: 147.24102408745247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sketch as an image search query is an ideal alternative to text in capturing the fine-grained visual details. Prior successes on fine-grained sketch-based image retrieval (FG-SBIR) have demonstrated the importance of tackling the unique traits of sketches as opposed to photos, e.g., temporal vs. static, strokes vs. pixels, and abstract vs. pixel-perfect. In this paper, we study a further trait of sketches that has been overlooked to date, that is, they are hierarchical in terms of the levels of detail -- a person typically sketches up to various extents of detail to depict an object. This hierarchical structure is often visually distinct. In this paper, we design a novel network that is capable of cultivating sketch-specific hierarchies and exploiting them to match sketch with photo at corresponding hierarchical levels. In particular, features from a sketch and a photo are enriched using cross-modal co-attention, coupled with hierarchical node fusion at every level to form a better embedding space to conduct retrieval. Experiments on common benchmarks show our method to outperform state-of-the-arts by a significant margin.
• Abstract（参考訳）: 画像検索クエリとしてのSketchは、きめ細かい視覚的詳細をキャプチャするテキストに代わる理想的な方法である。 スケッチベース画像検索(FG-SBIR)の初期の成功は、例えば、時間対静的、ストローク対ピクセル対ピクセル対、抽象対ピクセル完全といった写真とは対照的に、スケッチの特徴に対処することが重要であることを示した。 本稿では,これまで見過ごされていたスケッチのさらなる特徴,すなわち,細部を階層的に表現した人物について検討する。 この階層構造はしばしば視覚的に区別される。 本稿では,スケッチ特有の階層を育成し,その階層レベルでのスケッチと写真とのマッチングを行うことのできる,新たなネットワークをデザインする。 特に、スケッチと写真の特徴は、クロスモーダルコアテンションを使用して強化され、各レベルで階層的なノード融合と結合され、より優れた埋め込み空間を形成して検索を行う。 一般的なベンチマーク実験では, 最先端技術よりも高いマージンが得られた。

関連論文リスト

• Stylized Face Sketch Extraction via Generative Prior with Limited Data [6.727433982111717]
  StyleSketchは、顔画像から高解像度のスタイリングスケッチを抽出する方法である。 事前訓練されたStyleGANの深い特徴の豊富なセマンティクスを用いて、16対の顔とそれに対応するスケッチイメージでスケッチジェネレータを訓練することができる。
  論文  参考訳（メタデータ） (2024-03-17T16:25:25Z)
• Sketch2Saliency: Learning to Detect Salient Objects from Human Drawings [99.9788496281408]
  本研究では,スケッチを弱いラベルとして使用して,画像中の有能な物体を検出する方法について検討する。 これを実現するために,与えられた視覚写真に対応する逐次スケッチ座標を生成することを目的としたフォト・ツー・スケッチ生成モデルを提案する。 テストは、私たちの仮説を証明し、スケッチベースの唾液度検出モデルが、最先端技術と比較して、競争力のあるパフォーマンスを提供する方法を明確にします。
  論文  参考訳（メタデータ） (2023-03-20T23:46:46Z)
• Abstracting Sketches through Simple Primitives [53.04827416243121]
  人間は、オブジェクト情報を素早く通信する必要があるゲームにおいて、高いレベルの抽象化能力を示す。 本稿では,プリミティブをベースとしたスケッチ抽象化タスクを提案する。 我々のPrimitive-Matching Network(PMN)は、スケッチの解釈可能な抽象化を自己管理的に学習する。
  論文  参考訳（メタデータ） (2022-07-27T14:32:39Z)
• Three-Stream Joint Network for Zero-Shot Sketch-Based Image Retrieval [15.191262439963221]
  ZS-SBIR(Zero-Shot Sketch-based Image Retrieval)は、スケッチと自然画像の間に大きな領域ギャップがあるため、難しい課題である。 本稿では,ZS-SBIRタスクのための3ストリーム共同学習ネットワーク(JOIN)を提案する。
  論文  参考訳（メタデータ） (2022-04-12T09:52:17Z)
• Multi-granularity Association Learning Framework for on-the-fly Fine-Grained Sketch-based Image Retrieval [7.797006835701767]
  きめ細かいスケッチベース画像検索(FG-SBIR)は、与えられたクエリスケッチで特定の写真を取得する問題に対処する。 本研究では,最小のストローク数で対象写真を検索することを目的とした(不完全スケッチ)。 非完全スケッチの埋め込み空間をさらに最適化する多粒性関連学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-13T14:38:50Z)
• DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
  既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。 本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
  論文  参考訳（メタデータ） (2020-08-31T03:35:21Z)
• Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based Image Retrieval [55.29233996427243]
  ローショットスケッチに基づく画像検索はコンピュータビジョンの新たな課題である。 本稿では,ゼロショットおよび少数ショットのスケッチベース画像検索(SBIR)タスクについて述べる。 これらの課題を解決するために,SEM-PCYC(SEM-PCYC)を提案する。 以上の結果から,Sketchy,TU-Berlin,QuickDrawのデータセットを拡張したバージョンでは,最先端の撮影性能が大幅に向上した。
  論文  参考訳（メタデータ） (2020-06-20T22:43:53Z)
• Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image Retrieval [203.2520862597357]
  きめ細かいスケッチベースの画像検索(FG-SBIR)は、ユーザのクエリのスケッチから特定の写真インスタンスを検索する問題に対処する。 これらの課題に対処するため、従来のFG-SBIRフレームワークを再構築する。 ユーザが絵を描き始めるとすぐに検索を開始できるオンザフライ設計を提案する。
  論文  参考訳（メタデータ） (2020-02-24T15:36:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。