論文の概要: On Learning Semantic Representations for Million-Scale Free-Hand Sketches

• arxiv url: http://arxiv.org/abs/2007.04101v1
• Date: Tue, 7 Jul 2020 15:23:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 20:08:20.932358
• Title: On Learning Semantic Representations for Million-Scale Free-Hand Sketches
• Title（参考訳）: 数百万のフリーハンドスケッチに対する意味表現の学習について
• Authors: Peng Xu, Yongye Huang, Tongtong Yuan, Tao Xiang, Timothy M. Hospedales, Yi-Zhe Song, Liang Wang
• Abstract要約: 百万のフリーハンドスケッチのための学習意味表現について研究する。 スケッチを表現するために,デュアルブランチCNNRNNネットワークアーキテクチャを提案する。 ハッシュ検索とゼロショット認識におけるスケッチ指向の意味表現の学習について検討する。
• 参考スコア（独自算出の注目度）: 146.52892067335128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study learning semantic representations for million-scale free-hand sketches. This is highly challenging due to the domain-unique traits of sketches, e.g., diverse, sparse, abstract, noisy. We propose a dual-branch CNNRNN network architecture to represent sketches, which simultaneously encodes both the static and temporal patterns of sketch strokes. Based on this architecture, we further explore learning the sketch-oriented semantic representations in two challenging yet practical settings, i.e., hashing retrieval and zero-shot recognition on million-scale sketches. Specifically, we use our dual-branch architecture as a universal representation framework to design two sketch-specific deep models: (i) We propose a deep hashing model for sketch retrieval, where a novel hashing loss is specifically designed to accommodate both the abstract and messy traits of sketches. (ii) We propose a deep embedding model for sketch zero-shot recognition, via collecting a large-scale edge-map dataset and proposing to extract a set of semantic vectors from edge-maps as the semantic knowledge for sketch zero-shot domain alignment. Both deep models are evaluated by comprehensive experiments on million-scale sketches and outperform the state-of-the-art competitors.
• Abstract（参考訳）: 本稿では,百万規模のフリーハンドスケッチにおける意味表現の学習について検討する。 これは、例えば、多様、疎外、抽象的、騒々しいスケッチのドメイン・ユニクティックな特性のため、非常に困難である。 本稿では,スケッチストロークの静的パターンと時間的パターンの両方を同時に符号化する2分岐CNNRNNネットワークアーキテクチャを提案する。 このアーキテクチャに基づいて,スケッチ指向のセマンティック表現を,ハッシング検索とゼロショット認識という,現実的かつ困難な2つの設定で学習する。 具体的には、2重ブランチアーキテクチャを普遍的な表現フレームワークとして使用し、2つのスケッチ固有のディープモデルを設計する。 i) スケッチの抽象的特徴と乱雑な特徴の両方に対応するために, 新たなハッシュ損失を特別に設計した, スケッチ検索のための深層ハッシュモデルを提案する。 (II)大規模エッジマップデータセットを収集して,ゼロショットドメインアライメントをスケッチするための意味知識として,エッジマップから意味ベクトルの集合を抽出する,ゼロショット認識の深層埋め込みモデルを提案する。 どちらの深層モデルも、百万規模のスケッチに関する包括的な実験によって評価され、最先端の競合相手よりも優れています。

関連論文リスト

• SketchTriplet: Self-Supervised Scenarized Sketch-Text-Image Triplet Generation [6.39528707908268]
  シーンスケッチ用の大規模なペアデータセットは引き続き欠如している。 本稿では,既存のシーンスケッチに依存しないシーンスケッチ生成のための自己教師型手法を提案する。 シーンスケッチを中心にした大規模なデータセットをコントリビュートし、セマンティックに一貫した「テキスト・スケッチ・イメージ」三つ子を含む。
  論文  参考訳（メタデータ） (2024-05-29T06:43:49Z)
• Sketch2Saliency: Learning to Detect Salient Objects from Human Drawings [99.9788496281408]
  本研究では,スケッチを弱いラベルとして使用して,画像中の有能な物体を検出する方法について検討する。 これを実現するために,与えられた視覚写真に対応する逐次スケッチ座標を生成することを目的としたフォト・ツー・スケッチ生成モデルを提案する。 テストは、私たちの仮説を証明し、スケッチベースの唾液度検出モデルが、最先端技術と比較して、競争力のあるパフォーマンスを提供する方法を明確にします。
  論文  参考訳（メタデータ） (2023-03-20T23:46:46Z)
• Semantics-Preserving Sketch Embedding for Face Generation [26.15479367792076]
  本稿では,W+空間の高表現力を活用するために,新しいW-W+エンコーダアーキテクチャを提案する。 また、スケッチセマンティック埋め込みのための明示的な中間表現も導入する。 ベクトル化されたスケッチから意味を自動的に抽出する新しいスケッチ意味解釈手法が設計されている。
  論文  参考訳（メタデータ） (2022-11-23T15:14:49Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context [112.07988211268612]
  フリーハンドシーンスケッチの最初のデータセットであるFS-COCOを用いてスケッチ研究を進めた。 本データセットは,100名の非専門家による1点あたりの時空間情報付きフリーハンドシーンベクトルスケッチからなる。 フリーハンドシーンのスケッチやスケッチのキャプションからきめ細かい画像検索の問題が初めて研究された。
  論文  参考訳（メタデータ） (2022-03-04T03:00:51Z)
• Deep Self-Supervised Representation Learning for Free-Hand Sketch [51.101565480583304]
  フリーハンドスケッチにおける自己指導型表現学習の課題に対処する。 自己教師型学習パラダイムの成功の鍵は、スケッチ固有の設計にある。 提案手法は最先端の教師なし表現学習法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-03T16:28:29Z)
• SketchDesc: Learning Local Sketch Descriptors for Multi-view Correspondence [68.63311821718416]
  我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。 異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。 我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
  論文  参考訳（メタデータ） (2020-01-16T11:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。