論文の概要: Enhance Sketch Recognition's Explainability via Semantic Component-Level Parsing

• arxiv url: http://arxiv.org/abs/2312.07875v1
• Date: Wed, 13 Dec 2023 03:33:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 16:48:10.649937
• Title: Enhance Sketch Recognition's Explainability via Semantic Component-Level Parsing
• Title（参考訳）: 意味的成分レベル解析によるスケッチ認識の説明可能性
• Authors: Guangming Zhu, Siyuan Wang, Tianci Wu, Liang Zhang
• Abstract要約: 提案した構造化スケッチ認識ネットワークに,セマンティックコンポーネントレベルのメモリモジュールを構築し,組み込む。 各スケッチカテゴリのセマンティックコンポーネントを表すメモリキーを自己学習し、認識ネットワークの説明可能性を高める。 SPGとSketchIMEデータセットの実験は、メモリモジュールの柔軟性と認識ネットワークの説明可能性を示している。
• 参考スコア（独自算出の注目度）: 10.76791271745353
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Free-hand sketches are appealing for humans as a universal tool to depict the visual world. Humans can recognize varied sketches of a category easily by identifying the concurrence and layout of the intrinsic semantic components of the category, since humans draw free-hand sketches based a common consensus that which types of semantic components constitute each sketch category. For example, an airplane should at least have a fuselage and wings. Based on this analysis, a semantic component-level memory module is constructed and embedded in the proposed structured sketch recognition network in this paper. The memory keys representing semantic components of each sketch category can be self-learned and enhance the recognition network's explainability. Our proposed networks can deal with different situations of sketch recognition, i.e., with or without semantic components labels of strokes. Experiments on the SPG and SketchIME datasets demonstrate the memory module's flexibility and the recognition network's explainability. The code and data are available at https://github.com/GuangmingZhu/SketchESC.
• Abstract（参考訳）: フリーハンドスケッチは、視覚世界を描く普遍的なツールとして人間にアピールしている。 人間は、どの種類のセマンティックコンポーネントがそれぞれのスケッチカテゴリを構成するかについての共通のコンセンサスに基づいて自由手スケッチを描くため、カテゴリ固有のセマンティックコンポーネントのコンカレンスとレイアウトを特定することで、カテゴリのさまざまなスケッチを容易に認識することができる。 例えば、飛行機は少なくとも胴体と翼を持つべきである。 この分析に基づいて,提案する構造化スケッチ認識ネットワークにセマンティックコンポーネントレベルのメモリモジュールを構築し,組み込む。 各スケッチカテゴリの意味成分を表すメモリキーを自己学習し、認識ネットワークの説明可能性を高めることができる。 提案するネットワークは、スケッチ認識の異なる状況、すなわち、ストロークのセマンティックコンポーネントラベルの有無を扱うことができる。 SPGとSketchIMEデータセットの実験は、メモリモジュールの柔軟性と認識ネットワークの説明可能性を示している。 コードとデータはhttps://github.com/GuangmingZhu/SketchESCで公開されている。

関連論文リスト

• Sketch-based Video Object Segmentation: Benchmark and Analysis [55.79497833614397]
  本稿では,スケッチベースのビデオオブジェクトセグメンテーション,関連するベンチマーク,強力なベースラインについて紹介する。 私たちのベンチマークには、3つのデータセット、Sketch-DAVIS16、Sketch-DAVIS17、Sketch-YouTube-VOSが含まれています。 実験の結果、スケッチは、フォトマスク、言語、スクリブルなど、他の参照よりも効果的であるが、アノテーション効率が高いことが示された。
  論文  参考訳（メタデータ） (2023-11-13T11:53:49Z)
• Learning Dense Correspondences between Photos and Sketches [6.2420740599184175]
  人間は、スケッチと現実世界のオブジェクトの関連性を、たとえこれらのスケッチが現実的ではないとしても、しっかりと把握します。 我々は新しいスケッチ写真対応ベンチマークである$textitPSC6k$を導入し、125のオブジェクトカテゴリにわたる6250枚のスケッチ写真ペアの150Kアノテーションを含む。 次に,スケッチ・フォト・ペア間の密接な対応を学習するための自己教師付き手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T17:45:40Z)
• SketchXAI: A First Look at Explainability for Human Sketches [104.13322289903577]
  本稿では,XAI(Explainable Artificial Intelligence)の風景に人間のスケッチを紹介する。 我々は、スケッチは人間中心のデータ形式であり、説明可能性を研究するための自然なインターフェースであると主張している。 我々は,ストロークの本質的な特性(形状,位置,順序)に対応するスケッチエンコーダを設計する。
  論文  参考訳（メタデータ） (2023-04-23T20:28:38Z)
• Abstracting Sketches through Simple Primitives [53.04827416243121]
  人間は、オブジェクト情報を素早く通信する必要があるゲームにおいて、高いレベルの抽象化能力を示す。 本稿では,プリミティブをベースとしたスケッチ抽象化タスクを提案する。 我々のPrimitive-Matching Network(PMN)は、スケッチの解釈可能な抽象化を自己管理的に学習する。
  論文  参考訳（メタデータ） (2022-07-27T14:32:39Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• CLIPasso: Semantically-Aware Object Sketching [34.53644912236454]
  本稿では,幾何学的および意味的単純化によって導かれる抽象レベルが異なるオブジェクトスケッチ手法を提案する。 スケッチをB'ezier曲線の集合として定義し、CLIPに基づく知覚的損失に対して曲線のパラメータを直接最適化するために微分器を使用する。
  論文  参考訳（メタデータ） (2022-02-11T18:35:25Z)
• One Sketch for All: One-Shot Personalized Sketch Segmentation [84.45203849671003]
  そこで本研究では,最初のワンショットパーソナライズドスケッチセグメンテーション手法を提案する。 我々は、同じカテゴリに属するすべてのスケッチを、特定の部分アノテーション付きの1つのスケッチでセグメント化することを目指している。 私たちは、例に埋め込まれた部分のセマンティクスを保存し、入力スタイルと抽象化に堅牢です。
  論文  参考訳（メタデータ） (2021-12-20T20:10:44Z)
• Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval [147.24102408745247]
  我々は、これまで見過ごされてきたスケッチのさらなる特性、すなわち、詳細レベルの階層性について研究する。 本稿では,スケッチ固有の階層を育成し,それを利用して,対応する階層レベルでのスケッチと写真とのマッチングを行う新しいネットワークを設計する。
  論文  参考訳（メタデータ） (2020-07-29T20:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。