論文の概要: Abstracting Sketches through Simple Primitives

• arxiv url: http://arxiv.org/abs/2207.13543v1
• Date: Wed, 27 Jul 2022 14:32:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-28 12:58:31.419513
• Title: Abstracting Sketches through Simple Primitives
• Title（参考訳）: 単純なプリミティブによるスケッチの抽象化
• Authors: Stephan Alaniz, Massimiliano Mancini, Anjan Dutta, Diego Marcos, Zeynep Akata
• Abstract要約: 人間は、オブジェクト情報を素早く通信する必要があるゲームにおいて、高いレベルの抽象化能力を示す。 本稿では,プリミティブをベースとしたスケッチ抽象化タスクを提案する。 我々のPrimitive-Matching Network(PMN)は、スケッチの解釈可能な抽象化を自己管理的に学習する。
• 参考スコア（独自算出の注目度）: 53.04827416243121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans show high-level of abstraction capabilities in games that require quickly communicating object information. They decompose the message content into multiple parts and communicate them in an interpretable protocol. Toward equipping machines with such capabilities, we propose the Primitive-based Sketch Abstraction task where the goal is to represent sketches using a fixed set of drawing primitives under the influence of a budget. To solve this task, our Primitive-Matching Network (PMN), learns interpretable abstractions of a sketch in a self supervised manner. Specifically, PMN maps each stroke of a sketch to its most similar primitive in a given set, predicting an affine transformation that aligns the selected primitive to the target stroke. We learn this stroke-to-primitive mapping end-to-end with a distance-transform loss that is minimal when the original sketch is precisely reconstructed with the predicted primitives. Our PMN abstraction empirically achieves the highest performance on sketch recognition and sketch-based image retrieval given a communication budget, while at the same time being highly interpretable. This opens up new possibilities for sketch analysis, such as comparing sketches by extracting the most relevant primitives that define an object category. Code is available at https://github.com/ExplainableML/sketch-primitives.
• Abstract（参考訳）: 人間は、オブジェクト情報を素早く通信する必要があるゲームにおいて、高いレベルの抽象化能力を示す。 メッセージコンテンツを複数の部分に分解し、解釈可能なプロトコルで通信する。 このような機能を備えたマシンの装備に向けて,予算の影響下での描画プリミティブの固定セットを用いてスケッチを表現するプリミティブベースのSketch Abstractionタスクを提案する。 この課題を解決するために,我々のPrimitive-Matching Network (PMN)は,スケッチの解釈可能な抽象化を自己管理的に学習する。 具体的には、PMNはスケッチの各ストロークを与えられたセットにおいて最も類似したプリミティブにマッピングし、選択したプリミティブをターゲットストロークに整列するアフィン変換を予測する。 このストロークからプリミティブへのマッピングは、最初のスケッチが予測されたプリミティブで正確に再構成されたときに最小となる距離変換損失を伴う。 我々のPMN抽象化は,通信予算が与えられたスケッチ認識とスケッチベース画像検索において,高い性能を実証的に達成すると同時に,高い解釈性を実現している。 これは、スケッチをオブジェクトカテゴリを定義する最も関連するプリミティブを抽出することで比較するなど、スケッチ分析の新たな可能性を開く。 コードはhttps://github.com/ExplainableML/sketch-primitivesで入手できる。

関連論文リスト

• SketchTriplet: Self-Supervised Scenarized Sketch-Text-Image Triplet Generation [6.39528707908268]
  シーンスケッチ用の大規模なペアデータセットは引き続き欠如している。 本稿では,既存のシーンスケッチに依存しないシーンスケッチ生成のための自己教師型手法を提案する。 シーンスケッチを中心にした大規模なデータセットをコントリビュートし、セマンティックに一貫した「テキスト・スケッチ・イメージ」三つ子を含む。
  論文  参考訳（メタデータ） (2024-05-29T06:43:49Z)
• How to Handle Sketch-Abstraction in Sketch-Based Image Retrieval? [120.49126407479717]
  スケッチの抽象化を様々なレベルで処理できるスケッチベース画像検索フレームワークを提案する。 粒度レベルの抽象理解のために、検索モデルはすべての抽象レベルを等しく扱ってはならないと規定する。 私たちのAcc.@qの損失は、評価がいかに厳格であるかという点で、スケッチが焦点を絞りたり壊したりできます。
  論文  参考訳（メタデータ） (2024-03-11T23:08:29Z)
• Open Vocabulary Semantic Scene Sketch Understanding [5.638866331696071]
  フリーハンドシーンスケッチの機械的理解における未探索だが基本的な視覚問題について検討する。 本研究では,意味的に認識可能な特徴空間を実現するスケッチエンコーダを導入し,その性能を意味的スケッチセグメンテーションタスクでテストすることで評価する。 提案手法は,セグメンテーション結果のゼロショットCLIP画素精度を37ポイント上回り,FS-COCOスケッチデータセットの精度が85.5%に達した。
  論文  参考訳（メタデータ） (2023-12-18T19:02:07Z)
• Sketch-based Video Object Segmentation: Benchmark and Analysis [55.79497833614397]
  本稿では,スケッチベースのビデオオブジェクトセグメンテーション,関連するベンチマーク,強力なベースラインについて紹介する。 私たちのベンチマークには、3つのデータセット、Sketch-DAVIS16、Sketch-DAVIS17、Sketch-YouTube-VOSが含まれています。 実験の結果、スケッチは、フォトマスク、言語、スクリブルなど、他の参照よりも効果的であるが、アノテーション効率が高いことが示された。
  論文  参考訳（メタデータ） (2023-11-13T11:53:49Z)
• What Can Human Sketches Do for Object Detection? [127.67444974452411]
  スケッチは非常に表現力が高く、本質的に主観的かつきめ細かい視覚的手がかりを捉えている。 スケッチ可能なオブジェクト検出フレームワークは、 textityou sketch -- textit that zebra' に基づいて検出する。 スケッチベース画像検索(SBIR)のために構築された基礎モデル(例えばCLIP)と既存のスケッチモデルとの直感的な相乗効果を示す。 特に、まず、エンコーダモデルの両方のスケッチブランチで独立に実行し、高度に一般化可能なスケッチとフォトエンコーダを構築する。
  論文  参考訳（メタデータ） (2023-03-27T12:33:23Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• CLIPasso: Semantically-Aware Object Sketching [34.53644912236454]
  本稿では,幾何学的および意味的単純化によって導かれる抽象レベルが異なるオブジェクトスケッチ手法を提案する。 スケッチをB'ezier曲線の集合として定義し、CLIPに基づく知覚的損失に対して曲線のパラメータを直接最適化するために微分器を使用する。
  論文  参考訳（メタデータ） (2022-02-11T18:35:25Z)
• SketchLattice: Latticed Representation for Sketch Manipulation [30.092468954557468]
  スケッチ表現を設計する上で重要な課題は、スケッチの抽象的で象徴的な性質を扱うことである。 本稿では,ベクトルデータを必要とするボトルネックを除去するだけでなく,ベクトルデータが提供する構造的手がかりも保存する格子構造スケッチ表現を提案する。 格子表現はグラフモデルを用いて効果的に符号化することができ、既存の最先端モデルよりもモデルパラメータ(13.5倍)が大幅に少ない。
  論文  参考訳（メタデータ） (2021-08-26T08:02:21Z)
• Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval [147.24102408745247]
  我々は、これまで見過ごされてきたスケッチのさらなる特性、すなわち、詳細レベルの階層性について研究する。 本稿では,スケッチ固有の階層を育成し,それを利用して,対応する階層レベルでのスケッチと写真とのマッチングを行う新しいネットワークを設計する。
  論文  参考訳（メタデータ） (2020-07-29T20:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。