論文の概要: Equipping Sketch Patches with Context-Aware Positional Encoding for Graphic Sketch Representation

• arxiv url: http://arxiv.org/abs/2403.17525v1
• Date: Tue, 26 Mar 2024 09:26:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 16:06:48.668239
• Title: Equipping Sketch Patches with Context-Aware Positional Encoding for Graphic Sketch Representation
• Title（参考訳）: テクスチャ・スケッチ表現のための文脈対応位置符号化によるスケッチ・パッチの取得
• Authors: Sicong Zang, Zhijun Fang,
• Abstract要約: グラフィックスケッチ表現を学習するための変分描画保護手法を提案する。 スケッチ描画をグラフエッジに注入する代わりに、これらのシーケンシャル情報をグラフノードにのみ埋め込む。 実験結果から,本手法はスケッチのヒーリングと制御可能なスケッチ合成を大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 4.961362040453441
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The drawing order of a sketch records how it is created stroke-by-stroke by a human being. For graphic sketch representation learning, recent studies have injected sketch drawing orders into graph edge construction by linking each patch to another in accordance to a temporal-based nearest neighboring strategy. However, such constructed graph edges may be unreliable, since a sketch could have variants of drawings. In this paper, we propose a variant-drawing-protected method by equipping sketch patches with context-aware positional encoding (PE) to make better use of drawing orders for learning graphic sketch representation. Instead of injecting sketch drawings into graph edges, we embed these sequential information into graph nodes only. More specifically, each patch embedding is equipped with a sinusoidal absolute PE to highlight the sequential position in the drawing order. And its neighboring patches, ranked by the values of self-attention scores between patch embeddings, are equipped with learnable relative PEs to restore the contextual positions within a neighborhood. During message aggregation via graph convolutional networks, a node receives both semantic contents from patch embeddings and contextual patterns from PEs by its neighbors, arriving at drawing-order-enhanced sketch representations. Experimental results indicate that our method significantly improves sketch healing and controllable sketch synthesis.
• Abstract（参考訳）: スケッチの描画順序は、人間によるストローク・バイ・ストロークの作り方を記録する。 図形スケッチ表現学習において,近年の研究では,各パッチを他のパッチにリンクすることで,図形描画命令をグラフエッジ構築に注入する手法が提案されている。 しかし、このような構築されたグラフのエッジは、スケッチが図面の変種を持つ可能性があるため、信頼性が低い可能性がある。 本稿では,図形スケッチ表現の学習において,描画順序をよりよく活用するために,図形スケッチと文脈認識位置符号化(PE)を併用した変分描画保護手法を提案する。 スケッチ描画をグラフエッジに注入する代わりに、これらのシーケンシャル情報をグラフノードにのみ埋め込む。 より具体的には、各パッチ埋め込みは、描画順序におけるシーケンシャル位置を強調する正弦波絶対PEを備える。 そして、その近傍のパッチは、パッチ埋め込み間の自己注意スコアの値にランク付けされ、学習可能な相対的PEを備えて、近隣の文脈的位置を復元する。 グラフ畳み込みネットワークを介してメッセージアグリゲーションを行う際、ノードは、パッチ埋め込みからセマンティックコンテンツと、隣人によるPEからのコンテキストパターンの両方を受け取り、描画順序付きスケッチ表現に到達する。 実験結果から,本手法はスケッチのヒーリングと制御可能なスケッチ合成を大幅に改善することが示された。

関連論文リスト

• Linking Sketch Patches by Learning Synonymous Proximity for Graphic Sketch Representation [8.19063619210761]
  図形スケッチ表現のための順序不変な意味認識手法を提案する。 収穫されたスケッチのスケッチは、そのグローバルな意味や局所的な幾何学的形状、すなわち同義語に近い形でリンクされている。 本手法は, 制御可能なスケッチ合成とスケッチヒーリングの両方において, 性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2022-11-30T09:28:15Z)
• Abstracting Sketches through Simple Primitives [53.04827416243121]
  人間は、オブジェクト情報を素早く通信する必要があるゲームにおいて、高いレベルの抽象化能力を示す。 本稿では,プリミティブをベースとしたスケッチ抽象化タスクを提案する。 我々のPrimitive-Matching Network(PMN)は、スケッチの解釈可能な抽象化を自己管理的に学習する。
  論文  参考訳（メタデータ） (2022-07-27T14:32:39Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• SSR-GNNs: Stroke-based Sketch Representation with Graph Neural Networks [34.759306840182205]
  本稿では,スケッチにおけるストローク情報,すなわちスケッチの一部が頂点にエンコードされ,エッジ上のストローク間情報であるスケッチのグラフ表現について検討する。 結果のグラフ表現は、分類タスクのためのグラフニューラルネットワークのトレーニングを容易にする。 提案した表現は,既存のデータセットから分離可能ながら,構造的に類似した斬新なスケッチの生成を可能にする。
  論文  参考訳（メタデータ） (2022-04-27T19:18:01Z)
• Learning to generate line drawings that convey geometry and semantics [22.932131011984513]
  本稿では,写真から線画を作成する方法を提案する。 線画はシーン情報のエンコーディングであり,3次元形状と意味的意味を伝達しようとする。 線描画の画像特徴から深度情報を予測する幾何学的損失と、線描画のCLIP特徴と対応する写真とを一致させる意味的損失を導入する。
  論文  参考訳（メタデータ） (2022-03-23T19:27:41Z)
• Sketch2Mesh: Reconstructing and Editing 3D Shapes from Sketches [65.96417928860039]
  スケッチのメッシュ変換にはエンコーダ/デコーダアーキテクチャを使用する。 このアプローチはデプロイが容易で、スタイル変更に堅牢であり、効果的であることを示します。
  論文  参考訳（メタデータ） (2021-04-01T14:10:59Z)
• Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt [125.17887147597567]
  我々は、トランスフォーマー(Sketch-BERT)からのSketch BiBERT表現の学習モデルを提案する。 BERTをドメインのスケッチに一般化し、新しいコンポーネントと事前学習アルゴリズムを提案する。 Sketch-BERTの学習表現は,スケッチ認識,スケッチ検索,スケッチゲットといった下流タスクの性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-19T01:35:44Z)
• SketchDesc: Learning Local Sketch Descriptors for Multi-view Correspondence [68.63311821718416]
  我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。 異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。 我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
  論文  参考訳（メタデータ） (2020-01-16T11:31:21Z)
• Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches [133.01690754567252]
  スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。 Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
  論文  参考訳（メタデータ） (2020-01-09T08:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。