論文の概要: Equipping Sketch Patches with Context-Aware Positional Encoding for Graphic Sketch Representation

• arxiv url: http://arxiv.org/abs/2403.17525v2
• Date: Tue, 13 May 2025 07:25:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.120579
• Title: Equipping Sketch Patches with Context-Aware Positional Encoding for Graphic Sketch Representation
• Title（参考訳）: テクスチャ・スケッチ表現のための文脈対応位置符号化によるスケッチ・パッチの取得
• Authors: Sicong Zang, Zhijun Fang,
• Abstract要約: 文脈認識型位置符号化(PE)によるスケッチパッチの装備による変分描画保護手法を提案する。 実験結果から,本手法はスケッチのヒーリングと制御可能なスケッチ合成を大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 4.961362040453441
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When benefiting graphic sketch representation with sketch drawing orders, recent studies have linked sketch patches as graph edges by drawing orders in accordance to a temporal-based nearest neighboring strategy. However, such constructed graph edges may be unreliable, since the contextual relationships between patches may be inconsistent with the sequential positions in drawing orders, due to variants of sketch drawings. In this paper, we propose a variant-drawing-protected method by equipping sketch patches with context-aware positional encoding (PE) to make better use of drawing orders for sketch learning. We introduce a sinusoidal absolute PE to embed the sequential positions in drawing orders, and a learnable relative PE to encode the unseen contextual relationships between patches. Both types of PEs never attend the construction of graph edges, but are injected into graph nodes to cooperate with the visual patterns captured from patches. After linking nodes by semantic proximity, during message aggregation via graph convolutional networks, each node receives both semantic features from patches and contextual information from PEs from its neighbors, which equips local patch patterns with global contextual information, further obtaining drawing-order-enhanced sketch representations. Experimental results indicate that our method significantly improves sketch healing and controllable sketch synthesis. The source codes could be found at https://github.com/SCZang/DC-gra2seq.
• Abstract（参考訳）: スケッチ描画順序による図面スケッチ表現の利点を享受する上で,近年の研究では,図面の描画によるスケッチスケッチをグラフエッジとして関連づける手法が提案されている。 しかし、このような構築されたグラフエッジは、スケッチ描画のバリエーションのため、パッチ間の文脈的関係は、描画順序のシーケンシャルな位置と矛盾する可能性があるため、信頼性が低い可能性がある。 本稿では,スケッチの描画順序をよりよく活用するために,スケッチパッチとコンテキスト認識位置符号化(PE)を併用した可変描画保護手法を提案する。 図面の順序にシーケンシャルな位置を埋め込む正弦波絶対的PEと、パッチ間の不明瞭なコンテキスト関係を符号化する学習可能な相対的PEを導入する。 どちらのタイプのPEもグラフエッジの構築には参加しないが、パッチから取得した視覚パターンに協力するためにグラフノードに注入される。 ノードを意味的近接性でリンクした後、グラフ畳み込みネットワークによるメッセージアグリゲーションの間、各ノードは、近隣のPEからパッチとコンテキスト情報の両方を受信する。 実験結果から,本手法はスケッチのヒーリングと制御可能なスケッチ合成を大幅に改善することが示された。 ソースコードはhttps://github.com/SCZang/DC-gra2seq.comにある。

関連論文リスト

• Linking Sketch Patches by Learning Synonymous Proximity for Graphic Sketch Representation [8.19063619210761]
  図形スケッチ表現のための順序不変な意味認識手法を提案する。 収穫されたスケッチのスケッチは、そのグローバルな意味や局所的な幾何学的形状、すなわち同義語に近い形でリンクされている。 本手法は, 制御可能なスケッチ合成とスケッチヒーリングの両方において, 性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2022-11-30T09:28:15Z)
• Abstracting Sketches through Simple Primitives [53.04827416243121]
  人間は、オブジェクト情報を素早く通信する必要があるゲームにおいて、高いレベルの抽象化能力を示す。 本稿では,プリミティブをベースとしたスケッチ抽象化タスクを提案する。 我々のPrimitive-Matching Network(PMN)は、スケッチの解釈可能な抽象化を自己管理的に学習する。
  論文  参考訳（メタデータ） (2022-07-27T14:32:39Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• SSR-GNNs: Stroke-based Sketch Representation with Graph Neural Networks [34.759306840182205]
  本稿では,スケッチにおけるストローク情報,すなわちスケッチの一部が頂点にエンコードされ,エッジ上のストローク間情報であるスケッチのグラフ表現について検討する。 結果のグラフ表現は、分類タスクのためのグラフニューラルネットワークのトレーニングを容易にする。 提案した表現は,既存のデータセットから分離可能ながら,構造的に類似した斬新なスケッチの生成を可能にする。
  論文  参考訳（メタデータ） (2022-04-27T19:18:01Z)
• Learning to generate line drawings that convey geometry and semantics [22.932131011984513]
  本稿では,写真から線画を作成する方法を提案する。 線画はシーン情報のエンコーディングであり,3次元形状と意味的意味を伝達しようとする。 線描画の画像特徴から深度情報を予測する幾何学的損失と、線描画のCLIP特徴と対応する写真とを一致させる意味的損失を導入する。
  論文  参考訳（メタデータ） (2022-03-23T19:27:41Z)
• Sketch2Mesh: Reconstructing and Editing 3D Shapes from Sketches [65.96417928860039]
  スケッチのメッシュ変換にはエンコーダ/デコーダアーキテクチャを使用する。 このアプローチはデプロイが容易で、スタイル変更に堅牢であり、効果的であることを示します。
  論文  参考訳（メタデータ） (2021-04-01T14:10:59Z)
• Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt [125.17887147597567]
  我々は、トランスフォーマー(Sketch-BERT)からのSketch BiBERT表現の学習モデルを提案する。 BERTをドメインのスケッチに一般化し、新しいコンポーネントと事前学習アルゴリズムを提案する。 Sketch-BERTの学習表現は,スケッチ認識,スケッチ検索,スケッチゲットといった下流タスクの性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-19T01:35:44Z)
• SketchDesc: Learning Local Sketch Descriptors for Multi-view Correspondence [68.63311821718416]
  我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。 異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。 我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
  論文  参考訳（メタデータ） (2020-01-16T11:31:21Z)
• Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches [133.01690754567252]
  スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。 Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
  論文  参考訳（メタデータ） (2020-01-09T08:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。