論文の概要: SketchLattice: Latticed Representation for Sketch Manipulation

• arxiv url: http://arxiv.org/abs/2108.11636v1
• Date: Thu, 26 Aug 2021 08:02:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-27 14:03:25.941247
• Title: SketchLattice: Latticed Representation for Sketch Manipulation
• Title（参考訳）: sketchlattice: スケッチ操作のためのラッチ表現
• Authors: Yonggang Qi, Guoyao Su, Pinaki Nath Chowdhury, Mingkang Li, Yi-Zhe Song
• Abstract要約: スケッチ表現を設計する上で重要な課題は、スケッチの抽象的で象徴的な性質を扱うことである。 本稿では,ベクトルデータを必要とするボトルネックを除去するだけでなく,ベクトルデータが提供する構造的手がかりも保存する格子構造スケッチ表現を提案する。 格子表現はグラフモデルを用いて効果的に符号化することができ、既存の最先端モデルよりもモデルパラメータ(13.5倍)が大幅に少ない。
• 参考スコア（独自算出の注目度）: 30.092468954557468
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The key challenge in designing a sketch representation lies with handling the abstract and iconic nature of sketches. Existing work predominantly utilizes either, (i) a pixelative format that treats sketches as natural images employing off-the-shelf CNN-based networks, or (ii) an elaborately designed vector format that leverages the structural information of drawing orders using sequential RNN-based methods. While the pixelative format lacks intuitive exploitation of structural cues, sketches in vector format are absent in most cases limiting their practical usage. Hence, in this paper, we propose a lattice structured sketch representation that not only removes the bottleneck of requiring vector data but also preserves the structural cues that vector data provides. Essentially, sketch lattice is a set of points sampled from the pixelative format of the sketch using a lattice graph. We show that our lattice structure is particularly amenable to structural changes that largely benefits sketch abstraction modeling for generation tasks. Our lattice representation could be effectively encoded using a graph model, that uses significantly fewer model parameters (13.5 times lesser) than existing state-of-the-art. Extensive experiments demonstrate the effectiveness of sketch lattice for sketch manipulation, including sketch healing and image-to-sketch synthesis.
• Abstract（参考訳）: スケッチ表現を設計する上で重要な課題は、スケッチの抽象的で象徴的な性質を扱うことである。 既存の作品では、(i)既製のcnnベースのネットワークを用いてスケッチを自然な画像として扱うピクセル形式、または(ii)逐次rnnベースの手法で描画順序の構造情報を利用する精巧に設計されたベクター形式のいずれかを使用している。 画素形式は直感的に構造的手がかりを活用できないが、ほとんどの場合、ベクトル形式のスケッチは実用的使用を制限する。 そこで本研究では,ベクトルデータを必要とするボトルネックを除去するだけでなく,ベクトルデータが提供する構造的手がかりも保存する格子構造スケッチ表現を提案する。 本質的に、スケッチ格子(sketch lattice)は、スケッチのピクセル形式から格子グラフを用いてサンプリングされた点の集合である。 我々の格子構造は、生成タスクのスケッチ抽象化モデリングに大きく貢献する構造変化に特に適していることを示す。 格子表現はグラフモデルを用いて効果的に符号化することができ、既存の最先端モデルよりもモデルパラメータ(13.5倍)が大幅に少ない。 広範な実験により,スケッチ修復や画像からスケッチへの合成など,スケッチ操作におけるスケッチ格子の有効性が実証された。

関連論文リスト

• SketchTriplet: Self-Supervised Scenarized Sketch-Text-Image Triplet Generation [6.39528707908268]
  シーンスケッチ用の大規模なペアデータセットは引き続き欠如している。 本稿では,既存のシーンスケッチに依存しないシーンスケッチ生成のための自己教師型手法を提案する。 シーンスケッチを中心にした大規模なデータセットをコントリビュートし、セマンティックに一貫した「テキスト・スケッチ・イメージ」三つ子を含む。
  論文  参考訳（メタデータ） (2024-05-29T06:43:49Z)
• SENS: Part-Aware Sketch-based Implicit Neural Shape Modeling [124.3266213819203]
  SENSは手描きスケッチから3Dモデルを生成し編集するための新しい手法である。 SENSはスケッチを分析し、部品をViTパッチエンコーディングにエンコードする。 SENSは部分再構成による精細化をサポートし、微調整とアーティファクトの除去を可能にする。
  論文  参考訳（メタデータ） (2023-06-09T17:50:53Z)
• SketchFFusion: Sketch-guided image editing with diffusion model [25.63913085329606]
  スケッチ誘導画像編集は、ユーザが提供するスケッチ情報に基づいて、画像の局所的な微調整を実現することを目的としている。 本稿では,画像の主輪郭を保存し,実際のスケッチスタイルに忠実に適合するスケッチ生成手法を提案する。
  論文  参考訳（メタデータ） (2023-04-06T15:54:18Z)
• Abstracting Sketches through Simple Primitives [53.04827416243121]
  人間は、オブジェクト情報を素早く通信する必要があるゲームにおいて、高いレベルの抽象化能力を示す。 本稿では,プリミティブをベースとしたスケッチ抽象化タスクを提案する。 我々のPrimitive-Matching Network(PMN)は、スケッチの解釈可能な抽象化を自己管理的に学習する。
  論文  参考訳（メタデータ） (2022-07-27T14:32:39Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• CLIPasso: Semantically-Aware Object Sketching [34.53644912236454]
  本稿では,幾何学的および意味的単純化によって導かれる抽象レベルが異なるオブジェクトスケッチ手法を提案する。 スケッチをB'ezier曲線の集合として定義し、CLIPに基づく知覚的損失に対して曲線のパラメータを直接最適化するために微分器を使用する。
  論文  参考訳（メタデータ） (2022-02-11T18:35:25Z)
• CoSE: Compositional Stroke Embeddings [52.529172734044664]
  本稿では、ストロークベースの描画タスクのような複雑な自由形式構造に対する生成モデルを提案する。 我々のアプローチは、自動補完図のようなインタラクティブなユースケースに適している。
  論文  参考訳（メタデータ） (2020-06-17T15:22:54Z)
• Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt [125.17887147597567]
  我々は、トランスフォーマー(Sketch-BERT)からのSketch BiBERT表現の学習モデルを提案する。 BERTをドメインのスケッチに一般化し、新しいコンポーネントと事前学習アルゴリズムを提案する。 Sketch-BERTの学習表現は,スケッチ認識,スケッチ検索,スケッチゲットといった下流タスクの性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-19T01:35:44Z)
• Sketchformer: Transformer-based Representation for Sketched Structure [12.448155157592895]
  Sketchformerは、ベクトル形式で入力された自由ハンドスケッチを符号化するトランスフォーマーベースの表現である。 連続的およびトークン化された入力表現を探索するいくつかの変種を報告し、それらの性能を対比する。 我々の学習した埋め込みは辞書学習トークン化方式によって駆動され、分類および画像検索タスクにおける技術性能の状態を出力する。
  論文  参考訳（メタデータ） (2020-02-24T17:11:53Z)
• Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches [133.01690754567252]
  スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。 Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
  論文  参考訳（メタデータ） (2020-01-09T08:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。