論文の概要: Sketchformer: Transformer-based Representation for Sketched Structure
- arxiv url: http://arxiv.org/abs/2002.10381v1
- Date: Mon, 24 Feb 2020 17:11:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 04:14:53.597965
- Title: Sketchformer: Transformer-based Representation for Sketched Structure
- Title（参考訳）: sketchformer: スケッチ構造のためのtransformerベースの表現
- Authors: Leo Sampaio Ferraz Ribeiro, Tu Bui, John Collomosse, Moacir Ponti
- Abstract要約: Sketchformerは、ベクトル形式で入力された自由ハンドスケッチを符号化するトランスフォーマーベースの表現である。
連続的およびトークン化された入力表現を探索するいくつかの変種を報告し、それらの性能を対比する。
我々の学習した埋め込みは辞書学習トークン化方式によって駆動され、分類および画像検索タスクにおける技術性能の状態を出力する。
- 参考スコア（独自算出の注目度）: 12.448155157592895
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sketchformer is a novel transformer-based representation for encoding
free-hand sketches input in a vector form, i.e. as a sequence of strokes.
Sketchformer effectively addresses multiple tasks: sketch classification,
sketch based image retrieval (SBIR), and the reconstruction and interpolation
of sketches. We report several variants exploring continuous and tokenized
input representations, and contrast their performance. Our learned embedding,
driven by a dictionary learning tokenization scheme, yields state of the art
performance in classification and image retrieval tasks, when compared against
baseline representations driven by LSTM sequence to sequence architectures:
SketchRNN and derivatives. We show that sketch reconstruction and interpolation
are improved significantly by the Sketchformer embedding for complex sketches
with longer stroke sequences.
- Abstract（参考訳）: sketchformerは、入力されたフリーハンドのスケッチをベクトル形式、すなわちストロークのシーケンスで符号化する、新しいトランスフォーマーベースの表現である。
Sketchformerはスケッチ分類、スケッチベース画像検索(SBIR)、スケッチの再構築と補間といった複数のタスクを効果的に扱う。
連続的およびトークン化された入力表現を探索するいくつかの変種を報告する。
辞書学習トークン化方式により学習された埋め込みは、LSTMシーケンスで駆動されるベースライン表現と、SketchRNNやデリバティブといったシーケンスアーキテクチャとの比較において、分類および画像検索タスクにおける技術性能の状態を出力する。
より長いストロークシーケンスを持つ複雑なスケッチに対するSketchformer埋め込みにより、スケッチ再構成と補間が大幅に改善されることを示す。
関連論文リスト
- SketchGPT: Autoregressive Modeling for Sketch Generation and Recognition [4.6519578789100215]
SketchGPTはフレキシブルなフレームワークで、シーケンスからシーケンスへの自動回帰モデルを用いてスケッチ生成と補完を行う。
複雑なスケッチを抽象的プリミティブの単純化されたシーケンスにマッピングすることで、自動回帰モデリングのための入力を大幅に合理化する。
論文 参考訳（メタデータ） (2024-05-06T01:24:14Z) - Equipping Sketch Patches with Context-Aware Positional Encoding for Graphic Sketch Representation [4.961362040453441]
グラフィックスケッチ表現を学習するための変分描画保護手法を提案する。
スケッチ描画をグラフエッジに注入する代わりに、これらのシーケンシャル情報をグラフノードにのみ埋め込む。
実験結果から,本手法はスケッチのヒーリングと制御可能なスケッチ合成を大幅に改善することが示された。
論文 参考訳（メタデータ） (2024-03-26T09:26:12Z) - SketchINR: A First Look into Sketches as Implicit Neural Representations [120.4152701687737]
暗黙的ニューラルモデルを用いてベクトルスケッチの表現を前進させるSketchINRを提案する。
可変長ベクトルスケッチは、時間とストロークの関数として下層の形状を暗黙的に符号化する固定次元の潜時空間に圧縮される。
初めてSketchINRは、ストロークの数と複雑さの点で、さまざまな抽象化でスケッチを再現する人間の能力をエミュレートする。
論文 参考訳（メタデータ） (2024-03-14T12:49:29Z) - SENS: Part-Aware Sketch-based Implicit Neural Shape Modeling [124.3266213819203]
SENSは手描きスケッチから3Dモデルを生成し編集するための新しい手法である。
SENSはスケッチを分析し、部品をViTパッチエンコーディングにエンコードする。
SENSは部分再構成による精細化をサポートし、微調整とアーティファクトの除去を可能にする。
論文 参考訳（メタデータ） (2023-06-09T17:50:53Z) - Abstracting Sketches through Simple Primitives [53.04827416243121]
人間は、オブジェクト情報を素早く通信する必要があるゲームにおいて、高いレベルの抽象化能力を示す。
本稿では,プリミティブをベースとしたスケッチ抽象化タスクを提案する。
我々のPrimitive-Matching Network(PMN)は、スケッチの解釈可能な抽象化を自己管理的に学習する。
論文 参考訳（メタデータ） (2022-07-27T14:32:39Z) - SSR-GNNs: Stroke-based Sketch Representation with Graph Neural Networks [34.759306840182205]
本稿では,スケッチにおけるストローク情報,すなわちスケッチの一部が頂点にエンコードされ,エッジ上のストローク間情報であるスケッチのグラフ表現について検討する。
結果のグラフ表現は、分類タスクのためのグラフニューラルネットワークのトレーニングを容易にする。
提案した表現は,既存のデータセットから分離可能ながら,構造的に類似した斬新なスケッチの生成を可能にする。
論文 参考訳（メタデータ） (2022-04-27T19:18:01Z) - SketchLattice: Latticed Representation for Sketch Manipulation [30.092468954557468]
スケッチ表現を設計する上で重要な課題は、スケッチの抽象的で象徴的な性質を扱うことである。
本稿では,ベクトルデータを必要とするボトルネックを除去するだけでなく,ベクトルデータが提供する構造的手がかりも保存する格子構造スケッチ表現を提案する。
格子表現はグラフモデルを用いて効果的に符号化することができ、既存の最先端モデルよりもモデルパラメータ(13.5倍)が大幅に少ない。
論文 参考訳（メタデータ） (2021-08-26T08:02:21Z) - Compositional Sketch Search [91.84489055347585]
フリーハンドスケッチを用いて画像コレクションを検索するアルゴリズムを提案する。
シーン構成全体を特定するための簡潔で直感的な表現として描画を利用する。
論文 参考訳（メタデータ） (2021-06-15T09:38:09Z) - Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from
Transformers by Self-supervised Learning of Sketch Gestalt [125.17887147597567]
我々は、トランスフォーマー(Sketch-BERT)からのSketch BiBERT表現の学習モデルを提案する。
BERTをドメインのスケッチに一般化し、新しいコンポーネントと事前学習アルゴリズムを提案する。
Sketch-BERTの学習表現は,スケッチ認識,スケッチ検索,スケッチゲットといった下流タスクの性能向上に有効であることを示す。
論文 参考訳（メタデータ） (2020-05-19T01:35:44Z) - SketchDesc: Learning Local Sketch Descriptors for Multi-view
Correspondence [68.63311821718416]
我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。
異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。
我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
論文 参考訳（メタデータ） (2020-01-16T11:31:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。