論文の概要: CoSE: Compositional Stroke Embeddings
- arxiv url: http://arxiv.org/abs/2006.09930v2
- Date: Mon, 30 Nov 2020 18:50:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 19:06:10.916810
- Title: CoSE: Compositional Stroke Embeddings
- Title(参考訳): CoSE: 組成ストローク埋め込み
- Authors: Emre Aksan, Thomas Deselaers, Andrea Tagliasacchi, Otmar Hilliges
- Abstract要約: 本稿では、ストロークベースの描画タスクのような複雑な自由形式構造に対する生成モデルを提案する。
我々のアプローチは、自動補完図のようなインタラクティブなユースケースに適している。
- 参考スコア(独自算出の注目度): 52.529172734044664
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present a generative model for complex free-form structures such as
stroke-based drawing tasks. While previous approaches rely on sequence-based
models for drawings of basic objects or handwritten text, we propose a model
that treats drawings as a collection of strokes that can be composed into
complex structures such as diagrams (e.g., flow-charts). At the core of the
approach lies a novel autoencoder that projects variable-length strokes into a
latent space of fixed dimension. This representation space allows a relational
model, operating in latent space, to better capture the relationship between
strokes and to predict subsequent strokes. We demonstrate qualitatively and
quantitatively that our proposed approach is able to model the appearance of
individual strokes, as well as the compositional structure of larger diagram
drawings. Our approach is suitable for interactive use cases such as
auto-completing diagrams. We make code and models publicly available at
https://eth-ait.github.io/cose.
- Abstract(参考訳): 本稿では,ストロークに基づく描画タスクなどの複雑な自由形式構造に対する生成モデルを提案する。
従来のアプローチでは,基本オブジェクトの描画や手書きテキストの描画にシーケンスベースモデルを採用しているが,図形(フローチャートなど)のような複雑な構造に構成可能なストロークの集合として描画を扱うモデルを提案する。
アプローチの中心には、可変長ストロークを固定次元の潜在空間に投影する新しいオートエンコーダがある。
この表現空間により、潜在空間で動作する関係モデルは、ストローク間の関係をよりよく捉え、その後のストロークを予測することができる。
我々は,提案手法が個々のストロークの出現や,より大きな図面の構成構造をモデル化できることを定性的かつ定量的に示す。
我々のアプローチは、自動補完図のようなインタラクティブなユースケースに適している。
コードとモデルをhttps://eth-ait.github.io/coseで公開しています。
関連論文リスト
- SketchGPT: Autoregressive Modeling for Sketch Generation and Recognition [4.6519578789100215]
SketchGPTはフレキシブルなフレームワークで、シーケンスからシーケンスへの自動回帰モデルを用いてスケッチ生成と補完を行う。
複雑なスケッチを抽象的プリミティブの単純化されたシーケンスにマッピングすることで、自動回帰モデリングのための入力を大幅に合理化する。
論文 参考訳(メタデータ) (2024-05-06T01:24:14Z) - Sequential Modeling Enables Scalable Learning for Large Vision Models [120.91839619284431]
本稿では,言語データを用いずにLVM(Large Vision Model)を学習できる新しい逐次モデリング手法を提案する。
我々は、生画像やビデオや注釈付きデータソースを表現できる共通フォーマット「視覚文」を定義した。
論文 参考訳(メタデータ) (2023-12-01T18:59:57Z) - Self-Supervised Open-Ended Classification with Small Visual Language
Models [60.23212389067007]
我々は、小さな視覚言語モデルを用いたオープンエンド分類のための数ショットの能力を解放する自己教師型アプローチであるSeCAtを提案する。
約1Bパラメータを持つモデルを使用することで、FrozenやBrobAGeといった、はるかに大きなモデルの少数ショット能力より優れています。
論文 参考訳(メタデータ) (2023-09-30T21:41:21Z) - Enhancing Visually-Rich Document Understanding via Layout Structure
Modeling [91.07963806829237]
レイアウトの知識をモデルに注入する新しい文書理解モデルであるGraphLMを提案する。
我々は、FUNSD、XFUND、CORDなど様々なベンチマークでモデルを評価し、最先端の結果を得た。
論文 参考訳(メタデータ) (2023-08-15T13:53:52Z) - Link Prediction with Attention Applied on Multiple Knowledge Graph
Embedding Models [7.620967781722715]
知識グラフは、地図ノードをベクトル空間に埋め込み、新しいリンクを予測する。
すべてのパターンを平等に学習できるモデルはありません。
本稿では,複数のモデルからのクエリ表現を統一的に組み合わせ,各モデルによって独立にキャプチャされたパターンを組み込む。
論文 参考訳(メタデータ) (2023-02-13T10:07:26Z) - G-MSM: Unsupervised Multi-Shape Matching with Graph-based Affinity
Priors [52.646396621449]
G-MSMは、非剛体形状対応のための新しい教師なし学習手法である。
学習形態の集合に親和性グラフを自己教師型で構築する。
近年の形状対応ベンチマークで最先端の性能を示す。
論文 参考訳(メタデータ) (2022-12-06T12:09:24Z) - GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。
提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。
第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
論文 参考訳(メタデータ) (2022-12-01T11:49:07Z) - Vitruvion: A Generative Model of Parametric CAD Sketches [22.65229769427499]
本稿では,パラメトリックCADスケッチの生成モデルを提案する。
我々のモデルは、SketchGraphsデータセットから実世界のデザインを訓練し、スケッチをプリミティブのシーケンスとして自動回帰的に合成する。
我々は、部分スケッチ(プライマー)や手描きスケッチのイメージなど、様々な文脈でモデルを条件付けする。
論文 参考訳(メタデータ) (2021-09-29T01:02:30Z) - SketchGen: Generating Constrained CAD Sketches [34.26732809515799]
異種性問題に対処するトランスフォーマーアーキテクチャに基づく生成モデルとしてSketchGenを提案する。
私たちの仕事のハイライトは、最終的なアウトプットをより規則化するための制約によってリンクされたプリミティブを生成する機能です。
論文 参考訳(メタデータ) (2021-06-04T20:45:03Z) - R2D2: Relational Text Decoding with Transformers [18.137828323277347]
グラフ構造とそれらのノードとエッジに関連付けられた自然言語テキストとの相互作用をモデル化する新しいフレームワークを提案する。
提案手法は,グラフィカル構造とテキストのシーケンシャルな性質の両方を利用する。
提案モデルには幅広い応用があるが,データ・テキスト生成タスクにおけるその機能を示す。
論文 参考訳(メタデータ) (2021-05-10T19:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。