論文の概要: Text-to-Vector Generation with Neural Path Representation
- arxiv url: http://arxiv.org/abs/2405.10317v2
- Date: Mon, 20 May 2024 16:56:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 19:56:17.945517
- Title: Text-to-Vector Generation with Neural Path Representation
- Title（参考訳）: ニューラルパス表現を用いたテキスト・ツー・ベクター生成
- Authors: Peiying Zhang, Nanxuan Zhao, Jing Liao,
- Abstract要約: 本稿では,シーケンスと画像の両モードから経路潜在空間を学習するニューラルパス表現を提案する。
第1段階では、事前訓練されたテキスト・ツー・イメージ拡散モデルにより、複雑なベクトルグラフィックスの初期生成が導かれる。
第2段階では、レイヤワイズ画像ベクトル化戦略を用いてグラフィクスを洗練し、より明確な要素と構造を実現する。
- 参考スコア（独自算出の注目度）: 27.949704002538944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vector graphics are widely used in digital art and highly favored by designers due to their scalability and layer-wise properties. However, the process of creating and editing vector graphics requires creativity and design expertise, making it a time-consuming task. Recent advancements in text-to-vector (T2V) generation have aimed to make this process more accessible. However, existing T2V methods directly optimize control points of vector graphics paths, often resulting in intersecting or jagged paths due to the lack of geometry constraints. To overcome these limitations, we propose a novel neural path representation by designing a dual-branch Variational Autoencoder (VAE) that learns the path latent space from both sequence and image modalities. By optimizing the combination of neural paths, we can incorporate geometric constraints while preserving expressivity in generated SVGs. Furthermore, we introduce a two-stage path optimization method to improve the visual and topological quality of generated SVGs. In the first stage, a pre-trained text-to-image diffusion model guides the initial generation of complex vector graphics through the Variational Score Distillation (VSD) process. In the second stage, we refine the graphics using a layer-wise image vectorization strategy to achieve clearer elements and structure. We demonstrate the effectiveness of our method through extensive experiments and showcase various applications. The project page is https://intchous.github.io/T2V-NPR.
- Abstract（参考訳）: ベクトルグラフィックスはデジタルアートで広く使われており、そのスケーラビリティとレイヤーワイドの性質からデザイナーに好まれている。
しかし、ベクトルグラフィックスの作成と編集には創造性と設計の専門知識が必要であり、時間を要する作業となっている。
テキスト・ツー・ベクター(T2V)生成の最近の進歩は、このプロセスをより使いやすくすることを目的としている。
しかし、既存のT2V法はベクトルグラフパスの制御点を直接最適化し、幾何学的制約が欠如しているため、しばしば交差やジャグリングの経路が生じる。
これらの制約を克服するために,2分岐変分オートエンコーダ(VAE)を設計し,シーケンスと画像の両モードから経路潜時空間を学習するニューラルパス表現を提案する。
ニューラルパスの組み合わせを最適化することにより、生成したSVGの表現性を保ちながら幾何的制約を組み込むことができる。
さらに,生成したSVGの視覚的およびトポロジ的品質を改善するための2段階経路最適化手法を提案する。
第1段階では、事前訓練されたテキスト・ツー・イメージ拡散モデルが、変分スコア蒸留(VSD)プロセスを通じて複雑なベクトルグラフィックスの初期生成を導く。
第2段階では、レイヤワイズ画像ベクトル化戦略を用いてグラフィクスを洗練し、より明確な要素と構造を実現する。
本手法の有効性を実験的に検証し,様々な応用例を示す。
プロジェクトページはhttps://intchous.github.io/T2V-NPR。
関連論文リスト
- Segmentation-guided Layer-wise Image Vectorization with Gradient Fills [6.037332707968933]
そこで本稿では,画像を勾配を埋め込んだ簡潔なベクトルグラフに変換するためのセグメンテーション誘導ベクトル化フレームワークを提案する。
組込み勾配認識セグメンテーションの指導により, 段階的に勾配を埋め込んだB'ezierパスを出力に付加する。
論文 参考訳（メタデータ） (2024-08-28T12:08:25Z) - SuperSVG: Superpixel-based Scalable Vector Graphics Synthesis [66.44553285020066]
SuperSVGは、高速かつ高精度な画像ベクトル化を実現するスーパーピクセルベースのベクトル化モデルである。
本稿では,2段階の自己学習フレームワークを提案する。そこでは,粗い段階モデルを用いて主構造を再構築し,細部を充実させるために改良段階モデルを用いる。
再現精度と推定時間の観点から, 最先端手法と比較して, 提案手法の優れた性能を示す実験を行った。
論文 参考訳（メタデータ） (2024-06-14T07:43:23Z) - StrokeNUWA: Tokenizing Strokes for Vector Graphic Synthesis [112.25071764647683]
StrokeNUWAはベクターグラフィックスにおけるより良い視覚表現'ストロークトークン'を探求する先駆的な研究である。
ストロークトークンを備えたStrokeNUWAは、従来のLCMベースの最適化ベースのメソッドを大幅に上回ることができる。
StrokeNUWAは、SVGコード圧縮比が6.9%の従来の手法よりも94倍のスピードアップを達成している。
論文 参考訳（メタデータ） (2024-01-30T15:20:26Z) - SVGDreamer: Text Guided SVG Generation with Diffusion Model [31.76771064173087]
SVGDreamerと呼ばれる新しいテキスト誘導ベクトルグラフィックス合成法を提案する。
SIVEプロセスは、前景オブジェクトと背景への合成の分解を可能にする。
VPSDアプローチは、形状の平滑化、彩度の過飽和、多様性の制限、収束の遅い問題に対処する。
論文 参考訳（メタデータ） (2023-12-27T08:50:01Z) - Text-Guided Vector Graphics Customization [31.41266632288932]
テキストのプロンプトに基づいて高品質なベクトルグラフィックスを生成する新しいパイプラインを提案する。
提案手法は,大規模な事前学習されたテキスト・ツー・イメージ・モデルの能力を利用する。
我々は,ベクトルレベル,画像レベル,テキストレベルの観点から,複数の指標を用いて評価を行った。
論文 参考訳（メタデータ） (2023-09-21T17:59:01Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳（メタデータ） (2023-08-18T17:55:47Z) - VectorFusion: Text-to-SVG by Abstracting Pixel-Based Diffusion Models [82.93345261434943]
画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,SVG-exportable vector graphicsを生成する。
近年のテキスト・ツー・3D研究に触発されて,Score Distillation Smpling を用いたキャプションと整合したSVGを学習した。
実験では、以前の作品よりも品質が向上し、ピクセルアートやスケッチを含む様々なスタイルが示されている。
論文 参考訳（メタデータ） (2022-11-21T10:04:27Z) - Towards Layer-wise Image Vectorization [57.26058135389497]
画像をSVGに変換し,画像トポロジを同時に維持するためのレイヤワイズ画像ベクトル化(LIVE)を提案する。
Liveは、人間の視点にセマンティックに整合した階層構造を持つコンパクトなフォームを生成する。
Liveは、デザイナの両方のために編集可能なSVGを起動し、他のアプリケーションで使用することができる。
論文 参考訳（メタデータ） (2022-06-09T17:55:02Z) - DeepSVG: A Hierarchical Generative Network for Vector Graphics Animation [217.86315551526235]
本稿では,複雑なSVGアイコンの生成と操作のために,DeepSVGと呼ばれる新しい階層型生成ネットワークを提案する。
我々のアーキテクチャは、その形状自体をエンコードする低レベルのコマンドから、効果的に高レベルの形状を分離します。
我々のネットワークは、多様なベクトルグラフィックスを正確に再構築し、強力なアニメーションツールとして機能することを実証する。
論文 参考訳（メタデータ） (2020-07-22T09:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。