論文の概要: VectorFusion: Text-to-SVG by Abstracting Pixel-Based Diffusion Models

• arxiv url: http://arxiv.org/abs/2211.11319v1
• Date: Mon, 21 Nov 2022 10:04:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 17:24:47.721350
• Title: VectorFusion: Text-to-SVG by Abstracting Pixel-Based Diffusion Models
• Title（参考訳）: VectorFusion: ピクセルベース拡散モデルを抽象化したテキストからSVG
• Authors: Ajay Jain and Amber Xie and Pieter Abbeel
• Abstract要約: 画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,SVG-exportable vector graphicsを生成する。 近年のテキスト・ツー・3D研究に触発されて,Score Distillation Smpling を用いたキャプションと整合したSVGを学習した。 実験では、以前の作品よりも品質が向上し、ピクセルアートやスケッチを含む様々なスタイルが示されている。
• 参考スコア（独自算出の注目度）: 82.93345261434943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have shown impressive results in text-to-image synthesis. Using massive datasets of captioned images, diffusion models learn to generate raster images of highly diverse objects and scenes. However, designers frequently use vector representations of images like Scalable Vector Graphics (SVGs) for digital icons or art. Vector graphics can be scaled to any size, and are compact. We show that a text-conditioned diffusion model trained on pixel representations of images can be used to generate SVG-exportable vector graphics. We do so without access to large datasets of captioned SVGs. By optimizing a differentiable vector graphics rasterizer, our method, VectorFusion, distills abstract semantic knowledge out of a pretrained diffusion model. Inspired by recent text-to-3D work, we learn an SVG consistent with a caption using Score Distillation Sampling. To accelerate generation and improve fidelity, VectorFusion also initializes from an image sample. Experiments show greater quality than prior work, and demonstrate a range of styles including pixel art and sketches. See our project webpage at https://ajayj.com/vectorfusion .
• Abstract（参考訳）: 拡散モデルはテキストと画像の合成において顕著な結果を示した。 キャプション付き画像の膨大なデータセットを使用して、拡散モデルは高度に多様なオブジェクトやシーンのラスター画像を生成する。 しかしデザイナは、デジタルアイコンやアートのために、SVG(Scalable Vector Graphics)のようなイメージのベクトル表現を使うことが多い。 ベクトルグラフィックスは任意のサイズにスケールでき、コンパクトである。 画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,SVG-exportable vector graphicsを生成する。 字幕付きsvgの大規模なデータセットにアクセスできない。 微分可能なベクトルグラフィックスラスタライザを最適化することにより、VectorFusionは、事前訓練された拡散モデルから抽象意味知識を抽出する。 最近のテキストから3dへの取り組みに触発されて、スコア蒸留サンプリングを用いてキャプションと一貫性のあるsvgを学習する。 生成を加速し、忠実度を向上させるために、ベクターフュージョンは画像サンプルから初期化する。 実験では、以前の作品よりも品質が高く、ピクセルアートやスケッチを含む様々なスタイルが示されている。 プロジェクトのWebページはhttps://ajayj.com/vectorfusion を参照してください。

関連論文リスト

• Vector Grimoire: Codebook-based Shape Generation under Raster Image Supervision [20.325246638505714]
  本稿では,GRIMOIREというテキスト誘導型生成モデルを紹介し,画像をベクトル形状に再構成して離散コードブックにマッピングする方法を提案する。 データから直接の監視を必要とする既存のモデルとは異なり、GRIMOIREはベクトル生成モデリングをはるかに多くのデータに開放するイメージ監督のみを使用して学習する。
  論文  参考訳（メタデータ） (2024-10-08T12:41:31Z)
• SuperSVG: Superpixel-based Scalable Vector Graphics Synthesis [66.44553285020066]
  SuperSVGは、高速かつ高精度な画像ベクトル化を実現するスーパーピクセルベースのベクトル化モデルである。 本稿では,2段階の自己学習フレームワークを提案する。そこでは,粗い段階モデルを用いて主構造を再構築し,細部を充実させるために改良段階モデルを用いる。 再現精度と推定時間の観点から, 最先端手法と比較して, 提案手法の優れた性能を示す実験を行った。
  論文  参考訳（メタデータ） (2024-06-14T07:43:23Z)
• StrokeNUWA: Tokenizing Strokes for Vector Graphic Synthesis [112.25071764647683]
  StrokeNUWAはベクターグラフィックスにおけるより良い視覚表現'ストロークトークン'を探求する先駆的な研究である。 ストロークトークンを備えたStrokeNUWAは、従来のLCMベースの最適化ベースのメソッドを大幅に上回ることができる。 StrokeNUWAは、SVGコード圧縮比が6.9%の従来の手法よりも94倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2024-01-30T15:20:26Z)
• SVGDreamer: Text Guided SVG Generation with Diffusion Model [31.76771064173087]
  SVGDreamerと呼ばれる新しいテキスト誘導ベクトルグラフィックス合成法を提案する。 SIVEプロセスは、前景オブジェクトと背景への合成の分解を可能にする。 VPSDアプローチは、形状の平滑化、彩度の過飽和、多様性の制限、収束の遅い問題に対処する。
  論文  参考訳（メタデータ） (2023-12-27T08:50:01Z)
• SAMVG: A Multi-stage Image Vectorization Model with the Segment-Anything Model [59.40189857428461]
  画像をSVG(Scalable Vector Graphics)にベクトル化する多段階モデルを提案する。 第一に、SAMVGはSegment-Anything Modelによって提供される一般的な画像セグメンテーションを使い、新しいフィルタリング手法を用いて画像全体の最も高密度なセグメンテーションマップを識別する。 次に、SAMVGは欠落したコンポーネントを特定し、SVGにより詳細なコンポーネントを追加する。
  論文  参考訳（メタデータ） (2023-11-09T11:11:56Z)
• Text-Guided Vector Graphics Customization [31.41266632288932]
  テキストのプロンプトに基づいて高品質なベクトルグラフィックスを生成する新しいパイプラインを提案する。 提案手法は,大規模な事前学習されたテキスト・ツー・イメージ・モデルの能力を利用する。 我々は,ベクトルレベル,画像レベル,テキストレベルの観点から,複数の指標を用いて評価を行った。
  論文  参考訳（メタデータ） (2023-09-21T17:59:01Z)
• Towards Layer-wise Image Vectorization [57.26058135389497]
  画像をSVGに変換し,画像トポロジを同時に維持するためのレイヤワイズ画像ベクトル化(LIVE)を提案する。 Liveは、人間の視点にセマンティックに整合した階層構造を持つコンパクトなフォームを生成する。 Liveは、デザイナの両方のために編集可能なSVGを起動し、他のアプリケーションで使用することができる。
  論文  参考訳（メタデータ） (2022-06-09T17:55:02Z)
• Im2Vec: Synthesizing Vector Graphics without Vector Supervision [31.074606918245298]
  ベクトルグラフィックスはフォント、ロゴ、デジタルアートワーク、グラフィックデザインを表現するために広く使われている。 入力グラフィックを常に調整し、画像ベースの生成アプローチを利用することができる。 訓練時のベクトル表現の明示的な監督を必要とする現在のモデルは、入手が困難である。 様々なトポロジを持つ複雑なベクトルグラフを生成するニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T18:39:45Z)
• DeepSVG: A Hierarchical Generative Network for Vector Graphics Animation [217.86315551526235]
  本稿では,複雑なSVGアイコンの生成と操作のために,DeepSVGと呼ばれる新しい階層型生成ネットワークを提案する。 我々のアーキテクチャは、その形状自体をエンコードする低レベルのコマンドから、効果的に高レベルの形状を分離します。 我々のネットワークは、多様なベクトルグラフィックスを正確に再構築し、強力なアニメーションツールとして機能することを実証する。
  論文  参考訳（メタデータ） (2020-07-22T09:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。