論文の概要: StarVector: Generating Scalable Vector Graphics Code from Images and Text

• arxiv url: http://arxiv.org/abs/2312.11556v3
• Date: Thu, 05 Dec 2024 22:32:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 12:36:23.072465
• Title: StarVector: Generating Scalable Vector Graphics Code from Images and Text
• Title（参考訳）: StarVector: 画像とテキストからスケーラブルなベクターグラフィックスコードを生成する
• Authors: Juan A. Rodriguez, Abhay Puri, Shubham Agarwal, Issam H. Laradji, Pau Rodriguez, Sai Rajeswar, David Vazquez, Christopher Pal, Marco Pedersoli,
• Abstract要約: 本稿では,SVG生成のための多モーダル大言語モデルであるStarを紹介する。 画像のセマンティクスを理解し、SVGプリミティブをコンパクトで正確な出力に使用することにより、画像ベクトル化を行う。 ベクトル化タスク間の一般化を可能にする2Mサンプルの多種多様なデータセットであるStarStackをトレーニングする。
• 参考スコア（独自算出の注目度）: 15.32194071443065
• License:
• Abstract: Scalable Vector Graphics (SVGs) are vital for modern image rendering due to their scalability and versatility. Previous SVG generation methods have focused on curve-based vectorization, lacking semantic understanding, often producing artifacts, and struggling with SVG primitives beyond path curves. To address these issues, we introduce StarVector, a multimodal large language model for SVG generation. It performs image vectorization by understanding image semantics and using SVG primitives for compact, precise outputs. Unlike traditional methods, StarVector works directly in the SVG code space, leveraging visual understanding to apply accurate SVG primitives. To train StarVector, we create SVG-Stack, a diverse dataset of 2M samples that enables generalization across vectorization tasks and precise use of primitives like ellipses, polygons, and text. We address challenges in SVG evaluation, showing that pixel-based metrics like MSE fail to capture the unique qualities of vector graphics. We introduce SVG-Bench, a benchmark across 10 datasets, and 3 tasks: Image-to-SVG, Text-to-SVG generation, and diagram generation. Using this setup, StarVector achieves state-of-the-art performance, producing more compact and semantically rich SVGs.
• Abstract（参考訳）: スケーラブルベクトルグラフィックス(SVG)は、スケーラビリティと汎用性のために、現代的な画像レンダリングに不可欠である。 従来のSVG生成法は、曲線ベースのベクトル化、意味理解の欠如、しばしば人工物の生成、経路曲線を超えたSVGプリミティブとの闘いに重点を置いてきた。 これらの問題に対処するために,SVG生成のための多モーダル大規模言語モデルであるStarVectorを紹介する。 画像のセマンティクスを理解し、SVGプリミティブをコンパクトで正確な出力に使用することにより、画像ベクトル化を行う。 従来の方法とは異なり、StarVectorはSVGコード空間で直接動作し、視覚的理解を利用して正確なSVGプリミティブを適用する。 StarVectorをトレーニングするために、SVG-Stackという2Mサンプルの多様なデータセットを作成し、ベクトル化タスクをまたいだ一般化と、楕円、ポリゴン、テキストなどのプリミティブの正確な使用を可能にします。 SVG評価における課題に対処し、MSEのような画素ベースのメトリクスがベクトルグラフィックスのユニークな特性を捉えていないことを示す。 SVG-Benchは10のデータセットにまたがるベンチマークであり、画像からSVG、テキストからSVG生成、ダイアグラム生成の3つのタスクを紹介する。 このセットアップを使用して、StarVectorは最先端のパフォーマンスを実現し、よりコンパクトでセマンティックにリッチなSVGを生成する。

関連論文リスト

• NeuralSVG: An Implicit Representation for Text-to-Vector Generation [54.4153300455889]
  本稿では,テキストプロンプトからベクトルグラフィックスを生成する暗黙的なニューラル表現であるNeuralSVGを提案する。 生成したSVGの層構造を促進するために,ドロップアウトに基づく正規化手法を導入する。 ニューラルSVGは、構造化された柔軟なSVGを生成する際に、既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-07T18:50:06Z)
• SVGBuilder: Component-Based Colored SVG Generation with Text-Guided Autoregressive Transformers [5.921625661186367]
  本稿では,テキスト入力から高品質な色付きSVGを生成するためのコンポーネントベース自動回帰モデルを提案する。 計算オーバーヘッドを大幅に削減し、従来の方法に比べて効率を向上する。 既存のSVGデータセットの限界に対処し、我々の研究を支援するために、カラーSVGの最初の大規模データセットであるColorSVG-100Kを紹介する。
  論文  参考訳（メタデータ） (2024-12-13T15:24:11Z)
• SVGFusion: Scalable Text-to-SVG Generation via Vector Space Diffusion [32.01103570298614]
  SVGFusionは、現実のSVGデータへのスケーリングが可能なテキストからSVGモデルである。 人気のあるText-to-Imageフレームワークを使って、ベクターグラフィックスのための連続的な潜伏空間を学習する。 品質と一般化性の向上を実現し、新たなSVGコンテンツ作成を実現する。
  論文  参考訳（メタデータ） (2024-12-11T09:02:25Z)
• Beyond Pixels: Exploring Human-Readable SVG Generation for Simple Images with Vision Language Models [19.145503353922038]
  本稿では,Simple-SVG-Generation (Stextsuperscript2VGtextsuperscript2)を提案する。 本手法は,正確かつ簡便なSVGの生成と,人間の可読性と理解の整合性に重点を置いている。 その結果,従来のSVG生成手法よりも明らかに改善された結果が得られた。
  論文  参考訳（メタデータ） (2023-11-27T05:20:11Z)
• SAMVG: A Multi-stage Image Vectorization Model with the Segment-Anything Model [59.40189857428461]
  画像をSVG(Scalable Vector Graphics)にベクトル化する多段階モデルを提案する。 第一に、SAMVGはSegment-Anything Modelによって提供される一般的な画像セグメンテーションを使い、新しいフィルタリング手法を用いて画像全体の最も高密度なセグメンテーションマップを識別する。 次に、SAMVGは欠落したコンポーネントを特定し、SVGにより詳細なコンポーネントを追加する。
  論文  参考訳（メタデータ） (2023-11-09T11:11:56Z)
• VectorFusion: Text-to-SVG by Abstracting Pixel-Based Diffusion Models [82.93345261434943]
  画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,SVG-exportable vector graphicsを生成する。 近年のテキスト・ツー・3D研究に触発されて,Score Distillation Smpling を用いたキャプションと整合したSVGを学習した。 実験では、以前の作品よりも品質が向上し、ピクセルアートやスケッチを含む様々なスタイルが示されている。
  論文  参考訳（メタデータ） (2022-11-21T10:04:27Z)
• Towards Layer-wise Image Vectorization [57.26058135389497]
  画像をSVGに変換し,画像トポロジを同時に維持するためのレイヤワイズ画像ベクトル化(LIVE)を提案する。 Liveは、人間の視点にセマンティックに整合した階層構造を持つコンパクトなフォームを生成する。 Liveは、デザイナの両方のために編集可能なSVGを起動し、他のアプリケーションで使用することができる。
  論文  参考訳（メタデータ） (2022-06-09T17:55:02Z)
• SVG-Net: An SVG-based Trajectory Prediction Model [67.68864911674308]
  シーン内の車両の動きを予想することは、安全な自動運転システムにとって重要な問題である。 この目的のために、シーンのインフラの理解は、しばしば将来の軌跡を予測する主要な手がかりである。 提案手法のほとんどが逆逆変換方式のシーンを表現しており、近年のアプローチではカスタムベクトル化方式が採用されている。
  論文  参考訳（メタデータ） (2021-10-07T18:00:08Z)
• DeepSVG: A Hierarchical Generative Network for Vector Graphics Animation [217.86315551526235]
  本稿では,複雑なSVGアイコンの生成と操作のために,DeepSVGと呼ばれる新しい階層型生成ネットワークを提案する。 我々のアーキテクチャは、その形状自体をエンコードする低レベルのコマンドから、効果的に高レベルの形状を分離します。 我々のネットワークは、多様なベクトルグラフィックスを正確に再構築し、強力なアニメーションツールとして機能することを実証する。
  論文  参考訳（メタデータ） (2020-07-22T09:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。