論文の概要: IconShop: Text-Based Vector Icon Synthesis with Autoregressive Transformers

• arxiv url: http://arxiv.org/abs/2304.14400v1
• Date: Thu, 27 Apr 2023 17:58:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 11:54:21.935482
• Title: IconShop: Text-Based Vector Icon Synthesis with Autoregressive Transformers
• Title（参考訳）: IconShop: 自動回帰変換器を用いたテキストベースベクトルアイコン合成
• Authors: Ronghuan Wu, Wanchao Su, Kede Ma, Jing Liao
• Abstract要約: 自動回帰変換器を用いたテキスト誘導ベクトルアイコン合成法であるIconShopを導入する。 提案したIconShopは、既存の画像ベースや言語ベースの方法よりも、アイコン合成性能が一貫して向上している。 さらに重要なことは、アイコン操作を2つの新しいタスクで行うことで、IconShopの柔軟性を実証することです。
• 参考スコア（独自算出の注目度）: 35.9550310656242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scalable Vector Graphics (SVG) is a prevalent vector image format with good support for interactivity and animation. Despite such appealing characteristics, it is generally challenging for users to create their own SVG content because of the long learning curve to comprehend SVG grammars or acquaint themselves with professional editing software. Recent progress in text-to-image generation has inspired researchers to explore image-based icon synthesis (i.e., text -> raster image -> vector image) via differential rendering and language-based icon synthesis (i.e., text -> vector image script) via the "zero-shot" capabilities of large language models. However, these methods may suffer from several limitations regarding generation quality, diversity, flexibility, and speed. In this paper, we introduce IconShop, a text-guided vector icon synthesis method using an autoregressive transformer. The key to success of our approach is to sequentialize and tokenize the SVG paths (and textual descriptions) into a uniquely decodable command sequence. With such a single sequence as input, we are able to fully exploit the sequence learning power of autoregressive transformers, while enabling various icon synthesis and manipulation tasks. Through standard training to predict the next token on a large-scale icon dataset accompanied by textural descriptions, the proposed IconShop consistently exhibits better icon synthesis performance than existing image-based and language-based methods both quantitatively (using the FID and CLIP score) and qualitatively (through visual inspection). Meanwhile, we observe a dramatic improvement in generation diversity, which is supported by objective measures (Uniqueness and Novelty). More importantly, we demonstrate the flexibility of IconShop with two novel icon manipulation tasks - text-guided icon infilling, and text-combined icon synthesis.
• Abstract（参考訳）: スケーラブルベクトルグラフィックス(SVG)は、対話性とアニメーションをうまくサポートしたベクトル画像フォーマットである。 このような魅力的な特徴にもかかわらず、SVG文法の理解やプロの編集ソフトとの知識が長いため、ユーザが独自のSVGコンテンツを作成することは一般的に困難である。 テキスト対画像生成の最近の進歩は、大きな言語モデルの「ゼロショット」機能を通じて、差分レンダリングと言語ベースのアイコン合成(テキスト ->ベクターイメージスクリプト)を通じてイメージベースのアイコン合成(テキスト ->ラスターイメージ ->ベクターイメージ)を探求する研究に刺激を与えている。 しかし、これらの手法には、生成品質、多様性、柔軟性、速度に関するいくつかの制限がある。 本稿では,自動回帰変換器を用いたテキスト誘導ベクトルアイコン合成法であるIconShopを紹介する。 このアプローチの成功の鍵は、SVGパス(およびテキスト記述)をユニークなデオード可能なコマンドシーケンスにシーケンシャル化し、トークン化することです。 このような単一シーケンスを入力として、自己回帰変換器のシーケンス学習能力をフル活用し、様々なアイコン合成や操作タスクを可能にする。 テキスト記述を伴う大規模なアイコンデータセット上で次のトークンを予測するための標準的なトレーニングを通じて、提案したIconShopは、既存の画像ベースおよび言語ベースのメソッド(FIDとCLIPスコアを使用して)と定性的に(視覚検査を通じて)、より優れたアイコン合成性能を示す。 一方、客観的尺度(普遍性とノベルティ)によって支えられる世代多様性の劇的な改善を観察する。 さらに,2つの新しいアイコン操作タスク – テキストガイド付きアイコンインフィル,テキスト結合型アイコン合成 – によって,アイコンショップの柔軟性を実証する。

関連論文リスト

• SVGDreamer++: Advancing Editability and Diversity in Text-Guided SVG Generation [31.76771064173087]
  既存の手法の限界に対処する新しいテキスト誘導ベクトルグラフィックス合成法を提案する。 本稿では,階層型イメージベクタライゼーション(HIVE)フレームワークについて紹介する。 また、SVGの多様性を向上させるために、ベクトル化粒子を用いたスコア蒸留(VPSD)手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T19:13:38Z)
• SVGDreamer: Text Guided SVG Generation with Diffusion Model [31.76771064173087]
  SVGDreamerと呼ばれる新しいテキスト誘導ベクトルグラフィックス合成法を提案する。 SIVEプロセスは、前景オブジェクトと背景への合成の分解を可能にする。 VPSDアプローチは、形状の平滑化、彩度の過飽和、多様性の制限、収束の遅い問題に対処する。
  論文  参考訳（メタデータ） (2023-12-27T08:50:01Z)
• Text-Guided Vector Graphics Customization [31.41266632288932]
  テキストのプロンプトに基づいて高品質なベクトルグラフィックスを生成する新しいパイプラインを提案する。 提案手法は,大規模な事前学習されたテキスト・ツー・イメージ・モデルの能力を利用する。 我々は,ベクトルレベル,画像レベル,テキストレベルの観点から,複数の指標を用いて評価を行った。
  論文  参考訳（メタデータ） (2023-09-21T17:59:01Z)
• VectorFusion: Text-to-SVG by Abstracting Pixel-Based Diffusion Models [82.93345261434943]
  画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,SVG-exportable vector graphicsを生成する。 近年のテキスト・ツー・3D研究に触発されて,Score Distillation Smpling を用いたキャプションと整合したSVGを学習した。 実験では、以前の作品よりも品質が向上し、ピクセルアートやスケッチを含む様々なスタイルが示されている。
  論文  参考訳（メタデータ） (2022-11-21T10:04:27Z)
• Towards Layer-wise Image Vectorization [57.26058135389497]
  画像をSVGに変換し,画像トポロジを同時に維持するためのレイヤワイズ画像ベクトル化(LIVE)を提案する。 Liveは、人間の視点にセマンティックに整合した階層構造を持つコンパクトなフォームを生成する。 Liveは、デザイナの両方のために編集可能なSVGを起動し、他のアプリケーションで使用することができる。
  論文  参考訳（メタデータ） (2022-06-09T17:55:02Z)
• Improving Visual Quality of Image Synthesis by A Token-based Generator with Transformers [51.581926074686535]
  本稿では,このタスクを視覚的トークン生成問題とみなして,画像合成の新たな視点を示す。 提案したTokenGANは、広く使われている画像合成ベンチマークで最先端の結果を得た。
  論文  参考訳（メタデータ） (2021-11-05T12:57:50Z)
• Enhanced Modality Transition for Image Captioning [51.72997126838352]
  MTM(Modality Transition Module)を構築し、言語モデルに転送する前に視覚的機能をセマンティック表現に転送します。 トレーニング段階では、モダリティ遷移ネットワークは提案されたモダリティ損失によって最適化される。 提案手法の有効性を示すMS-COCOデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2021-02-23T07:20:12Z)
• DeepSVG: A Hierarchical Generative Network for Vector Graphics Animation [217.86315551526235]
  本稿では,複雑なSVGアイコンの生成と操作のために,DeepSVGと呼ばれる新しい階層型生成ネットワークを提案する。 我々のアーキテクチャは、その形状自体をエンコードする低レベルのコマンドから、効果的に高レベルの形状を分離します。 我々のネットワークは、多様なベクトルグラフィックスを正確に再構築し、強力なアニメーションツールとして機能することを実証する。
  論文  参考訳（メタデータ） (2020-07-22T09:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。