Fugu-MT 論文翻訳(概要): SketchFlow: Zero-Shot Vector Sketch Generation via GMM Prior Flow in CLIP Latent Space

論文の概要: SketchFlow: Zero-Shot Vector Sketch Generation via GMM Prior Flow in CLIP Latent Space

arxiv url: http://arxiv.org/abs/2608.21659v1
Date: Fri, 21 Aug 2026 22:02:23 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-25 18:24:36.91681
Title: SketchFlow: Zero-Shot Vector Sketch Generation via GMM Prior Flow in CLIP Latent Space
Title（参考訳）: SketchFlow:CLIP遅延空間におけるGMM前流によるゼロショットベクトルスケッチ生成
Abstract要約: 我々は、最適輸送(OT)理論とフローマッチングに根ざした、新しい生成フレームワークであるSketchFlowを提案する。事前学習したCLIPモデルを利用することで、連続写像問題としてクロスモーダルアライメントを定式化する。実験により、SketchFlowは、視覚的品質と自然な人間の描画スタイルへの固執において、既存のベースラインを大幅に上回っていることが示された。
参考スコア（独自算出の注目度）: 9.378039371407114
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Vector sketches remain one of the most concise and immediate mediums for abstract human expression. However, generating high-quality vector strokes that exhibit human-like drawing styles remains an open challenge due to the severe scarcity of fine-grained, high-quality text-to-sketch paired data. Existing text-conditioned generation methods often rely on unstable, time-consuming optimization or struggle to generalize to unseen categories in a zero-shot manner. To address these limitations, we present SketchFlow, a novel generative framework rooted in Optimal Transport (OT) theory and flow matching. By leveraging pre-trained CLIP models to bypass labor-intensive image-level text annotations, we formulate cross-modal alignment as a continuous mapping problem directly within the CLIP latent space. To bridge the inevitable modality gap between discrete text concepts and continuous sketch features, we first inject noise into discrete category embeddings to construct a continuous Gaussian Mixture Model (GMM) prior. We then utilize an Optimal Transport Conditional Flow Matching (OT-CFM) model to learn a deterministic vector field mapping from this continuous GMM prior to the target sketch feature distribution. Finally, a Hybrid Diffusion Decoder, fusing 1D U-Net and Transformer architectures, is designed to decode these features into fast and high-fidelity stroke trajectories. Extensive experiments demonstrate that SketchFlow substantially outperforms existing baselines in visual quality and adherence to natural human drawing styles. Furthermore, our geometry-preserving framework demonstrates promising local zero-shot synthesis for prompts beyond the QuickDraw training vocabulary, including unseen concept labels and semantic modifiers, while enabling smooth, continuous semantic interpolation between distinct concepts. Source code is available at: https://github.com/QiuHong-1202/SketchFlow.
Abstract（参考訳）: ベクトルスケッチは、抽象的な人間の表現の最も簡潔で即時的な媒体の1つとして残されている。しかし、細粒度で高品質なテキストとスケッチのペアデータの不足により、人間のような描画スタイルを示す高品質なベクトルストロークを生成することは、依然としてオープンな課題である。既存のテキスト条件付き生成手法は、不安定で時間を要する最適化や、ゼロショット方式で目に見えないカテゴリに一般化する難しさに頼っていることが多い。これらの制約に対処するため, 最適輸送(OT)理論とフローマッチングに根ざした新しい生成フレームワークであるSketchFlowを提案する。トレーニング済みのCLIPモデルを用いて、労働集約的な画像レベルのテキストアノテーションを回避し、CLIP潜在空間内での連続マッピング問題として、クロスモーダルアライメントを定式化する。離散テキスト概念と連続スケッチ特徴の間の必然的モダリティギャップを埋めるために,まずノイズを個別のカテゴリ埋め込みに注入し,連続ガウス混合モデル(GMM)を前もって構築する。次に、最適輸送条件フローマッチング(OT-CFM)モデルを用いて、目標スケッチ特徴分布に先立って、この連続GMMから決定論的ベクトル場マッピングを学習する。最後に、1D U-NetとTransformerアーキテクチャを融合したハイブリッド拡散デコーダは、これらの機能を高速かつ高忠実なストローク軌道にデコードするように設計されている。大規模な実験により、SketchFlowは、視覚的品質と自然な人間の描画スタイルへの固執において、既存のベースラインを大幅に上回っていることが示された。さらに,我々の幾何保存フレームワークは,概念ラベルや意味修飾子を含むQuickDrawトレーニング語彙以外のプロンプトに対して,局所的なゼロショット合成を期待できることを示すとともに,異なる概念間のスムーズで連続的な意味的補間を可能にする。ソースコードは、https://github.com/QiuHong-1202/SketchFlow.comで入手できる。

論文の概要: SketchFlow: Zero-Shot Vector Sketch Generation via GMM Prior Flow in CLIP Latent Space

関連論文リスト