論文の概要: CoProSketch: Controllable and Progressive Sketch Generation with Diffusion Model

• arxiv url: http://arxiv.org/abs/2504.08259v1
• Date: Fri, 11 Apr 2025 05:11:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:20:01.636543
• Title: CoProSketch: Controllable and Progressive Sketch Generation with Diffusion Model
• Title（参考訳）: CoProSketch:拡散モデルによる制御可能かつプログレッシブなスケッチ生成
• Authors: Ruohao Zhan, Yijin Li, Yisheng He, Shuo Chen, Yichen Shen, Xinyu Chen, Zilong Dong, Zhaoyang Huang, Guofeng Zhang,
• Abstract要約: スケッチ編集は、絵画アーティストのためのピクセルレベルのRGB画像編集よりも簡単で直感的であるため、芸術作品の基本的な青写真として機能する。 拡散モデルを用いたスケッチ生成のための顕著な制御性と詳細を提供する新しいフレームワークであるCoProSketchを提案する。 実験では、ベースラインよりもセマンティックな一貫性と制御性が向上し、ユーザフィードバックを生成モデルに統合するための実用的なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 18.5540421907361
• License:
• Abstract: Sketches serve as fundamental blueprints in artistic creation because sketch editing is easier and more intuitive than pixel-level RGB image editing for painting artists, yet sketch generation remains unexplored despite advancements in generative models. We propose a novel framework CoProSketch, providing prominent controllability and details for sketch generation with diffusion models. A straightforward method is fine-tuning a pretrained image generation diffusion model with binarized sketch images. However, we find that the diffusion models fail to generate clear binary images, which makes the produced sketches chaotic. We thus propose to represent the sketches by unsigned distance field (UDF), which is continuous and can be easily decoded to sketches through a lightweight network. With CoProSketch, users generate a rough sketch from a bounding box and a text prompt. The rough sketch can be manually edited and fed back into the model for iterative refinement and will be decoded to a detailed sketch as the final result. Additionally, we curate the first large-scale text-sketch paired dataset as the training data. Experiments demonstrate superior semantic consistency and controllability over baselines, offering a practical solution for integrating user feedback into generative workflows.
• Abstract（参考訳）: スケッチ編集は、絵画アーティストのためのピクセルレベルのRGB画像編集よりも簡単で直感的であるため、芸術作品の基本的な青写真として機能するが、生成モデルの発展にもかかわらず、スケッチ生成は未発見のままである。 拡散モデルを用いたスケッチ生成のための顕著な制御性と詳細を提供する新しいフレームワークであるCoProSketchを提案する。 二項化スケッチ画像を用いた事前学習画像生成拡散モデルを微調整する。 しかし,拡散モデルでは鮮明なバイナリ画像が生成できないため,スケッチのカオス化が期待できる。 そこで本稿では,非符号距離場(UDF)によるスケッチの表現を提案する。 CoProSketchでは、ユーザはバウンディングボックスとテキストプロンプトから粗いスケッチを生成する。 粗いスケッチは手作業で編集され、反復的な洗練のためにモデルに戻され、最終的な結果として詳細なスケッチにデコードされる。 さらに、トレーニングデータとして、最初の大規模テキストスケッチペアデータセットをキュレートする。 実験では、ベースラインよりもセマンティックな一貫性とコントロール性が向上し、ユーザフィードバックを生成ワークフローに統合するための実用的なソリューションを提供する。

関連論文リスト

• SwiftSketch: A Diffusion Model for Image-to-Vector Sketch Generation [57.47730473674261]
  我々は,画像条件付きベクトルスケッチ生成モデルであるSwiftSketchを紹介した。 SwiftSketchは、ガウス分布からサンプリングされたストローク制御ポイントを段階的に復調することによって動作する。 ControlSketchは、深度認識制御ネットを通じて正確な空間制御を組み込むことで、SDSベースの技術を強化する方法である。
  論文  参考訳（メタデータ） (2025-02-12T18:57:12Z)
• SketchTriplet: Self-Supervised Scenarized Sketch-Text-Image Triplet Generation [6.39528707908268]
  シーンスケッチ用の大規模なペアデータセットは引き続き欠如している。 本稿では,既存のシーンスケッチに依存しないシーンスケッチ生成のための自己教師型手法を提案する。 シーンスケッチを中心にした大規模なデータセットをコントリビュートし、セマンティックに一貫した「テキスト・スケッチ・イメージ」三つ子を含む。
  論文  参考訳（メタデータ） (2024-05-29T06:43:49Z)
• It's All About Your Sketch: Democratising Sketch Control in Diffusion Models [114.73766136068357]
  本稿では,拡散モデルにおけるスケッチの可能性を明らかにするとともに,生成型AIにおける直接スケッチ制御の詐欺的可能性に対処する。 私たちはこのプロセスを民主化し、アマチュアのスケッチが正確なイメージを生成できるようにします。
  論文  参考訳（メタデータ） (2024-03-12T01:05:25Z)
• SketchDreamer: Interactive Text-Augmented Creative Sketch Ideation [111.2195741547517]
  画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,制御されたスケッチを生成する手法を提案する。 我々の目標は、プロでないユーザにスケッチを作成させ、一連の最適化プロセスを通じて物語をストーリーボードに変換することです。
  論文  参考訳（メタデータ） (2023-08-27T19:44:44Z)
• DiffSketching: Sketch Control Image Synthesis with Diffusion Models [10.172753521953386]
  スケッチ・ツー・イメージ合成のためのディープラーニングモデルは、視覚的な詳細なしに歪んだ入力スケッチを克服する必要がある。 我々のモデルは、クロスドメイン制約を通じてスケッチにマッチし、画像合成をより正確に導くために分類器を使用する。 我々のモデルは、生成品質と人的評価の点でGANベースの手法に勝ることができ、大規模なスケッチ画像データセットに依存しない。
  論文  参考訳（メタデータ） (2023-05-30T07:59:23Z)
• SketchFFusion: Sketch-guided image editing with diffusion model [25.63913085329606]
  スケッチ誘導画像編集は、ユーザが提供するスケッチ情報に基づいて、画像の局所的な微調整を実現することを目的としている。 本稿では,画像の主輪郭を保存し,実際のスケッチスタイルに忠実に適合するスケッチ生成手法を提案する。
  論文  参考訳（メタデータ） (2023-04-06T15:54:18Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt [125.17887147597567]
  我々は、トランスフォーマー(Sketch-BERT)からのSketch BiBERT表現の学習モデルを提案する。 BERTをドメインのスケッチに一般化し、新しいコンポーネントと事前学習アルゴリズムを提案する。 Sketch-BERTの学習表現は,スケッチ認識,スケッチ検索,スケッチゲットといった下流タスクの性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-19T01:35:44Z)
• Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches [133.01690754567252]
  スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。 Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
  論文  参考訳（メタデータ） (2020-01-09T08:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。