論文の概要: Sketch-Guided Motion Diffusion for Stylized Cinemagraph Synthesis
- arxiv url: http://arxiv.org/abs/2412.00638v1
- Date: Sun, 01 Dec 2024 01:32:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:42:47.992325
- Title: Sketch-Guided Motion Diffusion for Stylized Cinemagraph Synthesis
- Title（参考訳）: スティル化シネマグラフ合成のためのスケッチ誘導運動拡散
- Authors: Hao Jin, Hengyuan Chang, Xiaoxuan Xie, Zhengyang Wang, Xusheng Du, Shaojun Hu, Haoran Xie,
- Abstract要約: Sketch2Cinemagraphは、フリーハンドスケッチからスタイリングされたシネマグラフの条件付き生成を可能にするスケッチ誘導フレームワークである。
生成した景観画像の流動領域における運動場を推定する新しい潜在運動拡散モデルを提案する。
- 参考スコア（独自算出の注目度）: 15.988686454889823
- License:
- Abstract: Designing stylized cinemagraphs is challenging due to the difficulty in customizing complex and expressive flow motions. To achieve intuitive and detailed control of the generated cinemagraphs, freehand sketches can provide a better solution to convey personalized design requirements than only text inputs. In this paper, we propose Sketch2Cinemagraph, a sketch-guided framework that enables the conditional generation of stylized cinemagraphs from freehand sketches. Sketch2Cinemagraph adopts text prompts for initial content generation and provides hand-drawn sketch controls for both spatial and motion cues. The latent diffusion model is adopted to generate target stylized landscape images along with realistic versions. Then, a pre-trained object detection model is utilized to segment and obtain masks for the flow regions. We proposed a novel latent motion diffusion model to estimate the motion field in the fluid regions of the generated landscape images. The input motion sketches serve as the conditions to control the generated vector fields in the masked fluid regions with the prompt. To synthesize the cinemagraph frames, the pixels within fluid regions are subsequently warped to the target locations for each timestep using a frame generator. The results verified that Sketch2Cinemagraph can generate high-fidelity and aesthetically appealing stylized cinemagraphs with continuous temporal flow from intuitive sketch inputs. We showcase the advantages of Sketch2Cinemagraph through quantitative comparisons against the state-of-the-art generation approaches.
- Abstract（参考訳）: スタイリングされたシネマグラフの設計は、複雑で表現力豊かな動きのカスタマイズが難しいため、難しい。
生成されたシネマグラフの直感的かつ詳細な制御を実現するために、フリーハンドスケッチは、テキスト入力だけでなく、パーソナライズされた設計要件を伝えるためのより良いソリューションを提供することができる。
本稿では,フリーハンドスケッチからスタイリングされたシネマグラフの条件付き生成を可能にするスケッチ誘導フレームワークであるSketch2Cinemagraphを提案する。
Sketch2Cinemagraphは、初期コンテンツ生成にテキストプロンプトを採用し、空間的およびモーション的キューの両方に手書きのスケッチコントロールを提供する。
潜在拡散モデルを用いて、現実的なバージョンとともに、ターゲットのスタイリングされた景観画像を生成する。
そして、事前訓練対象検出モデルを用いて、フロー領域のセグメンテーションとマスクの取得を行う。
生成した景観画像の流動領域における運動場を推定する新しい潜在運動拡散モデルを提案した。
入力された動きスケッチは、プロンプトでマスクされた流体領域で生成されたベクトル場を制御する条件として機能する。
フィルムフレームを合成するために、フレームジェネレータを用いて各タイムステップ毎に流体領域内の画素を目標位置へワープする。
その結果、Sketch2Cinemagraphは、直感的なスケッチ入力から連続的な時間的流れを持つ高忠実で美的なシネマグラフを生成できることを確認した。
我々は,Sketch2Cinemagraphの利点を,最先端生成手法と定量的比較によって示す。
関連論文リスト
- CustomSketching: Sketch Concept Extraction for Sketch-based Image
Synthesis and Editing [21.12815542848095]
大規模なテキスト・ツー・イメージ(T2I)モデルのパーソナライズ技術により、ユーザーは参照画像から新しい概念を組み込むことができる。
既存の手法は主にテキスト記述に依存しており、カスタマイズされた画像の制御が制限されている。
スケッチを直感的で汎用的な表現として識別し,このような制御を容易にする。
論文 参考訳（メタデータ） (2024-02-27T15:52:59Z) - Motion Guidance: Diffusion-Based Image Editing with Differentiable
Motion Estimators [19.853978560075305]
モーションガイダンス(Motion Guide)は、画像の各ピクセルがどこに移動すべきかを示す、密度の高い複雑なモーションフィールドを指定できる技術である。
本手法は複雑な動きに作用し、実画像や生成された画像の高品質な編集を可能にする。
論文 参考訳（メタデータ） (2024-01-31T18:59:59Z) - Sketch Video Synthesis [52.134906766625164]
フレームワイドB'ezier曲線で表現されたビデオのスケッチを行うための新しいフレームワークを提案する。
本手法は、スケッチベースのビデオ編集やビデオ合成によるビデオ再生における応用を解放する。
論文 参考訳（メタデータ） (2023-11-26T14:14:04Z) - Breathing Life Into Sketches Using Text-to-Video Priors [101.8236605955899]
スケッチは、人間が自分のアイデアを視覚的に伝えるために使う最も直感的で汎用性の高いツールの1つです。
本研究では,単一オブジェクトのスケッチに動きを自動的に付加する手法を提案する。
出力はベクトル表現で提供される短いアニメーションで、簡単に編集できる。
論文 参考訳（メタデータ） (2023-11-21T18:09:30Z) - Text-Guided Synthesis of Eulerian Cinemagraphs [81.20353774053768]
テキスト記述からシネマグラフを作成する完全自動化された方法であるText2Cinemagraphを紹介する。
連続した動きと反復的なテクスチャを示す流れの川や漂流する雲などの流体要素のシネマグラフに焦点を当てる。
論文 参考訳（メタデータ） (2023-07-06T17:59:31Z) - SketchEdit: Mask-Free Local Image Manipulation with Partial Sketches [95.45728042499836]
マスクレス局所画像操作という,スケッチに基づく画像操作の新しいパラダイムを提案する。
本モデルでは,対象の修正領域を自動的に予測し,構造型ベクトルにエンコードする。
ジェネレータは、スタイルベクトルとスケッチに基づいて、新しいイメージコンテンツを合成する。
論文 参考訳（メタデータ） (2021-11-30T02:42:31Z) - Animating Pictures with Eulerian Motion Fields [90.30598913855216]
静止画をリアルなアニメーションループ映像に変換する完全自動手法を示す。
流れ水や吹く煙など,連続流体運動の場面を対象とする。
本稿では,前向きと後向きの両方に特徴を流し,その結果をブレンドする新しいビデオループ手法を提案する。
論文 参考訳（メタデータ） (2020-11-30T18:59:06Z) - Deep Plastic Surgery: Robust and Controllable Image Editing with
Human-Drawn Sketches [133.01690754567252]
スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。
Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
論文 参考訳（メタデータ） (2020-01-09T08:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。