論文の概要: VidSketch: Hand-drawn Sketch-Driven Video Generation with Diffusion Control
- arxiv url: http://arxiv.org/abs/2502.01101v2
- Date: Mon, 17 Feb 2025 05:49:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:05:56.504683
- Title: VidSketch: Hand-drawn Sketch-Driven Video Generation with Diffusion Control
- Title（参考訳）: VidSketch: 拡散制御による手描きスケッチ駆動ビデオ生成
- Authors: Lifan Jiang, Shuang Chen, Boxi Wu, Xiaotong Guan, Jiahui Zhang,
- Abstract要約: VidSketchは、手書きのスケッチや簡単なテキストプロンプトから直接高品質のビデオアニメーションを生成する方法である。
具体的には,スケッチの指導力を自動的に調整するレベルベーススケッチ制御方式を提案する。
TempSpatial Attentionメカニズムは、生成されたビデオアニメーションの一貫性を高めるように設計されている。
- 参考スコア（独自算出の注目度）: 13.320911720001277
- License:
- Abstract: With the advancement of generative artificial intelligence, previous studies have achieved the task of generating aesthetic images from hand-drawn sketches, fulfilling the public's needs for drawing. However, these methods are limited to static images and lack the ability to control video animation generation using hand-drawn sketches. To address this gap, we propose VidSketch, the first method capable of generating high-quality video animations directly from any number of hand-drawn sketches and simple text prompts, bridging the divide between ordinary users and professional artists. Specifically, our method introduces a Level-Based Sketch Control Strategy to automatically adjust the guidance strength of sketches during the generation process, accommodating users with varying drawing skills. Furthermore, a TempSpatial Attention mechanism is designed to enhance the spatiotemporal consistency of generated video animations, significantly improving the coherence across frames. You can find more detailed cases on our official website.
- Abstract（参考訳）: 生成人工知能の進歩により、手描きのスケッチから美的イメージを生成する作業が達成され、一般大衆の絵を描く必要性を満たすようになった。
しかし,これらの手法は静止画像に限られており,手描きスケッチによる映像アニメーション生成を制御できない。
このギャップに対処するため,手書きスケッチや簡単なテキストプロンプトから直接高品質な動画アニメーションを生成できるVidSketchを提案する。
具体的には,スケッチ作成過程におけるスケッチの指導力を自動的に調整するレベルベーススケッチ制御手法を提案する。
さらに、フレーム間のコヒーレンスを大幅に改善し、生成されたビデオアニメーションの時空間一貫性を高めるために、TempSpatial Attentionメカニズムが設計されている。
詳細は公式ウェブサイトで確認できます。
関連論文リスト
- FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations [65.64014682930164]
スケッチアニメーションは、単純なフリップブックの落書きからプロのスタジオプロダクションまで、ビジュアルなストーリーテリングのための強力な媒体を提供する。
FlipSketchは、フリップブックアニメーションの魔法を復活させるシステムです。
論文 参考訳（メタデータ） (2024-11-16T14:53:03Z) - Stylized Face Sketch Extraction via Generative Prior with Limited Data [6.727433982111717]
StyleSketchは、顔画像から高解像度のスタイリングスケッチを抽出する方法である。
事前訓練されたStyleGANの深い特徴の豊富なセマンティクスを用いて、16対の顔とそれに対応するスケッチイメージでスケッチジェネレータを訓練することができる。
論文 参考訳（メタデータ） (2024-03-17T16:25:25Z) - Sketch Video Synthesis [52.134906766625164]
フレームワイドB'ezier曲線で表現されたビデオのスケッチを行うための新しいフレームワークを提案する。
本手法は、スケッチベースのビデオ編集やビデオ合成によるビデオ再生における応用を解放する。
論文 参考訳（メタデータ） (2023-11-26T14:14:04Z) - Breathing Life Into Sketches Using Text-to-Video Priors [101.8236605955899]
スケッチは、人間が自分のアイデアを視覚的に伝えるために使う最も直感的で汎用性の高いツールの1つです。
本研究では,単一オブジェクトのスケッチに動きを自動的に付加する手法を提案する。
出力はベクトル表現で提供される短いアニメーションで、簡単に編集できる。
論文 参考訳（メタデータ） (2023-11-21T18:09:30Z) - Bridging the Gap: Sketch-Aware Interpolation Network for High-Quality Animation Sketch Inbetweening [58.09847349781176]
我々は,新しい深層学習手法であるSketch-Aware Interpolation Network (SAIN)を提案する。
このアプローチには、領域レベルの対応、ストロークレベルの対応、ピクセルレベルのダイナミクスを定式化するマルチレベルガイダンスが組み込まれている。
マルチストリームのU-Transformerは、自己/クロスアテンション機構の統合により、これらのマルチレベルガイドを使用して、スケッチ間のインテンションパターンを特徴付けるように設計されている。
論文 参考訳（メタデータ） (2023-08-25T09:51:03Z) - DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。
本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
論文 参考訳（メタデータ） (2020-08-31T03:35:21Z) - Deep Plastic Surgery: Robust and Controllable Image Editing with
Human-Drawn Sketches [133.01690754567252]
スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。
Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
論文 参考訳（メタデータ） (2020-01-09T08:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。