論文の概要: Breathing Life Into Sketches Using Text-to-Video Priors

• arxiv url: http://arxiv.org/abs/2311.13608v1
• Date: Tue, 21 Nov 2023 18:09:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-03 14:12:56.504837
• Title: Breathing Life Into Sketches Using Text-to-Video Priors
• Title（参考訳）: テキスト・ビデオ・プリミティブによるスケッチの呼吸生活
• Authors: Rinon Gal, Yael Vinker, Yuval Alaluf, Amit H. Bermano, Daniel Cohen-Or, Ariel Shamir, Gal Chechik
• Abstract要約: スケッチは、人間が自分のアイデアを視覚的に伝えるために使う最も直感的で汎用性の高いツールの1つです。 本研究では,単一オブジェクトのスケッチに動きを自動的に付加する手法を提案する。 出力はベクトル表現で提供される短いアニメーションで、簡単に編集できる。
• 参考スコア（独自算出の注目度）: 101.8236605955899
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A sketch is one of the most intuitive and versatile tools humans use to convey their ideas visually. An animated sketch opens another dimension to the expression of ideas and is widely used by designers for a variety of purposes. Animating sketches is a laborious process, requiring extensive experience and professional design skills. In this work, we present a method that automatically adds motion to a single-subject sketch (hence, "breathing life into it"), merely by providing a text prompt indicating the desired motion. The output is a short animation provided in vector representation, which can be easily edited. Our method does not require extensive training, but instead leverages the motion prior of a large pretrained text-to-video diffusion model using a score-distillation loss to guide the placement of strokes. To promote natural and smooth motion and to better preserve the sketch's appearance, we model the learned motion through two components. The first governs small local deformations and the second controls global affine transformations. Surprisingly, we find that even models that struggle to generate sketch videos on their own can still serve as a useful backbone for animating abstract representations.
• Abstract（参考訳）: スケッチは、人間がアイデアを視覚的に伝えるために使う、最も直感的で多用途なツールの1つです。 アニメーションスケッチはアイデアの表現に別の次元を開き、様々な目的のためにデザイナーによって広く使用されている。 スケッチのアニメーションは面倒なプロセスであり、広範な経験と専門的な設計スキルを必要とします。 そこで本研究では,単に所望の動作を示すテキストプロンプトを提供することによって,単品のスケッチに自動的に動きを加える手法(hence, "breathing life into it")を提案する。 出力はベクトル表現で提供される短いアニメーションであり、簡単に編集できる。 本手法は,大規模な訓練を必要とせず,スコア蒸留損失を用いた大規模事前学習されたテキスト・ビデオ拡散モデルに先立って動作を活用し,ストロークの配置を誘導する。 自然で滑らかな動きを促進し、スケッチの外観をよりよく保存するために、2つのコンポーネントを通して学習した動きをモデル化する。 第1は小さな局所的な変形を制御し、第2はグローバルなアフィン変換を制御する。 驚いたことに、スケッチビデオを自分で作るのに苦労しているモデルでさえ、抽象表現をアニメーションするのに有用なバックボーンとして機能する。

関連論文リスト

• VidSketch: Hand-drawn Sketch-Driven Video Generation with Diffusion Control [13.320911720001277]
  VidSketchは、手書きのスケッチや簡単なテキストプロンプトから直接高品質のビデオアニメーションを生成する方法である。 具体的には,スケッチの指導力を自動的に調整するレベルベーススケッチ制御方式を提案する。 TempSpatial Attentionメカニズムは、生成されたビデオアニメーションの一貫性を高めるように設計されている。
  論文  参考訳（メタデータ） (2025-02-03T06:45:00Z)
• AniDoc: Animation Creation Made Easier [54.97341104616779]
  我々の研究は、ますます強力なAIの可能性を生かして、2Dアニメーションを制作する際のコスト削減に重点を置いている。 AniDocはビデオラインアートのカラー化ツールとして登場し、自動的にスケッチシーケンスをカラーアニメーションに変換する。 本モデルでは,一致マッチングを明示的なガイダンスとして活用し,基準文字と各ラインアートフレームの変動に強いロバスト性を与える。
  論文  参考訳（メタデータ） (2024-12-18T18:59:59Z)
• Enhancing Sketch Animation: Text-to-Video Diffusion Models with Temporal Consistency and Rigidity Constraints [1.1510009152620668]
  本稿では,記述的テキストプロンプトに基づいて与えられた入力スケッチをアニメーションする手法を提案する。 スケッチのストロークの動きを誘導するために、SDS損失を伴う事前訓練されたテキスト・ビデオ拡散モデルを利用する。 本手法は, 定量評価と定性評価の両方において, 最先端性能を上回っている。
  論文  参考訳（メタデータ） (2024-11-28T21:15:38Z)
• FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations [65.64014682930164]
  スケッチアニメーションは、単純なフリップブックの落書きからプロのスタジオプロダクションまで、ビジュアルなストーリーテリングのための強力な媒体を提供する。 FlipSketchは、フリップブックアニメーションの魔法を復活させるシステムです。
  論文  参考訳（メタデータ） (2024-11-16T14:53:03Z)
• AnimateZoo: Zero-shot Video Generation of Cross-Species Animation via Subject Alignment [64.02822911038848]
  動物アニメーションを作成するため, ゼロショット拡散に基づくビデオジェネレータAnimateZooを提案する。 AnimateZooで使われる主要なテクニックは、2つのステップを含む被写体アライメントです。 我々のモデルは、正確な動き、一貫した外観、高忠実度フレームを特徴とする映像を生成することができる。
  論文  参考訳（メタデータ） (2024-04-07T12:57:41Z)
• AnimateZero: Video Diffusion Models are Zero-Shot Image Animators [63.938509879469024]
  我々はAnimateZeroを提案し、事前訓練されたテキスト・ビデオ拡散モデル、すなわちAnimateDiffを提案する。 外観制御のために,テキスト・ツー・イメージ(T2I)生成から中間潜伏子とその特徴を借りる。 時間的制御では、元のT2Vモデルのグローバルな時間的注意を位置補正窓の注意に置き換える。
  論文  参考訳（メタデータ） (2023-12-06T13:39:35Z)
• SketchDreamer: Interactive Text-Augmented Creative Sketch Ideation [111.2195741547517]
  画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,制御されたスケッチを生成する手法を提案する。 我々の目標は、プロでないユーザにスケッチを作成させ、一連の最適化プロセスを通じて物語をストーリーボードに変換することです。
  論文  参考訳（メタデータ） (2023-08-27T19:44:44Z)
• SketchBetween: Video-to-Video Synthesis for Sprite Animation via Sketches [0.9645196221785693]
  2Dアニメーションは、キャラクター、エフェクト、バックグラウンドアートに使用されるゲーム開発において一般的な要素である。 アニメーションの自動化アプローチは存在するが、アニメーションを念頭に置いて設計されている。 本稿では,アニメーションの標準的なワークフローにより密着した問題定式化を提案する。
  論文  参考訳（メタデータ） (2022-09-01T02:43:19Z)
• Sketch Me A Video [32.38205496481408]
  本稿では、2つの粗悪なドーンスケッチを入力としてのみ使用して、リアルなポートレートビデオを作成することで、新しいビデオ合成タスクを提案する。 2段階のSketch-to-Videoモデルが提案されている。
  論文  参考訳（メタデータ） (2021-10-10T05:40:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。