論文の概要: Breathing Life Into Sketches Using Text-to-Video Priors

• arxiv url: http://arxiv.org/abs/2311.13608v1
• Date: Tue, 21 Nov 2023 18:09:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-03 14:12:56.504837
• Title: Breathing Life Into Sketches Using Text-to-Video Priors
• Title（参考訳）: テキスト・ビデオ・プリミティブによるスケッチの呼吸生活
• Authors: Rinon Gal, Yael Vinker, Yuval Alaluf, Amit H. Bermano, Daniel Cohen-Or, Ariel Shamir, Gal Chechik
• Abstract要約: スケッチは、人間が自分のアイデアを視覚的に伝えるために使う最も直感的で汎用性の高いツールの1つです。 本研究では,単一オブジェクトのスケッチに動きを自動的に付加する手法を提案する。 出力はベクトル表現で提供される短いアニメーションで、簡単に編集できる。
• 参考スコア（独自算出の注目度）: 101.8236605955899
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A sketch is one of the most intuitive and versatile tools humans use to convey their ideas visually. An animated sketch opens another dimension to the expression of ideas and is widely used by designers for a variety of purposes. Animating sketches is a laborious process, requiring extensive experience and professional design skills. In this work, we present a method that automatically adds motion to a single-subject sketch (hence, "breathing life into it"), merely by providing a text prompt indicating the desired motion. The output is a short animation provided in vector representation, which can be easily edited. Our method does not require extensive training, but instead leverages the motion prior of a large pretrained text-to-video diffusion model using a score-distillation loss to guide the placement of strokes. To promote natural and smooth motion and to better preserve the sketch's appearance, we model the learned motion through two components. The first governs small local deformations and the second controls global affine transformations. Surprisingly, we find that even models that struggle to generate sketch videos on their own can still serve as a useful backbone for animating abstract representations.
• Abstract（参考訳）: スケッチは、人間がアイデアを視覚的に伝えるために使う、最も直感的で多用途なツールの1つです。 アニメーションスケッチはアイデアの表現に別の次元を開き、様々な目的のためにデザイナーによって広く使用されている。 スケッチのアニメーションは面倒なプロセスであり、広範な経験と専門的な設計スキルを必要とします。 そこで本研究では,単に所望の動作を示すテキストプロンプトを提供することによって,単品のスケッチに自動的に動きを加える手法(hence, "breathing life into it")を提案する。 出力はベクトル表現で提供される短いアニメーションであり、簡単に編集できる。 本手法は,大規模な訓練を必要とせず,スコア蒸留損失を用いた大規模事前学習されたテキスト・ビデオ拡散モデルに先立って動作を活用し,ストロークの配置を誘導する。 自然で滑らかな動きを促進し、スケッチの外観をよりよく保存するために、2つのコンポーネントを通して学習した動きをモデル化する。 第1は小さな局所的な変形を制御し、第2はグローバルなアフィン変換を制御する。 驚いたことに、スケッチビデオを自分で作るのに苦労しているモデルでさえ、抽象表現をアニメーションするのに有用なバックボーンとして機能する。

関連論文リスト

• FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations [65.64014682930164]
  スケッチアニメーションは、単純なフリップブックの落書きからプロのスタジオプロダクションまで、ビジュアルなストーリーテリングのための強力な媒体を提供する。 FlipSketchは、フリップブックアニメーションの魔法を復活させるシステムです。
  論文  参考訳（メタデータ） (2024-11-16T14:53:03Z)
• AniClipart: Clipart Animation with Text-to-Video Priors [28.76809141136148]
  AniClipartは、静的な画像をテキストからビデオへの事前案内による高品質なモーションシーケンスに変換するシステムである。 実験結果から,提案したAniClipartは既存の画像・映像生成モデルより一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2024-04-18T17:24:28Z)
• AnimateZoo: Zero-shot Video Generation of Cross-Species Animation via Subject Alignment [64.02822911038848]
  動物アニメーションを作成するため, ゼロショット拡散に基づくビデオジェネレータAnimateZooを提案する。 AnimateZooで使われる主要なテクニックは、2つのステップを含む被写体アライメントです。 我々のモデルは、正確な動き、一貫した外観、高忠実度フレームを特徴とする映像を生成することができる。
  論文  参考訳（メタデータ） (2024-04-07T12:57:41Z)
• AnimateZero: Video Diffusion Models are Zero-Shot Image Animators [63.938509879469024]
  我々はAnimateZeroを提案し、事前訓練されたテキスト・ビデオ拡散モデル、すなわちAnimateDiffを提案する。 外観制御のために,テキスト・ツー・イメージ(T2I)生成から中間潜伏子とその特徴を借りる。 時間的制御では、元のT2Vモデルのグローバルな時間的注意を位置補正窓の注意に置き換える。
  論文  参考訳（メタデータ） (2023-12-06T13:39:35Z)
• SketchDreamer: Interactive Text-Augmented Creative Sketch Ideation [111.2195741547517]
  画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,制御されたスケッチを生成する手法を提案する。 我々の目標は、プロでないユーザにスケッチを作成させ、一連の最適化プロセスを通じて物語をストーリーボードに変換することです。
  論文  参考訳（メタデータ） (2023-08-27T19:44:44Z)
• CLIPascene: Scene Sketching with Different Types and Levels of Abstraction [48.30702300230904]
  本稿では,あるシーンイメージを異なるタイプと複数の抽象化レベルを用いてスケッチに変換する手法を提案する。 1つ目はスケッチの忠実さを考慮し、その表現をより正確に入力の描写からより緩やかな描写へと変化させる。 2つ目はスケッチの視覚的単純さによって定義され、詳細な描写からまばらなスケッチへと移行している。
  論文  参考訳（メタデータ） (2022-11-30T18:54:32Z)
• SketchBetween: Video-to-Video Synthesis for Sprite Animation via Sketches [0.9645196221785693]
  2Dアニメーションは、キャラクター、エフェクト、バックグラウンドアートに使用されるゲーム開発において一般的な要素である。 アニメーションの自動化アプローチは存在するが、アニメーションを念頭に置いて設計されている。 本稿では,アニメーションの標準的なワークフローにより密着した問題定式化を提案する。
  論文  参考訳（メタデータ） (2022-09-01T02:43:19Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• Sketch Me A Video [32.38205496481408]
  本稿では、2つの粗悪なドーンスケッチを入力としてのみ使用して、リアルなポートレートビデオを作成することで、新しいビデオ合成タスクを提案する。 2段階のSketch-to-Videoモデルが提案されている。
  論文  参考訳（メタデータ） (2021-10-10T05:40:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。