論文の概要: SketchAnimator: Animate Sketch via Motion Customization of Text-to-Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2508.07149v1
• Date: Sun, 10 Aug 2025 02:45:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.728493
• Title: SketchAnimator: Animate Sketch via Motion Customization of Text-to-Video Diffusion Models
• Title（参考訳）: SketchAnimator: Animate Sketch by Motion Customization of Text-to-Video Diffusion Models
• Authors: Ruolin Yang, Da Li, Honggang Zhang, Yi-Zhe Song,
• Abstract要約: 提案するスケッチアニメーションモデルSketchAnimatorは,あるスケッチに「ジャンプカー」のような創造的な動きを加えることができる。 ステージ1と2では、LoRAを用いて、参照ビデオからのスケッチの外観情報と動きのダイナミクスを事前訓練されたT2Vモデルに統合する。 第3段階では、取得した動作情報に基づいて、スコア蒸留サンプリング(SDS)を用いて、スケッチフレーム内のベジエ曲線のパラメータを更新する。
• 参考スコア（独自算出の注目度）: 52.15095222622447
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sketching is a uniquely human tool for expressing ideas and creativity. The animation of sketches infuses life into these static drawings, opening a new dimension for designers. Animating sketches is a time-consuming process that demands professional skills and extensive experience, often proving daunting for amateurs. In this paper, we propose a novel sketch animation model SketchAnimator, which enables adding creative motion to a given sketch, like "a jumping car''. Namely, given an input sketch and a reference video, we divide the sketch animation into three stages: Appearance Learning, Motion Learning and Video Prior Distillation. In stages 1 and 2, we utilize LoRA to integrate sketch appearance information and motion dynamics from the reference video into the pre-trained T2V model. In the third stage, we utilize Score Distillation Sampling (SDS) to update the parameters of the Bezier curves in each sketch frame according to the acquired motion information. Consequently, our model produces a sketch video that not only retains the original appearance of the sketch but also mirrors the dynamic movements of the reference video. We compare our method with alternative approaches and demonstrate that it generates the desired sketch video under the challenge of one-shot motion customization.
• Abstract（参考訳）: スケッチ(Sketching)は、アイデアや創造性を表現するための、ユニークなヒューマンツールである。 スケッチのアニメーションは、これらの静的な描画に人生を吹き込み、デザイナーに新しい次元を開放する。 スケッチのアニメーションは、プロのスキルと広範な経験を必要とする時間を要するプロセスであり、素人にとって大胆さを証明します。 本稿では,「ジャンプカー」のようなスケッチに創造的な動きを付加できる新しいスケッチアニメーションモデルSketchAnimatorを提案する。 すなわち、入力スケッチと参照ビデオから、スケッチアニメーションを外観学習、モーションラーニング、ビデオ優先蒸留の3つのステージに分割する。 ステージ1と2では、LoRAを用いて、参照ビデオからのスケッチの外観情報と動きのダイナミクスを事前訓練されたT2Vモデルに統合する。 第3段階では、取得した動作情報に基づいて、スコア蒸留サンプリング(SDS)を用いて、スケッチフレーム内のベジエ曲線のパラメータを更新する。 その結果,本モデルでは,スケッチの本来の外観を保持するだけでなく,参照映像のダイナミックな動きを反映したスケッチ映像を生成する。 提案手法を代替手法と比較し,ワンショットモーションカスタマイズの課題の下で,所望のスケッチ映像を生成することを示す。

関連論文リスト

• DreamDance: Animating Character Art via Inpainting Stable Gaussian Worlds [64.53681498600065]
  ドリームダンス(DreamDance)は、安定的で一貫したキャラクタと、正確なカメラ軌跡を条件としたシーンの動きを生成できるアニメーションフレームワークである。 我々は、背景品質を高めつつ、動的キャラクタをシーンビデオに注入する、ポーズ対応ビデオ塗装モデルを訓練する。
  論文  参考訳（メタデータ） (2025-05-30T15:54:34Z)
• Multi-Object Sketch Animation by Scene Decomposition and Motion Planning [9.124628743276691]
  MoSketchは、マルチオブジェクトのスケッチをアニメーションするためのトレーニングデータなしのメソッドである。 MoSketchには、LLMベースのシーン分解、LLMベースのモーションプランニング、多粒度モーションリファインメント、合成SDSという4つの新しいモジュールがある。 MoSketchは、マルチオブジェクトのスケッチアニメーションへの先駆的な一歩を踏み出し、将来の研究と応用のための新たな道を開く。
  論文  参考訳（メタデータ） (2025-03-25T05:00:11Z)
• FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations [65.64014682930164]
  スケッチアニメーションは、単純なフリップブックの落書きからプロのスタジオプロダクションまで、ビジュアルなストーリーテリングのための強力な媒体を提供する。 FlipSketchは、フリップブックアニメーションの魔法を復活させるシステムです。
  論文  参考訳（メタデータ） (2024-11-16T14:53:03Z)
• Breathing Life Into Sketches Using Text-to-Video Priors [101.8236605955899]
  スケッチは、人間が自分のアイデアを視覚的に伝えるために使う最も直感的で汎用性の高いツールの1つです。 本研究では,単一オブジェクトのスケッチに動きを自動的に付加する手法を提案する。 出力はベクトル表現で提供される短いアニメーションで、簡単に編集できる。
  論文  参考訳（メタデータ） (2023-11-21T18:09:30Z)
• Bridging the Gap: Sketch-Aware Interpolation Network for High-Quality Animation Sketch Inbetweening [58.09847349781176]
  我々は,新しい深層学習手法であるSketch-Aware Interpolation Network (SAIN)を提案する。 このアプローチには、領域レベルの対応、ストロークレベルの対応、ピクセルレベルのダイナミクスを定式化するマルチレベルガイダンスが組み込まれている。 マルチストリームのU-Transformerは、自己/クロスアテンション機構の統合により、これらのマルチレベルガイドを使用して、スケッチ間のインテンションパターンを特徴付けるように設計されている。
  論文  参考訳（メタデータ） (2023-08-25T09:51:03Z)
• SketchBetween: Video-to-Video Synthesis for Sprite Animation via Sketches [0.9645196221785693]
  2Dアニメーションは、キャラクター、エフェクト、バックグラウンドアートに使用されるゲーム開発において一般的な要素である。 アニメーションの自動化アプローチは存在するが、アニメーションを念頭に置いて設計されている。 本稿では,アニメーションの標準的なワークフローにより密着した問題定式化を提案する。
  論文  参考訳（メタデータ） (2022-09-01T02:43:19Z)
• Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt [125.17887147597567]
  我々は、トランスフォーマー(Sketch-BERT)からのSketch BiBERT表現の学習モデルを提案する。 BERTをドメインのスケッチに一般化し、新しいコンポーネントと事前学習アルゴリズムを提案する。 Sketch-BERTの学習表現は,スケッチ認識,スケッチ検索,スケッチゲットといった下流タスクの性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-19T01:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。