論文の概要: Vector sketch animation generation with differentialable motion trajectories
- arxiv url: http://arxiv.org/abs/2509.25857v1
- Date: Tue, 30 Sep 2025 06:53:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-01 17:09:04.458203
- Title: Vector sketch animation generation with differentialable motion trajectories
- Title(参考訳): 微分可能な運動軌跡を用いたベクトルスケッチアニメーション生成
- Authors: Xinding Zhu, Xinye Yang, Shuyang Zheng, Zhexin Zhang, Fei Gao, Jing Huang, Jiazhou Chen,
- Abstract要約: 本稿では,ストローク制御点のフレームワイドな動きを記述した,微分可能な運動軌道表現を提案する。
DMTは複数のフレームにまたがってグローバルなセマンティックな伝播を可能にし、セマンティックな一貫性と時間的コヒーレンスを大幅に改善する。
暗黙の場の代わりに、空間的空間モデリングのためのトラックポイントを導入し、効率を改善し、長時間のビデオ処理をサポートする。
- 参考スコア(独自算出の注目度): 21.10737843972103
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sketching is a direct and inexpensive means of visual expression. Though image-based sketching has been well studied, video-based sketch animation generation is still very challenging due to the temporal coherence requirement. In this paper, we propose a novel end-to-end automatic generation approach for vector sketch animation. To solve the flickering issue, we introduce a Differentiable Motion Trajectory (DMT) representation that describes the frame-wise movement of stroke control points using differentiable polynomial-based trajectories. DMT enables global semantic gradient propagation across multiple frames, significantly improving the semantic consistency and temporal coherence, and producing high-framerate output. DMT employs a Bernstein basis to balance the sensitivity of polynomial parameters, thus achieving more stable optimization. Instead of implicit fields, we introduce sparse track points for explicit spatial modeling, which improves efficiency and supports long-duration video processing. Evaluations on DAVIS and LVOS datasets demonstrate the superiority of our approach over SOTA methods. Cross-domain validation on 3D models and text-to-video data confirms the robustness and compatibility of our approach.
- Abstract(参考訳): スケッチは直接的かつ安価な視覚表現の手段である。
画像ベースのスケッチはよく研究されているが、時間的コヒーレンス要求のため、ビデオベースのスケッチアニメーション生成は非常に困難である。
本稿では,ベクトルスケッチアニメーションのための新しいエンドツーエンド自動生成手法を提案する。
そこで,このフリックリング問題を解決するために,微分多項式に基づく軌道を用いたストローク制御点のフレームワイドな動きを記述した微分可能な運動軌跡 (DMT) 表現を導入する。
DMTは複数のフレームにまたがる大域的セマンティック・グラデーションの伝播を可能にし、セマンティック・一貫性と時間的コヒーレンスを大幅に改善し、高いフレームレートの出力を生成する。
DMTは、多項式パラメータの感度のバランスをとるためにバーンスタイン基底を使い、より安定した最適化を実現する。
暗黙の場の代わりに、空間的空間モデリングのためのスパーストラックポイントを導入し、効率を向上し、長時間のビデオ処理をサポートする。
DAVISおよびLVOSデータセットの評価は、SOTA法よりも我々のアプローチの方が優れていることを示す。
3Dモデルとテキスト・ツー・ビデオデータによるドメイン間の検証は、我々のアプローチの堅牢性と互換性を確認します。
関連論文リスト
- Motion-Aware Concept Alignment for Consistent Video Editing [57.08108545219043]
MoCA-Video (Motion-Aware Concept Alignment in Video) は、画像ドメインのセマンティックミキシングとビデオのギャップを埋めるトレーニング不要のフレームワークである。
生成されたビデオとユーザが提供した参照画像が与えられた後、MoCA-Videoは参照画像のセマンティックな特徴をビデオ内の特定のオブジェクトに注入する。
我々は、標準SSIM、画像レベルLPIPS、時間LPIPSを用いてMoCAの性能を評価し、新しいメトリクスCASS(Conceptual Alignment Shift Score)を導入し、ソースプロンプトと修正ビデオフレーム間の視覚的シフトの一貫性と有効性を評価する。
論文 参考訳(メタデータ) (2025-06-01T13:28:04Z) - Tracktention: Leveraging Point Tracking to Attend Videos Faster and Better [61.381599921020175]
時間的一貫性は、出力が一貫性があり、アーティファクトがないことを保証するために、ビデオ予測において重要である。
時間的注意や3D畳み込みといった伝統的な手法は、重要な物体の動きに苦しむことがある。
本稿では,ポイントトラックを用いた動き情報を明示的に統合する新しいアーキテクチャコンポーネントであるトラックキート・レイヤを提案する。
論文 参考訳(メタデータ) (2025-03-25T17:58:48Z) - AnyMoLe: Any Character Motion In-betweening Leveraging Video Diffusion Models [5.224806515926022]
外部データを持たない任意の文字に対するフレーム間の動きを生成する新しい手法であるAnyMoLeを導入する。
本手法では,文脈理解を高めるために2段階のフレーム生成プロセスを用いる。
論文 参考訳(メタデータ) (2025-03-11T13:28:59Z) - SwiftSketch: A Diffusion Model for Image-to-Vector Sketch Generation [57.47730473674261]
我々は,画像条件付きベクトルスケッチ生成モデルであるSwiftSketchを紹介した。
SwiftSketchは、ガウス分布からサンプリングされたストローク制御ポイントを段階的に復調することによって動作する。
ControlSketchは、深度認識制御ネットを通じて正確な空間制御を組み込むことで、SDSベースの技術を強化する方法である。
論文 参考訳(メタデータ) (2025-02-12T18:57:12Z) - Thin-Plate Spline-based Interpolation for Animation Line Inbetweening [54.69811179222127]
チャンファー距離(CD: Chamfer Distance)は、一般に間欠的な性能を評価するために用いられる。
薄板スプライン変換を応用したアニメーションラインインテタイニングの簡易かつ効果的な手法を提案する。
提案手法は, 流動性を高めた高品質な結果を提供することにより, 既存の手法よりも優れる。
論文 参考訳(メタデータ) (2024-08-17T08:05:31Z) - Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳(メタデータ) (2024-02-05T11:00:14Z) - Continuous Piecewise-Affine Based Motion Model for Image Animation [45.55812811136834]
画像アニメーションは、動画の駆動によって静的なイメージを生き返らせることを目的としている。
最近の教師なし手法では、キーポイントに基づくアフィンおよび薄板のスプライン変換を用いて、駆動フレーム内の動きをソース画像に転送する。
本研究では,高表現率微分空間における原画像から駆動フレームへの動きをモデル化する。
論文 参考訳(メタデータ) (2024-01-17T11:40:05Z) - Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for
Temporal Sentence Grounding [61.57847727651068]
テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。
これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。
我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
論文 参考訳(メタデータ) (2022-03-06T13:57:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。