論文の概要: Sketch2Motion: Text-driven 2D Sketch to 3D Animation via Diffusion-guided Skeleton Optimization

• arxiv url: http://arxiv.org/abs/2605.28394v1
• Date: Wed, 27 May 2026 12:32:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.045263
• Title: Sketch2Motion: Text-driven 2D Sketch to 3D Animation via Diffusion-guided Skeleton Optimization
• Title（参考訳）: Sketch2Motion:拡散誘導骨格最適化によるテキスト駆動2次元スケッチから3次元アニメーション
• Authors: Gaurav Rai, Ojaswa Sharma,
• Abstract要約: 2次元手描きスケッチのアニメーションは、視覚コミュニケーションに有効な媒体を提供する。 2Dスケッチを3Dアニメーションに変換するための最近のアプローチは、主に特定のタイプの動きに焦点を当てている。 骨格に基づく運動合成のための拡散誘導フレームワークであるSketch2Motionを提案する。
• 参考スコア（独自算出の注目度）: 0.6445605125467574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Animation of 2D hand-drawn sketches provides an effective medium for visual communication. However, these sketches pose challenges, particularly in handling occlusions and accurately mapping motion. While 3D animation naturally addresses these challenges, estimating 3D motion remains a very complex task. Recent approaches to converting 2D sketches to 3D animations have mainly focused on specific types of motion, such as bipedal movements and facial expressions. We propose Sketch2Motion, a diffusion-guided framework for skeleton-based motion synthesis that combines classical character animation pipelines with deep generative priors. Our method represents motion using skeletal transformations, which are propagated to mesh deformations via linear blend skinning. To guide the resulting animation toward realistic and semantically meaningful motion, we integrate a text-to-video diffusion model via motion-aware score-distillation sampling (MoSDS), enabling optimization without paired motion data. Additionally, we apply physics-inspired smoothness, topological, and contact constraints to stabilize optimization and preserve motion plausibility. Further, we integrate a spring-mass simulator to introduce secondary motion effects. The proposed framework is generalized, fully differentiable, modular, and compatible with biped, quadruped, and non-living articulated characters. Experiments demonstrate that our approach produces temporally coherent, text-aligned animations that outperform baseline motion transfer methods that lack generative priors or explicit physical constraints. We will make our code and dataset publicly available.
• Abstract（参考訳）: 2次元手描きスケッチのアニメーションは、視覚コミュニケーションに有効な媒体を提供する。 しかし、これらのスケッチは、特にオクルージョンの扱いや正確な動きのマッピングにおいて、課題を生んでいる。 3Dアニメーションはこれらの課題に自然に対処するが、3Dモーションの推定は非常に複雑な作業である。 2Dスケッチを3Dアニメーションに変換するための最近のアプローチは、主に二足歩行運動や表情など、特定のタイプの動きに焦点を当てている。 スケルトンに基づくモーション合成のための拡散誘導フレームワークであるSketch2Motionを提案する。 本手法は, 線形ブレンドスキンによるメッシュ変形に伝播する骨格変換を用いた動きを表現する。 結果のアニメーションを現実的で意味のある動作へと導くため、モーション対応スコア蒸留サンプリング(MoSDS)を通してテキスト間拡散モデルを統合し、ペアの動きデータなしで最適化を可能にする。 さらに, 物理に着想を得た滑らかさ, トポロジカル, 接触制約を適用し, 最適化を安定させ, 動きの可視性を維持する。 さらに,バネ質量シミュレータを統合し,二次運動効果を導入する。 提案したフレームワークは、一般化され、完全に微分可能で、モジュラーであり、二足歩行、四足歩行、および非生きた調音文字と互換性がある。 実験により,提案手法は時間的コヒーレントなテキスト・アライメント・アニメーションを生成し,生成前の制約や明示的な物理的制約を欠いたベースライン移動法より優れていることが示された。 コードとデータセットを公開します。

関連論文リスト

• IM-Animation: An Implicit Motion Representation for Identity-decoupled Character Animation [58.297199313494]
  インプシット法は、動画から直接動作の意味をキャプチャするが、動作と外観の絡み合いやアイデンティティの漏洩に悩まされる。 本稿では,フレームごとの動作をコンパクトな1次元モーショントークンに圧縮する新しい暗黙の動作表現を提案する。 本手法では,3段階のトレーニング戦略を用いて,トレーニング効率を高め,高い忠実性を確保する。
  論文  参考訳（メタデータ） (2026-02-07T11:17:20Z)
• 4-Doodle: Text to 3D Sketches that Move! [60.89021458068987]
  4-Doodleは、テキストから動的3Dスケッチを生成するための、最初のトレーニング不要のフレームワークである。 提案手法は時間的にリアルかつ構造的に安定な3次元スケッチアニメーションを生成し,忠実度と可制御性の両方において既存のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-10-29T09:33:29Z)
• AnimaX: Animating the Inanimate in 3D with Joint Video-Pose Diffusion Models [24.410731608387238]
  AnimaXは、ビデオ拡散モデルの動作先をスケルトンベースのアニメーションの制御可能な構造でブリッジするフィードフォワード3Dアニメーションフレームワークである。 提案手法は,マルチビュー・マルチフレーム2次元ポーズマップとして3次元動作を表現する。
  論文  参考訳（メタデータ） (2025-06-24T17:59:58Z)
• Sketch2Anim: Towards Transferring Sketch Storyboards into 3D Animation [22.325990468075368]
  アニメーターはストーリーボードの2Dスケッチを、トライアル・アンド・エラー・プロセスを通じて望ましい3Dアニメーションを作るための参考として利用する。 2Dストーリーボードのスケッチを直接3Dアニメーションに変換する自動手法には高い需要がある。 スケッチ制約理解とモーション生成のための2つの重要なモジュールからなるSketch2Animを提案する。
  論文  参考訳（メタデータ） (2025-04-27T10:38:17Z)
• Animating the Uncaptured: Humanoid Mesh Animation with Video Diffusion Models [71.78723353724493]
  ヒューマノイド文字のアニメーションは、様々なグラフィックス応用において不可欠である。 入力された静的な3次元ヒューマノイドメッシュの4次元アニメーションシーケンスを合成する手法を提案する。
  論文  参考訳（メタデータ） (2025-03-20T10:00:22Z)
• FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations [65.64014682930164]
  スケッチアニメーションは、単純なフリップブックの落書きからプロのスタジオプロダクションまで、ビジュアルなストーリーテリングのための強力な媒体を提供する。 FlipSketchは、フリップブックアニメーションの魔法を復活させるシステムです。
  論文  参考訳（メタデータ） (2024-11-16T14:53:03Z)
• TapMo: Shape-aware Motion Generation of Skeleton-free Characters [64.83230289993145]
  骨格のない3Dキャラクタの広帯域における動作のためのテキスト駆動アニメーションパイプラインであるTapMoを提案する。 TapMoはMesh Handle PredictorとShape-aware Diffusion Moduleの2つの主要コンポーネントで構成されている。
  論文  参考訳（メタデータ） (2023-10-19T12:14:32Z)
• SketchBetween: Video-to-Video Synthesis for Sprite Animation via Sketches [0.9645196221785693]
  2Dアニメーションは、キャラクター、エフェクト、バックグラウンドアートに使用されるゲーム開発において一般的な要素である。 アニメーションの自動化アプローチは存在するが、アニメーションを念頭に置いて設計されている。 本稿では,アニメーションの標準的なワークフローにより密着した問題定式化を提案する。
  論文  参考訳（メタデータ） (2022-09-01T02:43:19Z)
• Deep Animation Video Interpolation in the Wild [115.24454577119432]
  本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。 効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。 特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
  論文  参考訳（メタデータ） (2021-04-06T13:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。