論文の概要: Sketch2Anim: Towards Transferring Sketch Storyboards into 3D Animation
- arxiv url: http://arxiv.org/abs/2504.19189v1
- Date: Sun, 27 Apr 2025 10:38:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.172612
- Title: Sketch2Anim: Towards Transferring Sketch Storyboards into 3D Animation
- Title（参考訳）: Sketch2Anim: スケッチのストーリーボードを3Dアニメーションに変換する
- Authors: Lei Zhong, Chuan Guo, Yiming Xie, Jiawei Wang, Changjian Li,
- Abstract要約: アニメーターはストーリーボードの2Dスケッチを、トライアル・アンド・エラー・プロセスを通じて望ましい3Dアニメーションを作るための参考として利用する。
2Dストーリーボードのスケッチを直接3Dアニメーションに変換する自動手法には高い需要がある。
スケッチ制約理解とモーション生成のための2つの重要なモジュールからなるSketch2Animを提案する。
- 参考スコア（独自算出の注目度）: 22.325990468075368
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Storyboarding is widely used for creating 3D animations. Animators use the 2D sketches in storyboards as references to craft the desired 3D animations through a trial-and-error process. The traditional approach requires exceptional expertise and is both labor-intensive and time-consuming. Consequently, there is a high demand for automated methods that can directly translate 2D storyboard sketches into 3D animations. This task is under-explored to date and inspired by the significant advancements of motion diffusion models, we propose to address it from the perspective of conditional motion synthesis. We thus present Sketch2Anim, composed of two key modules for sketch constraint understanding and motion generation. Specifically, due to the large domain gap between the 2D sketch and 3D motion, instead of directly conditioning on 2D inputs, we design a 3D conditional motion generator that simultaneously leverages 3D keyposes, joint trajectories, and action words, to achieve precise and fine-grained motion control. Then, we invent a neural mapper dedicated to aligning user-provided 2D sketches with their corresponding 3D keyposes and trajectories in a shared embedding space, enabling, for the first time, direct 2D control of motion generation. Our approach successfully transfers storyboards into high-quality 3D motions and inherently supports direct 3D animation editing, thanks to the flexibility of our multi-conditional motion generator. Comprehensive experiments and evaluations, and a user perceptual study demonstrate the effectiveness of our approach.
- Abstract（参考訳）: ストーリーボードは3Dアニメーションの作成に広く利用されている。
アニメーターはストーリーボードの2Dスケッチを、トライアル・アンド・エラー・プロセスを通じて望ましい3Dアニメーションを作るための参考として利用する。
従来のアプローチでは特別な専門知識が必要であり、労働集約的かつ時間を要する。
その結果、2Dストーリーボードのスケッチを直接3Dアニメーションに変換する自動手法が求められている。
この課題は, 運動拡散モデルの顕著な進歩に触発され, 条件付き運動合成の観点からその課題に対処することを提案する。
そこで我々は,スケッチ制約理解とモーション生成のための2つの重要なモジュールからなるSketch2Animを提案する。
具体的には、2次元のスケッチと3次元の動作の間に大きな領域ギャップがあるため、2次元の入力を直接条件付けするのではなく、3次元のキーポーズ、関節の軌跡、行動語を同時に活用し、精密かつきめ細かい動き制御を実現する3次元条件付きモーションジェネレータを設計する。
そして、ユーザが提供する2Dスケッチと対応する3Dキープレイスとトラジェクトリとを共有埋め込み空間に整合させることに特化したニューラルマッパーを発明し、初めて、モーションジェネレーションの直接2D制御を可能にする。
提案手法は,マルチコンディショナル・モーション・ジェネレータの柔軟性により,ストーリーボードを高品質な3Dモーションに変換し,ネイティブに直接3Dアニメーション編集をサポートする。
総合的な実験と評価を行い,提案手法の有効性をユーザ・パーセプティカル・スタディで実証した。
関連論文リスト
- Animating the Uncaptured: Humanoid Mesh Animation with Video Diffusion Models [71.78723353724493]
ヒューマノイド文字のアニメーションは、様々なグラフィックス応用において不可欠である。
入力された静的な3次元ヒューマノイドメッシュの4次元アニメーションシーケンスを合成する手法を提案する。
論文 参考訳（メタデータ） (2025-03-20T10:00:22Z) - Motion-2-to-3: Leveraging 2D Motion Data to Boost 3D Motion Generation [43.915871360698546]
人間の2Dビデオは、幅広いスタイルやアクティビティをカバーし、広範にアクセス可能なモーションデータのソースを提供する。
本研究では,局所的な関節運動をグローバルな動きから切り離し,局所的な動きを2次元データから効率的に学習する枠組みを提案する。
提案手法は,2次元データを効率的に利用し,リアルな3次元動作生成をサポートし,支援対象の動作範囲を拡大する。
論文 参考訳（メタデータ） (2024-12-17T17:34:52Z) - Gaussians-to-Life: Text-Driven Animation of 3D Gaussian Splatting Scenes [49.26872036160368]
ガウススティング表現における高品質な3Dシーンの一部をアニメーションする手法を提案する。
従来の作業とは対照的に、複雑な既存の3Dシーンのリアルなアニメーションを可能にする。
論文 参考訳（メタデータ） (2024-11-28T16:01:58Z) - FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations [65.64014682930164]
スケッチアニメーションは、単純なフリップブックの落書きからプロのスタジオプロダクションまで、ビジュアルなストーリーテリングのための強力な媒体を提供する。
FlipSketchは、フリップブックアニメーションの魔法を復活させるシステムです。
論文 参考訳（メタデータ） (2024-11-16T14:53:03Z) - Diff3DS: Generating View-Consistent 3D Sketch via Differentiable Curve Rendering [17.918603435615335]
3Dスケッチは、オブジェクトやシーンの3D形状と構造を視覚的に表現するために広く使用されている。
Diff3DSは、ビュー一貫性のある3Dスケッチを生成するための、新しい差別化可能なフレームワークである。
我々のフレームワークは3Dスケッチと画像のドメインをブリッジし、3Dスケッチのエンドツーエンド最適化を実現する。
論文 参考訳（メタデータ） (2024-05-24T07:48:14Z) - SpatialTracker: Tracking Any 2D Pixels in 3D Space [71.58016288648447]
本稿では,画像投影による問題点を軽減するために,3次元空間における点軌道の推定を提案する。
この手法はSpatialTrackerと呼ばれ、2Dピクセルをモノクロ深度推定器を用いて3Dにリフトする。
3Dでのトラッキングにより、ピクセルを異なる剛性部分にクラスタ化する剛性埋め込みを同時に学習しながら、ARAP(as-rigid-as-possible)制約を活用することができます。
論文 参考訳（メタデータ） (2024-04-05T17:59:25Z) - Breathing Life Into Sketches Using Text-to-Video Priors [101.8236605955899]
スケッチは、人間が自分のアイデアを視覚的に伝えるために使う最も直感的で汎用性の高いツールの1つです。
本研究では,単一オブジェクトのスケッチに動きを自動的に付加する手法を提案する。
出力はベクトル表現で提供される短いアニメーションで、簡単に編集できる。
論文 参考訳（メタデータ） (2023-11-21T18:09:30Z) - 3D Cinemagraphy from a Single Image [73.09720823592092]
3Dシネマグラフィー(3D Cinemagraphy)は、3D画像と2Dアニメーションを融合させる新しい技術である。
静止画1枚を入力として、視覚コンテンツアニメーションとカメラモーションの両方を含むビデオを生成することを目標としています。
論文 参考訳（メタデータ） (2023-03-10T06:08:23Z) - SketchBetween: Video-to-Video Synthesis for Sprite Animation via
Sketches [0.9645196221785693]
2Dアニメーションは、キャラクター、エフェクト、バックグラウンドアートに使用されるゲーム開発において一般的な要素である。
アニメーションの自動化アプローチは存在するが、アニメーションを念頭に置いて設計されている。
本稿では,アニメーションの標準的なワークフローにより密着した問題定式化を提案する。
論文 参考訳（メタデータ） (2022-09-01T02:43:19Z) - Action2video: Generating Videos of Human 3D Actions [31.665831044217363]
我々は、所定のアクションカテゴリから多様で自然な人間の動きのビデオを生成するという、興味深いが挑戦的な課題に取り組むことを目的としている。
重要な問題は、視覚的な外観で現実的な複数の異なる動き列を合成する能力にある。
Action2motionallyは、所定のアクションカテゴリのもっともらしい3Dポーズシーケンスを生成し、モーション2ビデオによって処理され、レンダリングされ、2Dビデオを形成する。
論文 参考訳（メタデータ） (2021-11-12T20:20:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。