論文の概要: StoryBlender: Inter-Shot Consistent and Editable 3D Storyboard with Spatial-temporal Dynamics
- arxiv url: http://arxiv.org/abs/2604.03315v1
- Date: Wed, 01 Apr 2026 07:24:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.502762
- Title: StoryBlender: Inter-Shot Consistent and Editable 3D Storyboard with Spatial-temporal Dynamics
- Title(参考訳): StoryBlender: 空間的時間的ダイナミクスを備えたショット間一貫性と編集可能な3Dストーリーボード
- Authors: Bingliang Li, Zhenhong Sun, Jiaming Bian, Yuehao Wu, Yifu Wang, Hongdong Li, Yatao Bian, Huadong Mo, Daoyi Dong,
- Abstract要約: StoryBlenderは、ストーリー中心のリフレクションスキームによって管理される、3Dストーリーボード生成フレームワークです。
StoryBlenderは拡散ベースベースと3Dグラウンドベースラインの整合性と編集性を大幅に改善する。
- 参考スコア(独自算出の注目度): 56.8957922153694
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Storyboarding is a core skill in visual storytelling for film, animation, and games. However, automating this process requires a system to achieve two properties that current approaches rarely satisfy simultaneously: inter-shot consistency and explicit editability. While 2D diffusion-based generators produce vivid imagery, they often suffer from identity drift along with limited geometric control; conversely, traditional 3D animation workflows are consistent and editable but require expert-heavy, labor-intensive authoring. We present StoryBlender, a grounded 3D storyboard generation framework governed by a Story-centric Reflection Scheme. At its core, we propose the StoryBlender system, which is built on a three-stage pipeline: (1) Semantic-Spatial Grounding, to construct a continuity memory graph to decouple global assets from shot-specific variables for long-horizon consistency; (2) Canonical Asset Materialization, to instantiate entities in a unified coordinate space to maintain visual identity; and (3) Spatial-Temporal Dynamics, to achieve layout design and cinematic evolution through visual metrics. By orchestrating multiple agents in a hierarchical manner within a verification loop, StoryBlender iteratively self-corrects spatial hallucinations via engine-verified feedback. The resulting native 3D scenes support direct, precise editing of cameras and visual assets while preserving unwavering multi-shot continuity. Experiments demonstrate that StoryBlender significantly improves consistency and editability over both diffusion-based and 3D-grounded baselines. Code, data, and demonstration video will be available on https://engineeringai-lab.github.io/StoryBlender/
- Abstract(参考訳): ストーリーボードは、映画、アニメーション、ゲームのためのビジュアルストーリーテリングのコアスキルである。
しかし、このプロセスを自動化するには、現在のアプローチが同時に満たすことのない2つの特性、すなわちショット間の一貫性と明示的な編集可能性を達成するためのシステムが必要である。
逆に従来の3Dアニメーションワークフローは一貫性があり、編集可能であるが、専門家が重く、労働集約的なオーサリングを必要とする。
StoryBlenderは、ストーリー中心のリフレクションスキームによって管理される、3Dストーリーボード生成フレームワークです。
中心となる3段階のパイプライン上に構築されたStoryBlenderシステムを提案する。(1)意味的空間的グラウンディング(Semantic-Spatial Grounding)、(2)ショット固有変数とショット固有変数を分離する連続メモリグラフの構築、(2)カノニカル・アセット・マテリアルライゼーション(Canonical Asset Materialization)、(3)視覚的アイデンティティを維持するための統一座標空間内のエンティティのインスタンス化、(3)空間的テンポラル・ダイナミクス(Spatial-Temporal Dynamics)。
検証ループ内で複数のエージェントを階層的にオーケストレーションすることにより、StoryBlenderはエンジン検証フィードバックを通じて空間幻覚を反復的に自己修正する。
ネイティブな3Dシーンは、マルチショット連続性を維持しながら、カメラとビジュアルアセットの直接的かつ正確な編集をサポートする。
実験により、StoryBlenderは拡散ベースおよび3Dグラウンドベースラインの整合性と編集性を大幅に向上することが示された。
コード、データ、デモビデオはhttps://engineeringai-lab.github.io/StoryBlender/で公開される。
関連論文リスト
- 3DProxyImg: Controllable 3D-Aware Animation Synthesis from Single Image via 2D-3D Aligned Proxy Embedding [46.75707405618843]
外観合成から幾何学的制御を分離する軽量な3Dアニメーションフレームワークを提案する。
提案手法は,低消費電力プラットフォーム上での効率的なアニメーション生成を実現する。
論文 参考訳(メタデータ) (2025-12-17T06:38:07Z) - 4-Doodle: Text to 3D Sketches that Move! [60.89021458068987]
4-Doodleは、テキストから動的3Dスケッチを生成するための、最初のトレーニング不要のフレームワークである。
提案手法は時間的にリアルかつ構造的に安定な3次元スケッチアニメーションを生成し,忠実度と可制御性の両方において既存のベースラインを上回っている。
論文 参考訳(メタデータ) (2025-10-29T09:33:29Z) - Sketch2Anim: Towards Transferring Sketch Storyboards into 3D Animation [22.325990468075368]
アニメーターはストーリーボードの2Dスケッチを、トライアル・アンド・エラー・プロセスを通じて望ましい3Dアニメーションを作るための参考として利用する。
2Dストーリーボードのスケッチを直接3Dアニメーションに変換する自動手法には高い需要がある。
スケッチ制約理解とモーション生成のための2つの重要なモジュールからなるSketch2Animを提案する。
論文 参考訳(メタデータ) (2025-04-27T10:38:17Z) - Story3D-Agent: Exploring 3D Storytelling Visualization with Large Language Models [57.30913211264333]
提案するStory3D-Agentは、提供された物語を3Dレンダリングの可視化に変換する先駆的なアプローチである。
プロシージャモデリングを統合することで,複数文字の動作や動きを正確に制御できるだけでなく,多様な装飾的要素も利用できる。
我々は,ストーリー3D-Agentを徹底的に評価し,その有効性を検証し,3Dストーリー表現を前進させるための基本的な枠組みを提供した。
論文 参考訳(メタデータ) (2024-08-21T17:43:15Z) - iControl3D: An Interactive System for Controllable 3D Scene Generation [57.048647153684485]
iControl3Dは、ユーザがカスタマイズ可能な3Dシーンを正確なコントロールで生成およびレンダリングできるようにする、新しいインタラクティブシステムである。
我々は3Dメッシュを仲介プロキシとして利用し、個別の2D拡散生成画像を結合的で統一された3Dシーン表現に反復的にマージする。
私たちのニューラルレンダリングインターフェースは、ユーザが自分のシーンのラディアンスフィールドをオンラインで構築し、シーン全体をナビゲートすることを可能にする。
論文 参考訳(メタデータ) (2024-08-03T06:35:09Z) - Chat-Edit-3D: Interactive 3D Scene Editing via Text Prompts [76.73043724587679]
CE3Dと呼ばれる対話型3Dシーン編集手法を提案する。
Hash-Atlasは3Dシーンビューを表し、3Dシーンの編集を2Dアトラスイメージに転送する。
その結果、CE3Dは複数の視覚モデルを効果的に統合し、多様な視覚効果が得られることを示した。
論文 参考訳(メタデータ) (2024-07-09T13:24:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。