論文の概要: WorldCast: World-Consistent Character Video Generation with Large-Angle Camera Control
- arxiv url: http://arxiv.org/abs/2610.33135v1
- Date: Fri, 23 Oct 2026 14:15:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.256921
- Title: WorldCast: World-Consistent Character Video Generation with Large-Angle Camera Control
- Title(参考訳): WorldCast:大角カメラ制御による世界一貫性キャラクタ映像生成
- Abstract要約: CLACTは大規模キャラクタ中心のデータセットであり,多様な大角カメラトラジェクトリをカバーするベンチマークである。
我々は,多種多様な大角カメラ動作下でのワールド一貫性キャラクタ映像生成のためのフレームワーク WorldCast を提案する。
- 参考スコア(独自算出の注目度): 37.36286038735966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Precise camera control is essential for cinematic character video generation, yet existing methods struggle to follow large-angle trajectories with combined rotation, translation, and radius variation from arbitrary initial azimuths. Such viewpoint changes also reveal character regions unseen in the initial frame, causing geometric distortions, appearance degradation, and identity drift. To systematically study these coupled challenges, we introduce CLACT, a large-scale Character-centric dataset and benchmark covering diverse Large-Angle Camera Trajectories, with accurate camera geometry and multi-view character observations for training and evaluation. We further propose WorldCast, a framework for world-consistent character video generation under diverse large-angle camera motions. Specifically, we back-project the initial frame into a 3D point cloud using estimated depth, align the point-cloud scale with the target camera trajectory, and render it along the trajectory to obtain explicit geometric guidance and coverage masks. To complement the incomplete character information, we introduce Geometry-Aligned Memory Attention (GAMA). Using relative camera poses estimated jointly from the initial frame and multi-view character anchors, we express anchor and target-view geometry in a common coordinate frame. GAMA uses this geometric alignment to guide the retrieval and injection of view-relevant character features during generation. Evaluations across diverse large-angle camera trajectories demonstrate accurate trajectory following while preserving character geometry, appearance, and identity.
- Abstract(参考訳): カメラの精密制御はキャラクタ生成に不可欠であるが、既存の手法では回転、翻訳、半径の変動による大角軌跡の追従に苦慮している。
このような視点の変化は、初期フレームに見えない文字領域を明らかにし、幾何学的歪み、外観劣化、アイデンティティドリフトを引き起こす。
これらの課題を体系的に研究するために,大規模キャラクタ中心のデータセットと,様々な大角カメラ軌道を網羅するベンチマークであるCLACTを紹介した。
さらに,多種多様な大角カメラ動作下でのワールド一貫性キャラクタ映像生成のためのフレームワークであるWorldCastを提案する。
具体的には、推定深度を用いて初期フレームを3次元点雲に後方投影し、ポイントクラウドスケールを目標カメラ軌跡と整列させ、軌道に沿ってレンダリングして、明示的な幾何学的ガイダンスとカバレッジマスクを得る。
不完全な文字情報を補完するために、Geometry-Aligned Memory Attention (GAMA)を導入する。
初期フレームと多視点キャラクタアンカーから推定される相対的なカメラポーズを用いて、アンカーとターゲットビューの幾何学を共通座標フレームで表現する。
GAMAはこの幾何学的アライメントを使用して、生成中のビュー関連文字の特徴の検索と注入を誘導する。
様々な大角カメラ軌跡に対する評価は、キャラクタリゼーション、外観、アイデンティティを保ちながら、正確な軌跡の追従を示す。
関連論文リスト
- Learning to Correct Geometry in Generated Videos [52.88077815116697]
ウェブスケールのビデオコーパスでは、最も目に見える動きは静的または弱い動きのカメラで捉えたダイナミックな物体から来ている。
本稿では,合成対監督に基づく映像合成モデルであるVGC(Video Geometry Corrector)を提案する。
ポーズ条件付きおよびプロンプト駆動ベンチマークの実験は、VGCが複数のソースジェネレータ間の幾何的一貫性を改善することを示している。
論文 参考訳(メタデータ) (2026-10-16T17:59:55Z) - Geometry as Address: Routing Attention to Visual Memory for Long-Horizon Camera-Controlled Video Generation [65.27606758907416]
ロングホライゾンカメラ制御ビデオ生成は、成長を続ける視覚の歴史から、これまで観察されたコンテンツを回復する必要がある。
既存のアプローチでは、歴史的コンテキストを暗黙的に検索するか、永続的な3Dメモリに再構築する。
我々は、幾何学を視覚記憶のための明示的なトークンレベルアドレスとして利用するGeometry-Enabled Attention RoutingフレームワークであるGEARを紹介する。
論文 参考訳(メタデータ) (2026-09-28T09:27:59Z) - UniGeo: Unifying Geometric Guidance for Camera-Controllable Image Editing via Video Models [20.550231658763085]
カメラ制御可能な画像編集は、カメラポーズの異なるシーンの新しいビューを合成することを目的としている。
既存の方法は、表現レベルで点雲を注入するなど、断片化された幾何学的ガイダンスに依存している。
カメラ制御可能な新しい編集フレームワークUniGeoを提案する。
論文 参考訳(メタデータ) (2026-04-19T18:11:08Z) - Geometry-Aware Rotary Position Embedding for Consistent Video World Model [48.914346802616414]
ViewRopeは、ビデオトランスフォーマーの自己アテンション層に直接カメラの方向を注入するジオメトリ対応のエンコーディングである。
Geometry-Aware Frame-Sparse Attentionは、これらの幾何学的手がかりを利用して、関連する歴史的なフレームに選択的に参加する。
この結果から,ViewRopeは長期的整合性を大幅に向上し,計算コストを低減できることがわかった。
論文 参考訳(メタデータ) (2026-02-08T08:01:16Z) - DVGT: Driving Visual Geometry Transformer [63.38483879291505]
駆動対象の高密度幾何知覚モデルは、異なるシナリオやカメラ構成に適応することができる。
提案するドライビング・ビジュアル・ジオメトリ・トランスフォーマ (DVGT) は, 広義の高密度な3Dポイントマップを, 複数視点の視覚入力の列から再構成する。
DVGTには、任意のカメラ構成のフレキシブルな処理を可能にする、明示的な3D幾何学的事前処理がない。
論文 参考訳(メタデータ) (2025-12-18T18:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。