論文の概要: 4DAnyone: Create Anyone in 4D from a Casual Monocular Video
- arxiv url: http://arxiv.org/abs/2608.20335v1
- Date: Thu, 20 Aug 2026 17:59:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.670064
- Title: 4DAnyone: Create Anyone in 4D from a Casual Monocular Video
- Title（参考訳）: 4DAnyone:カジュアルなモノクロ動画から4Dで誰でも作れます
- Abstract要約: モノクロビデオから4D人間を再構築するためのフレームワークである4DAnyoneを提示する。
4DAnyoneはリコンストラクショングレードのマルチビュー一貫性ビデオを生成し、それを4Dガウススプラッティング(4DGS)に持ち上げる
DNAレンダリングとDyMVHumansの実験では、4DAnyoneは、新しいビュービデオの品質と下流4DGSの再構築の両方において、従来の方法よりも優れていた。
- 参考スコア（独自算出の注目度）: 90.29631874006402
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present 4DAnyone, a framework for reconstructing 4D humans from an uncalibrated monocular video by generating reconstruction-grade multiview-consistent videos and lifting them into 4D Gaussian Splatting (4DGS). Existing camera-controlled video diffusion models synthesize plausible novel-view videos but fail to maintain consistency when scaled to the tens of target views required for 4DGS reconstruction. We identify this failure as a bounded-attention-context problem: when target views exceed the capacity of a single DiT forward pass, they must be split into groups, exposing two coupled bottlenecks. On the reference-context side, conditioning on all previously generated views grows as $O(N)$, weakening cross-view appearance guidance. On the target-context side, disjoint groups cannot directly exchange information, causing global structural drift. 4DAnyone addresses both bottlenecks with two complementary designs: Reference Context Packing (RCP) compresses growing reference views into a fixed-length mixed-resolution context with $O(1)$ reference-context complexity, while Target Context Routing (TCR) rotates target-view groupings during denoising to share context across groups at high-noise steps and stabilize details at low-noise steps. We further build the MVGameHuman dataset using our in-house game engine and combine it with light-stage and in-the-wild video datasets for training. Experiments on DNA-Rendering and DyMVHumans show that 4DAnyone outperforms prior methods in both novel-view video quality and downstream 4DGS reconstruction, with robust in-the-wild generalization. See our project page for video results and source code: https://4danyone.github.io.
- Abstract（参考訳）: 本報告では,4DGS(4次元ガウシアン・スプラッティング)に再構成グレードのマルチビュー一貫性ビデオを生成し,4DGS(4次元ガウシアン・スプラッティング)に引き上げることで,モノクロビデオから4D人間を再構成するフレームワークである4DAnyoneについて述べる。
既存のカメラ制御ビデオ拡散モデルは、可塑性ノベルビュービデオを合成するが、4DGS再構成に必要な数十のターゲットビューにスケールした場合、一貫性を維持することができない。
ターゲットビューが単一のDiTフォワードパスのキャパシティを超えると、それらはグループに分割され、2つの混在するボトルネックが露呈する。
参照コンテキスト側では、以前生成されたすべてのビューの条件付けは$O(N)$として増加し、クロスビューの外観ガイダンスが弱まる。
ターゲットコンテキスト側では、解離群は直接情報を交換することができず、大域的な構造的ドリフトを引き起こす。
4DAnyoneは2つの相補的な設計で両方のボトルネックに対処する: 参照コンテキストパッキング(RCP)は、成長する参照ビューを$O(1)$の参照コンテキストの複雑さで混合したコンテキストに圧縮する一方、ターゲットコンテキストルーティング(TCR)は、高ノイズステップでグループ間でコンテキストを共有し、低ノイズステップで詳細を安定化する。
さらに、私たちの社内ゲームエンジンを使用してMVGameHumanデータセットを構築し、トレーニングのために、ライトステージおよびインザワイルドのビデオデータセットと組み合わせます。
DNAレンダリングとDyMVHumansの実験では、4DAnyoneは、新しいビュービデオの品質と下流4DGS再構成の両方において、堅牢なイン・ザ・ワイルドの一般化において、従来の方法よりも優れていた。
ビデオ結果とソースコードについては、プロジェクトページを参照してください。
関連論文リスト
- Flex4DHuman: Flexible Multi-view Video Diffusion for 4D Human Reconstruction [32.69813032650073]
動的対象の単眼的あるいはスパースな多視点映像を高密度な多視点映像に変換する多視点拡散モデルFlex4DHumanを提案する。
骨格、深度マップ、ノーマル、レンダリングされたターゲットビュー幾何に依存する従来の人間中心の手法とは異なり、Flex4DHumanは明示的な幾何学的先行を必要としない。
論文 参考訳（メタデータ） (2026-06-11T17:54:05Z) - Full-4D: Generating Full-Scope 4D Scenes from a Single-View Video [63.61099683012546]
本稿では,同期マルチビュービデオのデータセットであるRealMV-4Dを紹介する。
次に、新しい融合時間(T)-ビュー(V)アテンション機構によって駆動される多視点ビデオ拡散モデルを訓練する。
実験により,本手法は視覚的忠実度と一貫性の両方において既存手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2026-05-25T06:59:26Z) - Reshoot-Anything: A Self-Supervised Model for In-the-Wild Video Reshooting [3.1328424544428852]
インターネット規模のモノクロビデオを活用するためのフレームワークを構築した。
私たちのコアコントリビューションは、ソースビデオ、幾何アンカー、ターゲットビデオからなる擬似多視点トレーニング三脚の生成です。
提案する拡散変圧器は4Dポイントクラウド誘導アンカーを用いて,最先端の時間的整合性を実現する。
論文 参考訳（メタデータ） (2026-04-23T15:32:56Z) - Tracking-Guided 4D Generation: Foundation-Tracker Motion Priors for 3D Model Animation [21.075786141331974]
スパース入力から動的4Dオブジェクトを生成するフレームワークであるemphTrack4DGenを提案する。
ステージ1では拡散発生器内の高密度な特徴レベル対応を強制する。
ステージ2では,ハイブリッドモーション符号化を用いて動的4D-GSを再構成する。
論文 参考訳（メタデータ） (2025-12-05T21:13:04Z) - SyncTrack4D: Cross-Video Motion Alignment and Video Synchronization for Multi-Video 4D Gaussian Splatting [50.69165364520998]
実世界の非同期ビデオ集合を扱うために, マルチビデオ4Dガウススプラッティング (4DGS) 方式を提案する。
SyncTrack4Dは、4DGSの同時同期と4DGS再構成のためのキューとして動的シーンの高密度な4Dトラック表現を直接活用する。
我々はPanoptic Studio と SyncNeRF Blender に対するアプローチを評価し,0.26 フレーム以下の平均時間誤差でサブフレーム同期精度を示し,高忠実度 4D 再構成は26.3 PSNR スコアに達した。
論文 参考訳（メタデータ） (2025-12-03T23:05:01Z) - Uni4D-LLM: A Unified SpatioTemporal-Aware VLM for 4D Understanding and Generation [61.60600246983274]
既存の3Dおよび4Dアプローチは、通常、シーン幾何学を意味的理解とコンテンツ生成のための拡散モデルのための自己回帰モデルに組み込む。
我々は4次元シーン理解と生成のための時間的認識を備えた最初の統合VLMフレームワークであるUni4D-LLMを提案する。
論文 参考訳（メタデータ） (2025-09-28T12:06:54Z) - 4D Driving Scene Generation With Stereo Forcing [62.47705572424127]
現在の生成モデルは、時間外挿と空間的新規ビュー合成(NVS)をシーンごとの最適化なしで同時にサポートする動的4D駆動シーンの合成に苦慮している。
PhiGenesisは、幾何学的・時間的整合性を持った映像生成技術を拡張する4次元シーン生成のための統合フレームワークである。
論文 参考訳（メタデータ） (2025-09-24T15:37:17Z) - 4DVD: Cascaded Dense-view Video Diffusion Model for High-quality 4D Content Generation [23.361360623083943]
分離された方法で4Dコンテンツを生成するビデオ拡散モデルである4DVDを提案する。
4DVDをトレーニングするために、ベンチマークからD-averseと呼ばれる動的3Dデータセットを収集します。
新規なビュー合成と4次元生成の両面での最先端性能を実証する実験を行った。
論文 参考訳（メタデータ） (2025-08-06T14:08:36Z) - Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency [49.875459658889355]
Free4Dは、単一の画像から4Dシーンを生成するためのチューニング不要のフレームワークである。
我々の重要な洞察は、一貫した4次元シーン表現のために、事前訓練された基礎モデルを蒸留することである。
結果の4D表現はリアルタイムで制御可能なレンダリングを可能にする。
論文 参考訳（メタデータ） (2025-03-26T17:59:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。