論文の概要: ReplicateAnyScene: Zero-Shot Video-to-3D Composition via Textual-Visual-Spatial Alignment

• arxiv url: http://arxiv.org/abs/2604.10789v1
• Date: Sun, 12 Apr 2026 19:42:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.218472
• Title: ReplicateAnyScene: Zero-Shot Video-to-3D Composition via Textual-Visual-Spatial Alignment
• Title（参考訳）: ReplicateAnyScene: テキスト・ビジュアル・空間アライメントによるゼロショット映像から3D合成
• Authors: Mingyu Dong, Chong Xia, Mingyuan Jia, Weichen Lyu, Long Xu, Zheng Zhu, Yueqi Duan,
• Abstract要約: ReplicateAnySceneは,カジュアルな映像を合成3Dシーンに完全自動・ゼロショット変換できるフレームワークである。 私たちのパイプラインには5段階のカスケードが組み込まれており、視覚基盤モデルから一般的な事前情報を抽出し、構造的に整列する。 大規模な実験により,高品質な合成3Dシーンの生成において,既存のベースラインよりも優れた手法が示された。
• 参考スコア（独自算出の注目度）: 43.63998785971779
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans exhibit an innate capacity to rapidly perceive and segment objects from video observations, and even mentally assemble them into structured 3D scenes. Replicating such capability, termed compositional 3D reconstruction, is pivotal for the advancement of Spatial Intelligence and Embodied AI. However, existing methods struggle to achieve practical deployment due to the insufficient integration of cross-modal information, leaving them dependent on manual object prompting, reliant on auxiliary visual inputs, and restricted to overly simplistic scenes by training biases. To address these limitations, we propose ReplicateAnyScene, a framework capable of fully automated and zero-shot transformation of casually captured videos into compositional 3D scenes. Specifically, our pipeline incorporates a five-stage cascade to extract and structurally align generic priors from vision foundation models across textual, visual, and spatial dimensions, grounding them into structured 3D representations and ensuring semantic coherence and physical plausibility of the constructed scenes. To facilitate a more comprehensive evaluation of this task, we further introduce the C3DR benchmark to assess reconstruction quality from diverse aspects. Extensive experiments demonstrate the superiority of our method over existing baselines in generating high-quality compositional 3D scenes.
• Abstract（参考訳）: 人間は、ビデオ観察から物体を素早く知覚し、分割する能力を示し、精神的にそれらを構造化された3Dシーンに組み立てる。 構成的3D再構成と呼ばれるそのような能力の複製は、空間知能と身体的AIの進歩に欠かせない。 しかし、既存の手法は、クロスモーダル情報の不十分な統合、手動オブジェクトのプロンプトへの依存、補助的な視覚入力への依存、バイアスの訓練による過度に単純化されたシーンへの制限などにより、現実的な展開の実現に苦慮している。 これらの制約に対処するため,カジュアルな映像を合成3Dシーンに完全自動・ゼロショット変換できるフレームワークReplicateAnySceneを提案する。 具体的には,5段階のカスケードを組み込んで,視覚基盤モデルからテキスト,視覚,空間次元を対象とし,それらを構造化された3次元表現に分類し,構成されたシーンのセマンティック・コヒーレンスと物理的妥当性を確保する。 このタスクのより包括的な評価を容易にするため,多様な側面から再構成品質を評価するために,さらにC3DRベンチマークを導入する。 大規模な実験により,高品質な合成3Dシーンの生成において,既存のベースラインよりも優れた手法が示された。

関連論文リスト

• Spatial Understanding from Videos: Structured Prompts Meet Simulation Data [89.77871049500546]
  本稿では,事前学習された視覚言語モデルにおける3次元空間推論を,アーキテクチャを変更することなく拡張するための統一的なフレームワークを提案する。 このフレームワークは、複雑なシーンと質問を解釈可能な推論ステップに分解する構造化プロンプト戦略であるSpatialMindと、多様な3Dシミュレーションシーンから構築されたスケーラブルな質問応答データセットであるScanForgeQAを組み合わせる。
  論文  参考訳（メタデータ） (2025-06-04T07:36:33Z)
• VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
  本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。 VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
  論文  参考訳（メタデータ） (2025-05-26T17:56:30Z)
• SpatialCrafter: Unleashing the Imagination of Video Diffusion Models for Scene Reconstruction from Limited Observations [44.53106180688135]
  この作業は、スパースやシングルビューのインプットから3Dシーンを再構築する上での課題である。 SpatialCrafterは,ビデオ拡散モデルにおける豊富な知識を活用して,可算的な追加観測を生成するフレームワークである。 トレーニング可能なカメラエンコーダと、明示的な幾何学的制約に対するエピポーラアテンション機構により、精密なカメラ制御と3D整合性を実現する。
  論文  参考訳（メタデータ） (2025-05-17T13:05:13Z)
• Articulate3D: Holistic Understanding of 3D Scenes as Universal Scene Description [56.69740649781989]
  3Dシーン理解は、コンピュータビジョンにおける長年の課題であり、混合現実、ウェアラブルコンピューティング、そして具体化されたAIを実現する上で重要な要素である。 室内280のシーンに高品質な手動アノテーションを付加した専門的な3DデータセットであるArticulate3Dを紹介する。 我々はまた,部分分割を同時に予測できる新しい統一フレームワークUSDNetと,オブジェクトの動作属性の完全な仕様を提示する。
  論文  参考訳（メタデータ） (2024-12-02T11:33:55Z)
• Single-view 3D Scene Reconstruction with High-fidelity Shape and Texture [47.44029968307207]
  本研究では,物体の形状とテクスチャを同時に高忠実度に再現する新しい枠組みを提案する。 提案手法は,SSR(Single-view Neural implicit Shape and Radiance Field)表現を用いて,明示的な3次元形状制御とボリュームレンダリングの両方を活用する。 我々のフレームワークの特徴は、単一のビュー3D再構成モデルにレンダリング機能をシームレスに統合しながら、きめ細かいテクスチャメッシュを生成する能力である。
  論文  参考訳（メタデータ） (2023-11-01T11:46:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。