論文の概要: Spatial Foundry: A Multimodal Dataset for Spatial Intelligence
- arxiv url: http://arxiv.org/abs/2611.17318v1
- Date: Thu, 12 Nov 2026 18:58:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.600179
- Title: Spatial Foundry: A Multimodal Dataset for Spatial Intelligence
- Title(参考訳): Space Foundry: 空間情報のためのマルチモーダルデータセット
- Abstract要約: Space Foundryは、編集可能なアセットと、視覚的、幾何学的、時間的データを備えた5,280個の3Dシーン構成のコレクションである。
そのモダリティには、フロアプラン、パースペクティブ、パノラマRGB、メートル法深度、ポイントクラウド、メッシュ、インスタンスレベルの3Dバウンディングボックス、ビデオと組み合わせたカメラトラジェクトリなどがある。
データ表現と構築のワークフローを説明し、フロアプラン条件付き3D生成、幾何学的再構成、インスタンスレベルの認識、カメラ条件付きビデオ生成、シーン編集の応用について論じる。
- 参考スコア(独自算出の注目度): 5.335740986091644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatial intelligence requires connecting visual observations to the geometry, objects, and persistent state of an environment. Images alone leave these relationships implicit, while disconnected annotations make it difficult to study appearance, camera motion, and scene changes under a common reference. We introduce Spatial Foundry, a collection of 5,280 furnished residential 3D scene configurations with editable assets and aligned visual, geometric, and temporal data. Its modalities include floor plans, perspective and panoramic RGB, metric depth, point clouds, meshes, instance-level 3D bounding boxes, and camera trajectories paired with video. Shared scene coordinates link observations across views and time; editable source scenes enable additional camera paths and controlled object changes. We describe the data representation and construction workflow, and discuss applications in floor-plan-conditioned 3D generation, geometric reconstruction, instance-level perception, camera-conditioned video generation, shared world modeling, and scene editing. Controlled camera and scene variations support spatial perception and world-model research. The public project page provides videos and an interactive colored point-cloud preview.
- Abstract(参考訳): 空間知能は、環境の幾何学、物体、永続状態と視覚的観察を結びつける必要がある。
画像だけではこれらの関係は暗黙的に残されるが、接続されていないアノテーションは、共通の参照の下で外観、カメラの動き、シーンの変化を研究するのを難しくする。
今回紹介するSpatial Foundryは,5,280点の3Dシーンを編集可能なアセットと,視覚的,幾何学的,時間的データの整合性を備えた集合体である。
そのモダリティには、フロアプラン、パースペクティブ、パノラマRGB、メートル法深度、ポイントクラウド、メッシュ、インスタンスレベルの3Dバウンディングボックス、ビデオと組み合わせたカメラトラジェクトリなどがある。
共有シーンは、ビューと時間をまたいだ観察をリンクする。編集可能なソースシーンは、追加のカメラパスとコントロール対象の変更を可能にする。
データ表現と構築のワークフローを説明し、フロアプラン条件付き3D生成、幾何学的再構成、インスタンスレベルの認識、カメラ条件付きビデオ生成、共有世界モデリング、シーン編集の応用について論じる。
制御カメラとシーンのバリエーションは空間知覚と世界モデル研究を支援する。
パブリックプロジェクトページでは、ビデオとインタラクティブな色のポイントクラウドプレビューが提供されている。
関連論文リスト
- OmniShowcase: Omnidirectional Subject-Consistent Video Generation from Multi-View Images [40.37900854182167]
我々はOmniShowcaseを紹介した。OmniShowcaseは完全に自動化されたデータ合成パイプラインで、多様なカメラ軌道に沿ってトレーニングビデオを生成する。
また,Showcase-4Kという3Dアセットをベースとしたビデオのコーパスを構築し,88の軌跡を横断する12のカメラモーションを収録した。
実験では、競争力のある映像品質と動きを維持しながら、最先端の被写体識別と3D整合性を示す。
論文 参考訳(メタデータ) (2026-10-26T16:19:59Z) - SceneAE: Scene Generation and Reconstruction in Queryable 3D-Anchored Latent Space [43.55801458073369]
本研究では,コンパクトで非構造な3Dアンコール型潜伏空間を,シーンの再構成と生成のために提案する。
生成のために、幾何学的内容分離を利用して、まずカメラ制御された3次元幾何を生成し、その上に条件付きコンテンツを合成する。
実験により、この3D潜伏剤は、より優れた生成品質、計算コスト、カメラ制御性を実現することが示された。
論文 参考訳(メタデータ) (2026-10-14T07:37:31Z) - GATOR: Generative and Agentic 3D Object Reconstruction From Casual Images [27.21315421926771]
カジュアル画像からシーンアライメントされた3Dオブジェクトを再構成する生成フレームワークであるGATORを提案する。
テキスト誘導セマンティックコンディショニングは、これらの空間的手がかりをカテゴリ名とオブジェクトキャプションで補完する。
GATORは、スパース観測からシーン相対的なポーズを回復しながら、強い幾何学的および外観的忠実性を達成する。
論文 参考訳(メタデータ) (2026-10-08T04:13:04Z) - SPOON: Towards Coherent Compositional 3D Scene Generation from Uncalibrated Multi-view Images [104.47984768244568]
近年のイメージコンディショニング3Dジェネレータは, 高品質な物体形状を創出する上で, 強力な先行技術を提供する。
既存のアプローチでは、シーンレイアウトをオブジェクト生成で絡み合わせるか、ビュー固有の観測から空間配置を別々に推定する。
SPOONは、シーンレベルの幾何学的なポーズ推論として構成3D生成を再構成するフレームワークである。
論文 参考訳(メタデータ) (2026-09-30T12:16:23Z) - Fysiverse-3D-Vision Technical Report: Generating Executable 3D Worlds from Images through Unified Spatial Reasoning [62.09790533047924]
生成モデルは、高度な画像条件付き3Dコンテンツ生成が可能だが、単一の画像から制御可能で実行可能な3Dシーンを生成することは、依然として困難である。
本研究では,Fysiverse-3D-Visionを提案する。Fysiverse-3D-Visionは1つの画像から生成した3次元シーンの再構成と実行可能アセット構築のための統合視覚言語-幾何学フレームワークである。
本フレームワークは,既存の手法と比較して,幾何学的整合性,レイアウト推定,レンダリング品質,物理的特性の理解に優れる。
論文 参考訳(メタデータ) (2026-09-22T06:22:31Z) - WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory [60.18419531120148]
我々は、この目的のためにカメラクエリ可能な暗黙的な3Dメモリを学ぶビデオワールドモデルであるWorldCrafterを紹介する。
重要な洞察は、要求された視点をビデオジェネレータの限定トークン予算にマルチビューエビデンスを圧縮する方法を形作ることである。
静的および動的シーンにわたる実験では、長距離一貫性とカメラ制御精度が大幅に向上した。
論文 参考訳(メタデータ) (2026-09-21T17:57:06Z) - SceneScribe-1M: A Large-Scale Video Dataset with Comprehensive Geometric and Semantic Annotations [88.8747004592363]
SceneScribe-1Mは新しい大規模多時間ビデオデータセットである。
そこには100万本のビデオが含まれており、それぞれに詳細なテキスト記述、正確なパラメータ、深度マップ、一貫性のある3Dポイントトラックなどが含まれている。
SceneScribe-1Mの汎用性と価値は、単眼深度推定、シーン再構成動的点追跡、テキスト・ビデオ合成などの生成タスク、カメラ制御の有無にかかわらず、幅広い下流タスクのベンチマークを確立することで示される。
論文 参考訳(メタデータ) (2026-04-09T08:59:33Z) - CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph
Diffusion [83.30168660888913]
シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。
パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。
生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
論文 参考訳(メタデータ) (2023-05-25T17:39:13Z) - Playable Environments: Video Manipulation in Space and Time [98.0621309257937]
再生可能な環境 - 空間と時間におけるインタラクティブなビデオ生成と操作のための新しい表現。
提案フレームワークでは,1枚の画像を推論時に生成し,対象物を3次元に移動させ,所望のアクションを連続して生成する。
提案手法は,各フレームの環境状態を構築し,提案したアクションモジュールで操作し,ボリュームレンダリングで画像空間に復号化することができる。
論文 参考訳(メタデータ) (2022-03-03T18:51:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。