論文の概要: Any 3D Scene is Worth 1K Tokens: 3D-Grounded Representation for Scene Generation at Scale

• arxiv url: http://arxiv.org/abs/2604.11331v1
• Date: Mon, 13 Apr 2026 11:32:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.503059
• Title: Any 3D Scene is Worth 1K Tokens: 3D-Grounded Representation for Scene Generation at Scale
• Title（参考訳）: 3Dのシーンは1KのTokens: スケールでのシーン生成のための3Dグラウンド表現
• Abstract要約: 3Dシーン生成は、長い間、2Dのマルチビューまたはビデオ拡散モデルによって支配されてきた。 本稿では,暗黙の3次元潜在空間内で直接3Dシーンを生成することを提案する。
• 参考スコア（独自算出の注目度）: 47.551405833477986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D scene generation has long been dominated by 2D multi-view or video diffusion models. This is due not only to the lack of scene-level 3D latent representation, but also to the fact that most scene-level 3D visual data exists in the form of multi-view images or videos, which are naturally compatible with 2D diffusion architectures. Typically, these 2D-based approaches degrade 3D spatial extrapolation to 2D temporal extension, which introduces two fundamental issues: (i) representing 3D scenes via 2D views leads to significant representation redundancy, and (ii) latent space rooted in 2D inherently limits the spatial consistency of the generated 3D scenes. In this paper, we propose, for the first time, to perform 3D scene generation directly within an implicit 3D latent space to address these limitations. First, we repurpose frozen 2D representation encoders to construct our 3D Representation Autoencoder (3DRAE), which grounds view-coupled 2D semantic representations into a view-decoupled 3D latent representation. This enables representing 3D scenes observed from arbitrary numbers of views--at any resolution and aspect ratio--with fixed complexity and rich semantics. Then we introduce 3D Diffusion Transformer (3DDiT), which performs diffusion modeling in this 3D latent space, achieving remarkably efficient and spatially consistent 3D scene generation while supporting diverse conditioning configurations. Moreover, since our approach directly generates a 3D scene representation, it can be decoded to images and optional point maps along arbitrary camera trajectories without requiring per-trajectory diffusion sampling pass, which is common in 2D-based approaches.
• Abstract（参考訳）: 3Dシーン生成は、長い間、2Dのマルチビューまたはビデオ拡散モデルによって支配されてきた。 これは、シーンレベルの3D潜在表現が欠如しているだけでなく、シーンレベルの視覚データが、自然に2D拡散アーキテクチャと互換性のあるマルチビュー画像やビデオの形で存在するという事実による。 通常、これらの2次元アプローチは3次元空間外挿を2次元時間拡張に分解し、2つの根本的な問題を提起する。 (i)2次元ビューによる3次元シーンの表現は、顕著な表現冗長性をもたらし、 (II) 2次元に根付いた潜伏空間は、生成した3次元シーンの空間的一貫性を本質的に制限する。 本稿では,これらの制約に対処するため,暗黙的な3次元ラテント空間内で3次元シーン生成を初めて行うことを提案する。 まず,凍結した2次元表現エンコーダを再利用して3次元表現オートエンコーダ(DRAE)を構築する。 これにより、任意の数のビューから観察される3Dシーン - 任意の解像度とアスペクト比 - 固定された複雑さとリッチなセマンティクス - を表現できる。 次に,3D拡散変換器(DDiT)を導入し,この3D潜伏空間での拡散モデリングを行い,多種多様な条件設定をサポートしながら,極めて効率的で空間的に一貫した3Dシーン生成を実現する。 さらに,本手法は直接3次元シーン表現を生成するため,任意のカメラ軌道に沿った画像や任意の点マップにデコードすることができる。

関連論文リスト

• OneWorld: Taming Scene Generation with 3D Unified Representation Autoencoder [90.8453349494245]
  本研究では,コヒーレントな3次元表現空間内で直接拡散を行うOneWorldを提案する。 OneWorldは、最先端の2Dベースの方法と比較して、クロスビューの一貫性に優れた高品質な3Dシーンを生成する。
  論文  参考訳（メタデータ） (2026-03-17T03:43:37Z)
• 3D Aware Region Prompted Vision Language Model [99.4106711584584]
  SR-3Dは、共有された視覚トークン空間を介して、シングルビュー2D画像とマルチビュー3Dデータを接続する。 SR-3Dはフレキシブルな領域プロンプトをサポートしており、バウンディングボックス、任意のフレーム上のセグメンテーションマスク、あるいは直接3Dでアノテートできる。
  論文  参考訳（メタデータ） (2025-09-16T17:59:06Z)
• Does Your 3D Encoder Really Work? When Pretrain-SFT from 2D VLMs Meets 3D VLMs [72.11701578308804]
  本稿では,最近の3次元視覚言語モデルを3次元オブジェクト中心,2次元イメージベース,および3次元シーン中心のアプローチに分類する。 3Dシーン中心のVLMと2Dシーン中心のVLMのアーキテクチャ的類似性にもかかわらず、最新の3Dオブジェクト中心と2Dイメージベースアプローチと比較して比較的低い性能を示した。 本研究は,これらのモデルが多モードアライメント機能を有する一方で,言語的手がかりに過度に頼り,頻繁な回答に過度に適合する傾向があることを示唆している。
  論文  参考訳（メタデータ） (2025-06-05T17:56:12Z)
• Bolt3D: Generating 3D Scenes in Seconds [82.68347112021756]
  1つ以上の画像が与えられた場合、Bolt3Dは1つのGPU上で7秒以内で直接3Dシーン表現をサンプリングします。 3次元再構成のためのシーンごとの最適化を必要とする従来のマルチビュー生成モデルと比較して、Bolt3Dは推論コストを最大300倍に削減する。
  論文  参考訳（メタデータ） (2025-03-18T17:24:19Z)
• Latent Radiance Fields with 3D-aware 2D Representations [13.527653704258121]
  本稿では,3次元認識を2次元潜在空間に統合する新しいフレームワークを提案する。 本フレームワークは,(1)2次元潜在表現の3次元整合性を高める対応認識自動符号化法,(2)3次元認識2次元表現を3次元空間に引き上げる潜在放射場(LRF),(3)レンダリングされた2次元表現から画像デコーディングを改善するVAE-RFアライメント戦略の3段階からなる。
  論文  参考訳（メタデータ） (2025-02-13T18:59:09Z)
• ConDense: Consistent 2D/3D Pre-training for Dense and Sparse Features from Multi-View Images [47.682942867405224]
  ConDenseは既存の2Dネットワークと大規模マルチビューデータセットを利用した3D事前トレーニングのためのフレームワークである。 組込み型2Dと3Dの特徴をエンドツーエンドのパイプラインで抽出する新しい2D-3Dジョイントトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-08-30T05:57:01Z)
• BUOL: A Bottom-Up Framework with Occupancy-aware Lifting for Panoptic 3D Scene Reconstruction From A Single Image [33.126045619754365]
  BUOLはOccupancy-aware Liftingを備えたフレームワークであり、単一の画像からパノプティカル3Dシーンを再構築する際の2つの問題に対処する。 提案手法は,3D-Frontおよび実世界のデータセットMatterport3Dにおける最先端の手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-01T17:56:49Z)
• RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation [68.06991943974195]
  単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。 FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
  論文  参考訳（メタデータ） (2022-11-17T20:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。