論文の概要: Sparse auto-regressive modeling for scene generation from multi-view images

• arxiv url: http://arxiv.org/abs/2609.03931v1
• Date: Thu, 03 Sep 2026 14:41:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.118114
• Title: Sparse auto-regressive modeling for scene generation from multi-view images
• Title（参考訳）: 多視点画像からのシーン生成のためのスパース自動回帰モデル
• Abstract要約: SPAR3Sは,条件付きシーン補完のためのスパース・ボクセル・アライメント3次元潜時生成モデルである。 我々の重要な洞察は、構造化されたコンパクトな3次元ラテント空間における3Dシーン生成を定式化することである。 本手法が室内の合成シーンに与える影響を実証し, 先行作業よりも新規視認性が高いことを示した。
• 参考スコア（独自算出の注目度）: 20.272184280044083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating complete 3D scenes from sparse, unconstrained views is a fundamental challenge in 3D vision which requires reasoning beyond observed content while remaining computationally tractable. Existing feed-forward reconstruction methods are inherently limited to content visible in the input images, while 3D generative modeling is hindered by the high computational cost of dense volumetric representations and the scarcity of large-scale 3D supervision. We introduce SPAR3S, a sparse voxel-aligned 3D latent generative model for conditional scene completion without requiring ground-truth 3D data for supervision. Our key insight is to formulate 3D scene generation in a structured, compact, voxel-aligned 3D latent space where only occupied voxels are represented. We learn this sparse latent space directly from multi-view images using photometric supervision via differentiable 3D Gaussian Splatting. Given a partial set of observed voxels encoded from sparse input views, scene completion reduces to predicting the missing latent tokens and their spatial support within the voxel grid. To this end, we train a masked autoregressive transformer that jointly models voxel occupancy and latent token values, enabling efficient and spatially consistent generation of unseen regions. We demonstrate the effectiveness of our method on synthetic indoor scenes, achieving higher novel-view quality than prior work. We further validate its generalization on RealEstate10k, highlighting its applicability to real-world data.
• Abstract（参考訳）: 疎外で制約のない視点から完全な3Dシーンを生成することは、3Dビジョンの基本的な課題であり、計算的に抽出可能なまま、観察されたコンテンツを超えて推論する必要がある。 既存のフィードフォワード再構成手法は、入力画像で見る内容に本質的に制限されるが、高密度な体積表現の計算コストと大規模3D監視の不足により、3D生成モデリングは妨げられる。 SPAR3S(Sparse voxel-aligned 3D latent generative model)を導入する。 我々の重要な洞察は、占有されたボクセルのみが表現される構造化されたコンパクトな3次元ラテント空間において、3Dシーン生成を定式化することである。 微分可能な3次元ガウススプラッティングによる光度監督を用いて,多視点画像から直接,この疎い潜伏空間を学習する。 スパース入力ビューから符号化された観察されたボクセルの一部セットが与えられた場合、シーン補完は、欠落した潜在トークンと、そのボクセルグリッド内の空間的サポートを予測することまで減少する。 この目的のために、マスク付き自己回帰変換器をトレーニングし、ボクセル占有率と潜在トークン値を共同でモデル化し、効率的で空間的に一貫した未確認領域の生成を可能にする。 本手法が室内の合成シーンに与える影響を実証し, 先行作業よりも新規視認性が高いことを示した。 我々はRealEstate10kの一般化をさらに検証し、実世界のデータへの適用性を強調した。

関連論文リスト

• SEM-ROVER: Semantic Voxel-Guided Diffusion for Large-Scale Driving Scene Generation [7.655860434125127]
  本稿では,各占有ボクセルが一定数の色付き表面サンプルを格納する離散表現である$-Voxfield gridに基づく3D生成フレームワークを提案する。 この表現を生成するために,局所的なボクセル近傍で動作する意味条件付き拡散モデルを訓練する。 重なり合う領域にプログレッシブな空間効果を生かして大きなシーンにスケールする。最後に、生成された$-Voxfield グリッドを遅延レンダリングモジュールで描画し、フォトリアリスティックな画像を得る。
  論文  参考訳（メタデータ） (2026-04-07T17:24:29Z)
• Seen2Scene: Completing Realistic 3D Scenes with Visibility-Guided Flow [80.05357398241574]
  Seen2Sceneは、シーンの完成と生成のために、不完全で現実世界の3Dスキャンをトレーニングする最初のフローマッチングベースのアプローチである。 Seen2Sceneは、現実世界の非完全な3Dスキャンから直接学習することで、複雑で散らかった実環境のためのリアルな3Dシーン補完を可能にする。
  論文  参考訳（メタデータ） (2026-03-30T15:08:38Z)
• SPATIALGEN: Layout-guided 3D Indoor Scene Generation [37.30623176278608]
  本研究では,現実的でセマンティックに整合した室内シーンを生成するマルチビューマルチモーダル拡散モデルであるSpatialGenを提案する。 3次元レイアウトと参照画像が与えられたモデルでは、任意の視点から外観(カラー画像)、幾何学(シーン座標マップ)、意味(セマンティックセグメンテーションマップ)を合成する。 私たちは、コミュニティを力づけ、屋内のシーン理解と生成の分野を前進させるために、データとモデルをオープンソース化しています。
  論文  参考訳（メタデータ） (2025-09-18T14:12:32Z)
• UniForward: Unified 3D Scene and Semantic Field Reconstruction via Feed-Forward Gaussian Splatting from Only Sparse-View Images [43.40816438003861]
  本稿では,3次元シーンとセマンティックフィールドの再構成を統一したフィードフォワードモデルを提案する。 我々のUniForwardは、スパースビュー画像のみから、3Dシーンと対応するセマンティックフィールドをリアルタイムで再構築することができる。 新規なビュー合成と新規なビューセグメンテーションの実験により,本手法が最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T04:01:21Z)
• EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
  既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。 本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
  論文  参考訳（メタデータ） (2025-03-26T02:47:27Z)
• SCube: Instant Large-Scale Scene Reconstruction using VoxSplats [55.383993296042526]
  SCubeは画像の粗い集合から大規模3次元シーン(幾何学、外観、意味論)を再構成する新しい手法である。 提案手法は,高解像度のスパース・ボクセル・足場上に支持された3次元ガウスの組である,新しい表現VoxSplatを用いて再構成シーンを符号化する。
  論文  参考訳（メタデータ） (2024-10-26T00:52:46Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• NeuralField-LDM: Scene Generation with Hierarchical Latent Diffusion Models [85.20004959780132]
  複雑な3D環境を合成できる生成モデルであるNeuralField-LDMを紹介する。 NeuralField-LDMは,条件付きシーン生成,シーンインペインティング,シーンスタイル操作など,さまざまな3Dコンテンツ作成アプリケーションに利用できることを示す。
  論文  参考訳（メタデータ） (2023-04-19T16:13:21Z)
• LiP-Flow: Learning Inference-time Priors for Codec Avatars via Normalizing Flows in Latent Space [90.74976459491303]
  実行時入力に条件付けされた先行モデルを導入し、この先行空間を潜伏空間の正規化フローを介して3次元顔モデルに結びつける。 正規化フローは2つの表現空間をブリッジし、潜在サンプルをある領域から別の領域に変換することで、潜在可能性の目的を定義する。 提案手法は,表情のダイナミックスや微妙な表現をよりよく捉えることによって,表現的かつ効果的に先行することを示す。
  論文  参考訳（メタデータ） (2022-03-15T13:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。