論文の概要: ScenePilot: Grow-and-Repair Policy for Text-Driven 3D Indoor Scene Generation
- arxiv url: http://arxiv.org/abs/2608.30307v1
- Date: Mon, 31 Aug 2026 06:22:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.254198
- Title: ScenePilot: Grow-and-Repair Policy for Text-Driven 3D Indoor Scene Generation
- Title（参考訳）: ScenePilot: テキスト駆動型屋内シーン生成のための成長と修復のポリシー
- Abstract要約: テキスト駆動型屋内シーン生成は、データセット境界レイアウトモデリングから、大規模言語と視覚言語モデルによるオープン語彙合成へと進歩した。
textbfGrow-and-perturb フレームワークである textbfScenePilot を提案する。
- 参考スコア（独自算出の注目度）: 31.774221087007863
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-driven 3D indoor scene generation has advanced from dataset-bound layout modeling to open-vocabulary synthesis with large language and vision-language models. Yet existing methods remain limited: one-pass generators often yield geometrically invalid layouts, heavy post-hoc optimization is costly and unstable, and prompt-only planners lack reusable layout priors for functional grouping and object relations. We propose \textbf{ScenePilot}, a retrieval-augmented \textbf{Grow-and-Repair} framework that formulates scene generation as prior-guided incremental growth with learned rectification. Given a prompt, the Hierarchical Retrieval-Augmented Planning (HRAP) module retrieves room-, group-, and anchor-level layout priors to support functional group planning. A text-driven base generator then inserts object groups sequentially, while the Reinforcement Multimodal Repair (RMR) module performs lightweight local correction after each insertion and a final global repair after completion. To train this policy, we construct \textbf{SceneReverse-17k}, a repair-trajectory dataset built by perturbing high-quality 3D scenes in position, rotation, and scale, then using inverse operations as executable rectification targets. The policy predicts structured \emph{move--rotate--scale} actions from rendered views, scene state, retrieved priors, and edit history. By combining HRAP with RMR, ScenePilot offers an efficient alternative to one-shot generation and heavy full-scene optimization, improving physical plausibility, functional coherence, and controllability while preserving diversity.
- Abstract（参考訳）: テキスト駆動型屋内シーン生成は、データセット境界レイアウトモデリングから、大規模言語と視覚言語モデルによるオープン語彙合成へと進歩した。
ワンパスジェネレータは幾何学的に不規則なレイアウトを得ることが多く、ホック後の重い最適化はコストが高く不安定であり、プロンプトのみのプランナーは機能的なグループ化やオブジェクト関係のための再利用可能なレイアウトを欠いている。
本稿では,事前誘導型漸進的成長を学習整合化により定式化する検索拡張型 \textbf{Grow-and-Repair} フレームワークである \textbf{ScenePilot} を提案する。
Hierarchical Retrieval-Augmented Planning (HRAP)モジュールは、関数型グループ計画をサポートするために、部屋、グループ、アンカーレベルのレイアウトを検索する。
テキスト駆動ベースジェネレータは、オブジェクト群を順次挿入し、Reinforcement Multimodal repair(RMR)モジュールは、挿入後の軽量な局所補正と、完了後の最終的なグローバル修復を行う。
このポリシーをトレーニングするために,高品質な3Dシーンの位置,回転,スケールを摂動し,逆操作を実行可能な整形ターゲットとして用いることで構築した修理軌道データセットである「textbf{SceneReverse-17k}」を構築した。
このポリシーは、レンダリングされたビュー、シーン状態、検索された先行状態、履歴の編集から構造化された \emph{move--rotate--scale} アクションを予測する。
HRAPとRMRを組み合わせることで、ScenePilotはワンショット生成と重いフルシーン最適化の効率的な代替手段を提供し、多様性を維持しながら、物理的な可視性、機能的コヒーレンス、制御性を改善する。
関連論文リスト
- ThinkBLOX: 3D Indoor Scene Generation with Progressive Reasoning [26.96786747869045]
我々は,3Dシーンを反復的に設計・洗練する進歩的推論フレームワークThinkBLOXを提案する。
ThinkBLOXは、レイアウト生成を状態条件付き、ステップバイステップの推論とアクションプロセスとして扱う。
近年のThinkBLOXは, 物理的妥当性, セマンティックアライメント, インタラクティブな編集性において, ワンショット, 反復ベースラインを著しく上回っている。
論文 参考訳（メタデータ） (2026-07-15T07:42:47Z) - CubifyGS: Object-Centric 3D Gaussian Splatting for Lifelong Dynamic Scene Maintenance [13.452229234193588]
動的メンテナンスをパッシブな再最適化からアクティブな資産管理に移行するオブジェクトレベルのマッピングフレームワークであるCuubifyGSを提案する。
提案手法を新たに構築した高忠実度ダイナミックベンチマークで検証し,CubifyGSがアーティファクトの抑制とメンテナンス効率を向上させることを示す。
論文 参考訳（メタデータ） (2026-06-27T04:00:55Z) - ReScene: Structured Indoor Scene Reconstruction from Multi-View Captures [18.468596508491967]
ReSceneは、パイプライン全体のマルチビュージオメトリを統一前のものとしてスレッドするフレームワークである。
HierViewはセマンティックな一貫性と3Dカバレッジに基づいた再構築ビューを優先する。
ReSceneは、ScanNetの一連のシーンで、幾何学、レンダリング、知覚的品質をまたいだ、新しい最先端のアートをセットする。
論文 参考訳（メタデータ） (2026-06-26T13:08:40Z) - SceneConductor: 3D Scene Generation from a Single Image with Multi-Agent Orchestration [32.39337008619354]
単一画像の3Dシーン生成を3つの構造化ステージに分解するマルチエージェントオーケストレーションフレームワークを提案する。
ポイントマップから導出される疎幾何学的事前情報によって教師される幾何学的レイアウト予測器を提案する。
本手法は,幾何学的精度,空間的整合性,知覚的リアリズムにおいて,従来手法よりも常に優れていた。
論文 参考訳（メタデータ） (2026-06-07T01:38:39Z) - Perceive-then-Plan: Layout-as-Policy for Monocular 3D Scene Layout Estimation [37.60004902691764]
1つの画像から構造化された3Dシーンレイアウトを構築するには、物理的および空間的制約で視覚的な観察を調整する必要がある。
視覚言語モデルを用いた単眼3次元レイアウト推定を知覚的テーマプラン問題として定式化する。
本稿では,計画段階を政策学習問題とするレイアウト・アズ・ポリシィ(LaP)を提案する。
論文 参考訳（メタデータ） (2026-05-25T01:16:19Z) - VGGT-Edit: Feed-forward Native 3D Scene Editing with Residual Field Prediction [59.303842406260124]
VGGT-Editはテキスト条件のネイティブ3Dシーン編集のためのフィードフォワードフレームワークである。
本研究では,奥行き同期テキストインジェクションを導入し,意味的指導をバックボーンの空間的ポーズと整合させる。
VGGT-Editは2Dリフトベースラインを大幅に上回り、よりシャープなオブジェクトの詳細、より強力なマルチビュー一貫性、ほぼインスタントな推論速度を生み出している。
論文 参考訳（メタデータ） (2026-05-14T17:59:04Z) - SceneExpander: Expanding 3D Scenes with Free-Form Inserted Views [69.08965991211704]
ユーザ中心のワークフローにおける3Dシーンの拡大について検討する。
固定シーンにおける単純なオブジェクト編集やスタイル転送とは異なり、挿入されたビューは元の再構築と3Dミスアライメントされることが多い。
パラメトリックフィードフォワード3D再構成モデルにテスト時間適応を適用したSceneExpanderを提案する。
論文 参考訳（メタデータ） (2026-03-28T02:04:48Z) - CL-Splats: Continual Learning of Gaussian Splatting with Local Optimization [80.3004354618963]
本稿では,スパースシーンキャプチャから3次元表現を漸進的に更新するCL-Splatを紹介した。
CL-Splatsは、シーン内のアップデートと静的コンポーネントをセグメント化する堅牢な変更検出モジュールを統合する。
本実験により, CL-Splats は, 最先端の再構築品質を向上し, 効率的な更新を実現することを示した。
論文 参考訳（メタデータ） (2025-06-26T09:32:37Z) - BloomScene: Lightweight Structured 3D Gaussian Splatting for Crossmodal Scene Generation [54.12899218104669]
3Dシーンは非常に複雑な構造を持ち、出力が密度が高く、一貫性があり、必要な全ての構造を含むことを保証する必要がある。
現在の3Dシーン生成法は、事前訓練されたテキスト・画像拡散モデルと単眼深度推定器に依存している。
クロスモーダルシーン生成のための軽量な3次元ガウススプラッティングであるBloomSceneを提案する。
論文 参考訳（メタデータ） (2025-01-15T11:33:34Z) - Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。
セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
論文 参考訳（メタデータ） (2024-11-25T10:14:10Z) - Reconstructing Interactive 3D Scenes by Panoptic Mapping and CAD Model
Alignments [81.38641691636847]
エンボディエージェントの観点から,シーン再構築の問題を再考する。
rgb-dデータストリームを用いてインタラクティブシーンを再構築する。
この再構成されたシーンは、密集したパノプティカルマップのオブジェクトメッシュを、部分ベースのCADモデルに置き換える。
論文 参考訳（メタデータ） (2021-03-30T05:56:58Z) - SCFusion: Real-time Incremental Scene Reconstruction with Semantic
Completion [86.77318031029404]
本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。
我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
論文 参考訳（メタデータ） (2020-10-26T15:31:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。