論文の概要: RoomPilot: Controllable Synthesis of Interactive Indoor Environments via Multimodal Semantic Parsing

• arxiv url: http://arxiv.org/abs/2512.11234v1
• Date: Fri, 12 Dec 2025 02:33:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 15:48:11.632215
• Title: RoomPilot: Controllable Synthesis of Interactive Indoor Environments via Multimodal Semantic Parsing
• Title（参考訳）: RoomPilot:マルチモーダル・セマンティック・パーシングによる対話型屋内環境の制御可能な合成
• Authors: Wentang Chen, Shougao Zhang, Yiman Zhang, Tianhao Zhou, Ruihui Li,
• Abstract要約: RoomPilotは、さまざまなマルチモーダル入力(テキスト記述やCADのフロアプラン)を解析する統合フレームワークで、屋内構成シーン生成のための屋内ドメイン特化言語(I)に組み込まれている。 視覚的に可視だが機能的に不活性なレイアウトを生成する従来の手続き的手法とは対照的に、RoomPilotは対話アセットのデータセットを活用して、現実的なオブジェクトの振る舞いを示す環境を合成する。
• 参考スコア（独自算出の注目度）: 8.822704029209593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating controllable and interactive indoor scenes is fundamental to applications in game development, architectural visualization, and embodied AI training. Yet existing approaches either handle a narrow range of input modalities or rely on stochastic processes that hinder controllability. To overcome these limitations, we introduce RoomPilot, a unified framework that parses diverse multi-modal inputs--textual descriptions or CAD floor plans--into an Indoor Domain-Specific Language (IDSL) for indoor structured scene generation. The key insight is that a well-designed IDSL can act as a shared semantic representation, enabling coherent, high-quality scene synthesis from any single modality while maintaining interaction semantics. In contrast to conventional procedural methods that produce visually plausible but functionally inert layouts, RoomPilot leverages a curated dataset of interaction-annotated assets to synthesize environments exhibiting realistic object behaviors. Extensive experiments further validate its strong multi-modal understanding, fine-grained controllability in scene generation, and superior physical consistency and visual fidelity, marking a significant step toward general-purpose controllable 3D indoor scene generation.
• Abstract（参考訳）: 制御可能でインタラクティブな屋内シーンの生成は、ゲーム開発、アーキテクチャの可視化、AIトレーニングの実施において基礎となる。 しかし、既存のアプローチは、狭い範囲の入力モダリティを扱うか、制御可能性を妨げる確率過程に依存するかのいずれかである。 この制限を克服するため,室内構成シーン生成のための屋内ドメイン特化言語(IDSL)にテキスト記述やCADフロアプランを組み込んだ,多様なマルチモーダル入力を解析する統合フレームワークであるRoomPilotを導入する。 キーとなる洞察は、よく設計されたIDSLが共有セマンティック表現として機能し、相互作用セマンティクスを維持しながら、任意の単一のモダリティからコヒーレントで高品質なシーン合成を可能にすることである。 視覚的に可視だが機能的に不活性なレイアウトを生成する従来の手続き的手法とは対照的に、RoomPilotは対話アセットのキュレートされたデータセットを活用して、現実的なオブジェクトの振る舞いを示す環境を合成する。 広汎な実験により、その強いマルチモーダル理解、シーン生成におけるきめ細かい制御性、より優れた物理的整合性と視覚的忠実性が検証され、汎用的な3D屋内シーン生成に向けた重要な一歩となった。

関連論文リスト

• REACT3D: Recovering Articulations for Interactive Physical 3D Scenes [96.27769519526426]
  REACT3Dは静的な3Dシーンを一貫した幾何学を持つシミュレーション可能なインタラクティブなレプリカに変換するフレームワークである。 室内の様々な場面における検出・分離・調音計測における最先端性能について検討した。
  論文  参考訳（メタデータ） (2025-10-13T12:37:59Z)
• RoomCraft: Controllable and Complete 3D Indoor Scene Generation [51.19602078504066]
  RoomCraftは、実際の画像、スケッチ、テキスト記述をコヒーレントな3D屋内シーンに変換するマルチステージパイプラインである。 このアプローチでは,シーン生成パイプラインと制約駆動最適化フレームワークを組み合わせる。 RoomCraftは、リアルでセマンティックなコヒーレントで視覚的に魅力的な部屋レイアウトを生成する上で、既存の方法よりもはるかに優れています。
  論文  参考訳（メタデータ） (2025-06-27T15:03:17Z)
• Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
  本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。 我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。 その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T15:28:17Z)
• ASSIST: Interactive Scene Nodes for Scalable and Realistic Indoor Simulation [17.34617771579733]
  本稿では、合成および現実的なシミュレーションのためのパノプティクス表現として、オブジェクト指向神経放射場であるASSISTを提案する。 各オブジェクトの情報を統一的に格納する新しいシーンノードデータ構造は、イントラシーンとクロスシーンの両方でオンラインインタラクションを可能にする。
  論文  参考訳（メタデータ） (2023-11-10T17:56:43Z)
• Multi-granularity Interaction Simulation for Unsupervised Interactive Segmentation [38.08152990071453]
  我々は、教師なし対話的セグメンテーションのための有望な方向を開くために、MIS(Multi-granularity Interaction Simulation)アプローチを導入する。 我々のMISは、非深層学習の非教師付き手法よりも優れており、アノテーションを使わずに従来の深層教師付き手法と同等である。
  論文  参考訳（メタデータ） (2023-03-23T16:19:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。