論文の概要: SceneScaffold: Active Scene-State Construction for Unified 3D Scene Understanding

• arxiv url: http://arxiv.org/abs/2609.33518v1
• Date: Sun, 27 Sep 2026 12:39:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 16:08:36.822463
• Title: SceneScaffold: Active Scene-State Construction for Unified 3D Scene Understanding
• Title（参考訳）: SceneScaffold: 統一された3次元シーン理解のためのアクティブなシーンステート構築
• Abstract要約: SceneScaffoldは、統合された3Dシーン理解のためのアクティブなシーン状態構築フレームワークである。 SceneScaffoldは、スーパーポイントレベルの視覚的エビデンスを、異なる構造的役割を持つシーンステートコンポーネントに整理する。 SceneScaffoldの有効性を示すために,3次元視覚的接地,質問応答,高密度キャプションなど,統合された3次元シーン理解タスクの実験を行った。
• 参考スコア（独自算出の注目度）: 33.31930617769667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent 3D large multimodal models (3D-LMMs) rely on a visual bottleneck to compress complex 3D scene evidence into a limited number of visual tokens compatible with large language models (LLMs). Current visual bottlenecks, however, often passively compress heterogeneous 3D evidence into a homogeneous object-centric token sequence, leaving the spatial organization of the scene under-represented. This under-representation forces the LLM to recover spatial relations from a flattened token sequence, leading to unstable reasoning in relation-intensive and spatially ambiguous scenes. To address this issue, we propose SceneScaffold, an active scene-state construction framework for unified 3D scene understanding. SceneScaffold reformulates the visual bottleneck from a passive feature compressor into an active scene organizer, constructing a role-aware spatial scaffold before language reasoning. Specifically, SceneScaffold organizes superpoint-level visual evidence into scene-state components with distinct structural roles: entity states preserve core object semantics, scene-frame states maintain spatial references via boundary and region anchors, relation states encode object-environment interaction cues, and a global summary provides compact context. Through this role-aware construction, SceneScaffold provides the LLM with a spatially organized scene representation before language reasoning. Experiments on unified 3D scene understanding tasks, including 3D visual grounding, question answering, and dense captioning, demonstrate the effectiveness of SceneScaffold, while diagnostic results further show its applicability to relation-intensive and spatially ambiguous cases. Code is available at https://github.com/lixiangqi707/SceneScaffold.
• Abstract（参考訳）: 最近の3次元大規模マルチモーダルモデル(3D-LMM)は、複雑な3Dシーンの証拠を圧縮するために視覚的ボトルネックに依存しており、大きな言語モデル(LLM)と互換性のある限られた数の視覚的トークンである。 しかし、現在の視覚的ボトルネックは、しばしば不均一な3D証拠を均質なオブジェクト中心のトークンシーケンスに受動的に圧縮し、シーンの空間的構造は表現されていない。 この下降表現により、LLMは平らなトークンシーケンスから空間的関係を回復させ、関係が集中的で空間的に曖昧な場面で不安定な推論をもたらす。 この問題に対処するため、我々はSceneScaffoldという3Dシーン理解のためのアクティブなシーン状態構築フレームワークを提案する。 SceneScaffoldは、受動的特徴圧縮機からアクティブなシーンオーガナイザへと視覚的ボトルネックを再構築し、言語推論の前に役割を意識した空間的な足場を構築する。 具体的には、SceneScaffoldは、スーパーポイントレベルの視覚的エビデンスを、異なる構造的役割を持つシーンステートコンポーネントに整理する。 この役割を意識した構築を通じて、SceneScaffold は言語推論の前に空間的に整理されたシーン表現を LLM に提供する。 SceneScaffold の有効性を示すとともに,SceneScaffold の診断結果は,関連性集中型および空間的曖昧性のある症例に適用可能であることを示す。 コードはhttps://github.com/lixiangqi707/SceneScaffold.comで公開されている。

関連論文リスト

• Scenix: Sparse-View 3D Scene Reconstruction via Executable Scene Programs [36.87702450793552]
  実行可能シーンプログラムによるスパースビュー3Dシーン再構築フレームワークであるtextscScenix を提示する。 スパースビューを前提として、textscScenix は知覚的資産インスタンス化とクローズドループ空間改善を通じて実行可能なシーンプログラムを予測する。 さらに、各対象シーンを、入力ビューで利用可能な視覚的エビデンスと整合させる、観測一貫性のある監視を導入する。
  論文  参考訳（メタデータ） (2026-08-07T09:24:56Z)
• Chat-Scene++: Exploiting Context-Rich Object Identification for 3D LLM [71.01178857331969]
  Chat-Scene++は3Dシーンをコンテキストリッチなオブジェクトシーケンスとして表現するMLLMフレームワークである。 Chat-Scene++は、シーンをコンテキスト意味を持ったオブジェクトのシーケンスとして構成することにより、オブジェクト中心の表現とインタラクションを可能にする。 Chat-Scene++は5つの主要な3Dビジョン言語ベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-03-29T04:16:04Z)
• Human Motion Synthesis in 3D Scenes via Unified Scene Semantic Occupancy [0.0]
  本研究では,シーン表現のためのSSO(Scene Semantic Occupancy)を統一した動作合成フレームワークSSOMotionを提案する。 フレームワイドシーンクエリによる動作制御命令からシーンヒントと移動方向を抽出する。 シェープネット家具を用いた散らばったシーンと、PropXとReplicaデータセットからスキャンしたシーンを比較検討し、その最先端性能を実証した。
  論文  参考訳（メタデータ） (2025-11-11T04:33:16Z)
• Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers [65.51132104404051]
  オブジェクトレベルのシーンと対話するために、オブジェクト識別子とオブジェクト中心表現を導入する。 我々のモデルは、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dなど、既存のベンチマーク手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-12-13T14:27:45Z)
• CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion [83.30168660888913]
  シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。 パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。 生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
  論文  参考訳（メタデータ） (2023-05-25T17:39:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。