論文の概要: SceneTeract: Agentic Functional Affordances and VLM Grounding in 3D Scenes

• arxiv url: http://arxiv.org/abs/2603.29798v1
• Date: Tue, 31 Mar 2026 14:31:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-01 15:25:03.717876
• Title: SceneTeract: Agentic Functional Affordances and VLM Grounding in 3D Scenes
• Title（参考訳）: SceneTeract:3次元シーンにおけるエージェント機能改善とVLM接地
• Authors: Léopold Maillard, Francis Engelmann, Tom Durand, Boxiao Pan, Yang You, Or Litany, Leonidas Guibas, Maks Ovsjanikov,
• Abstract要約: 我々はエージェント固有の制約の下で3Dシーン機能を検証するフレームワークであるSceneTeractを紹介する。 SceneTeractは複雑なアクティビティをアトミックアクションのシーケンスに分解し、アクセシビリティ要求に対して各ステップを検証する。 具体化された3Dシーン理解における知覚と身体的現実を橋渡しするSceneTeract検証スイートとデータをリリースする。
• 参考スコア（独自算出の注目度）: 49.117927512531715
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Embodied AI depends on interactive 3D environments that support meaningful activities for diverse users, yet assessing their functional affordances remains a core challenge. We introduce SceneTeract, a framework that verifies 3D scene functionality under agent-specific constraints. Our core contribution is a grounded verification engine that couples high-level semantic reasoning with low-level geometric checks. SceneTeract decomposes complex activities into sequences of atomic actions and validates each step against accessibility requirements (e.g., reachability, clearance, and navigability) conditioned on an embodied agent profile, using explicit physical and geometric simulations. We deploy SceneTeract to perform an in-depth evaluation of (i) synthetic indoor environments, uncovering frequent functional failures that prevent basic interactions, and (ii) the ability of frontier Vision-Language Models (VLMs) to reason about and predict functional affordances, revealing systematic mismatches between semantic confidence and physical feasibility even for the strongest current models. Finally, we leverage SceneTeract as a reward engine for VLM post-training, enabling scalable distillation of geometric constraints into reasoning models. We release the SceneTeract verification suite and data to bridge perception and physical reality in embodied 3D scene understanding.
• Abstract（参考訳）: Embodied AIは、多様なユーザーにとって意味のある活動をサポートするインタラクティブな3D環境に依存している。 我々はエージェント固有の制約の下で3Dシーン機能を検証するフレームワークであるSceneTeractを紹介する。 我々のコアコントリビューションは、低レベルの幾何チェックと高レベルのセマンティック推論を結合した基底検証エンジンである。 SceneTeractは、複雑なアクティビティをアトミックアクションのシーケンスに分解し、具体化されたエージェントプロファイルに条件付けられたアクセシビリティ要件(例えば、到達性、クリアランス、ナビゲーション可能性)に対する各ステップを検証する。 SceneTeractをデプロイして、詳細な評価を行います。 一 基本的相互作用を阻害する頻繁な機能不全を明らかにする合成室内環境、及び (II)フロンティア・ビジョン・ランゲージ・モデル(VLM)が機能的余裕を推論し,予測し,最強の現行モデルにおいても意味的信頼度と身体的実現可能性の体系的ミスマッチを明らかにする。 最後に、SceneTeractをVLMポストトレーニングの報奨エンジンとして利用し、幾何学的制約のスケーラブルな蒸留を推論モデルに適用する。 具体化された3Dシーン理解における知覚と身体的現実を橋渡しするSceneTeract検証スイートとデータをリリースする。

関連論文リスト

• From Perception to Action: An Interactive Benchmark for Vision Reasoning [51.11355591375073]
  Causal Hierarchy of Actions and Interactions (CHAIN)ベンチマークは、モデルが物理的制約に基づいて構造化されたアクションシーケンスを理解し、計画し、実行できるかを評価するために設計された。 CHAINは、受動的知覚からアクティブな問題解決、機械パズルのインターロックや3D積み重ね、パッキングといったタスクへと評価をシフトする。 以上の結果から,トップパフォーマンスモデルでは,物理構造や因果制約の内在化に苦慮し,信頼性の高い長期計画の作成に失敗することが多く,認識された構造を効果的に翻訳することができないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-24T15:33:02Z)
• REACT3D: Recovering Articulations for Interactive Physical 3D Scenes [96.27769519526426]
  REACT3Dは静的な3Dシーンを一貫した幾何学を持つシミュレーション可能なインタラクティブなレプリカに変換するフレームワークである。 室内の様々な場面における検出・分離・調音計測における最先端性能について検討した。
  論文  参考訳（メタデータ） (2025-10-13T12:37:59Z)
• Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
  本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。 我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。 その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T15:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。