論文の概要: EmbodimentSemantic: A Spatial Scene-Graph Dataset and Benchmark for Vision-Language Models on Embodied Manipulation Trajectories

• arxiv url: http://arxiv.org/abs/2607.00020v1
• Date: Sat, 06 Jun 2026 18:58:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-05 17:01:29.628177
• Title: EmbodimentSemantic: A Spatial Scene-Graph Dataset and Benchmark for Vision-Language Models on Embodied Manipulation Trajectories
• Title（参考訳）: EmbodimentSemantic:空間シーングラフデータセットと身体操作軌道の視覚言語モデルベンチマーク
• Abstract要約: エボディメント・セマンティック(EmbodimentSemantic)は、空間的シーングラフのデータセットと、エンボディード操作における関係グラウンドの評価のためのベンチマークである。 データセットには、低コストのSO101ロボットアームで収集された現実世界の操作観察が含まれている。 また,60K以上の操作フレームと120K以上のカメラ固有のシーングラフを3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人
• 参考スコア（独自算出の注目度）: 16.996900088118412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatial grounding remains a key limitation of vision-language-action (VLA) systems for robotic manipulation. While current models can recognize objects and follow language instructions, they often lack an explicit representation of how objects are arranged in space, including support, containment, ordering, occlusion, and depth-sensitive relations. We introduce EmbodimentSemantic, a spatial scene-graph dataset and benchmark for evaluating relational grounding in embodied manipulation. EmbodimentSemantic represents scenes as directed object-relation-object triplets, where each triplet specifies a spatial relation between an ordered pair of objects using a fixed set of relations. This representation enables direct evaluation of object binding, relation prediction, and spatial consistency. The dataset includes real-world manipulation observations collected with the low-cost SO101 robot arm, together with generated scene graphs for studying spatial grounding in practical robotic settings. To provide controlled validation, we also introduce a simulator-grounded LIBERO benchmark with over 60K manipulation frames and more than 120K camera-specific scene graphs across paired third-person and wrist views, where ground-truth relations are derived automatically from MuJoCo geometry, world coordinates, camera projections, and visibility constraints. We further test whether scene graphs improve downstream control by injecting them into existing VLA policy prompts. Experiments across open-source and commercial VLMs show that current models often predict plausible relations but struggle with exact depth-aware and viewpoint-dependent spatial structure. EmbodimentSemantic provides a unified framework for diagnosing spatial grounding in VLM perception and testing its utility for VLA manipulation.
• Abstract（参考訳）: 空間接地はロボット操作のための視覚言語アクションシステム(VLA)の鍵となる限界である。 現在のモデルは、オブジェクトを認識し、言語命令に従うことができるが、サポート、封じ込め、順序付け、隠蔽、奥行きに敏感な関係を含む、オブジェクトの空間配置の明示的な表現を欠くことが多い。 エボディメント・セマンティック(EmbodimentSemantic)は、空間的シーングラフのデータセットと、エンボディード操作における関係グラウンドの評価のためのベンチマークである。 EmbodimentSemanticは、シーンをオブジェクト-リレーションオブジェクト三重項として表現し、各三重項は、固定された関係セットを使用して、順序付けられたオブジェクトのペア間の空間的関係を特定する。 この表現は、オブジェクトバインディング、関係予測、空間一貫性の直接評価を可能にする。 このデータセットは、低コストのSO101ロボットアームで収集された実世界の操作観察と、実用的なロボット環境で空間接地を研究するための生成されたシーングラフを含む。 また,MuJoCoの幾何,世界座標,カメラ投影,可視性制約から,2対の3人・手首ビューに対して,60K以上の操作フレームと120K以上のカメラ固有のシーングラフを備えたシミュレータ付きLIBEROベンチマークを導入する。 さらに、シーングラフが既存のVLAポリシープロンプトにそれらを注入することで、下流制御を改善するかどうかを検証する。 オープンソースのVLMと商用のVLMでの実験では、現在のモデルはしばしば可塑性関係を予測するが、正確な深度認識と視点依存空間構造に苦しむことが示されている。 EmbodimentSemanticは、VLM知覚における空間的接地を診断するための統一的なフレームワークを提供し、VLA操作のためのそのユーティリティをテストする。

関連論文リスト

• G$^2$TAM: Geometry Grounded Track Anything Model [49.05553245076823]
  本稿では,RGB画像やビデオのみを用いて,3次元のインスタンス追跡を高速化するための統一的なフレームワークを提案する。 G$2$TAMは空間的に整列した幾何学的表現を暗黙記憶として使用し、安定したインスタンス識別とフレームとビュー間のローカライゼーションを保証する。 中心となるのは、視覚的およびテキスト的プロンプトを共有幾何学空間に統合し、エンドツーエンドの空間再構成とインスタンス一貫性マスク予測を可能にするクロスモーダル空間エンコーダである。
  論文  参考訳（メタデータ） (2026-07-04T09:32:13Z)
• SpaceEra++: A Unified Framework Towards 3D Spatial Reasoning in Video [88.79625979053873]
  事前学習型視覚言語モデル(VLM)のための新しいフレームワークSpaceEraを提案する。 データ構築、モデル設計、トレーニング最適化、推論の促進にまたがる、SpaceEra++と呼ばれる、オリジナルのフレームワークを包括的なシステムに拡張します。 さらに,空間的推論を強化するために,絶対座標と相対空間関係を協調的に利用することにより,対物制約を強制するSpaceAlignを開発した。
  論文  参考訳（メタデータ） (2026-07-02T06:56:29Z)
• VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
  現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。 既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。 DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
  論文  参考訳（メタデータ） (2026-05-11T12:44:26Z)
• Articulated 3D Scene Graphs for Open-World Mobile Manipulation [55.97942733699124]
  本報告では, セマンティックな3次元シーングラフを構築するためのフレームワークであるMoMa-SGについて述べる。 新たな統合的ツイスト推定法を用いて調音モデルを推定する。 また,Arti4D-Semanticデータセットについても紹介する。
  論文  参考訳（メタデータ） (2026-02-18T10:40:35Z)
• Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
  本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。 次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
  論文  参考訳（メタデータ） (2025-03-25T14:34:06Z)
• STUPD: A Synthetic Dataset for Spatial and Temporal Relation Reasoning [4.676784872259775]
  本稿では,英語の前置詞から得られる空間的関係を理解するための大規模ビデオデータセットを提案する。 データセットには150Kの視覚的描写(ビデオと画像)が含まれており、30の異なる空間的前置詞感覚で構成されている。 また,空間的関係に加えて,事象・時間的相互作用を描写したビデオからなる10の時間的関係にまたがる50Kの視覚的描写も提案する。
  論文  参考訳（メタデータ） (2023-09-13T02:35:59Z)
• CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion [83.30168660888913]
  シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。 パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。 生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
  論文  参考訳（メタデータ） (2023-05-25T17:39:13Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。