論文の概要: VLMs Can Describe, But Not Measure: Object-Centric Scene Understanding for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2609.28184v1
• Date: Wed, 23 Sep 2026 14:26:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.063137
• Title: VLMs Can Describe, But Not Measure: Object-Centric Scene Understanding for Robotic Manipulation
• Title（参考訳）: ロボットマニピュレーションのためのオブジェクト中心のシーン理解
• Abstract要約: 既成の手法を用いたシーン理解のためのVLM駆動型モジュール型認識フレームワークを提案する。 151面のテーブルトップシーンにおける実験により,提案した分解は強いセマンティック性能を保っていることが示された。 結果の表現は、ロボット実行のためのタスク計画フレームワークとも統合される。
• 参考スコア（独自算出の注目度）: 8.817958616421494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robotic operation in previously unseen environments requires both semantic understanding and reliable metric information. While vision--language models (VLMs) provide strong semantic capabilities, their geometric estimates remain less reliable. In this paper, we propose a VLM-driven, modular perception framework for scene understanding using off-the-shelf approaches. Starting from a single RGB-D observation, the scene is segmented into object-level regions, annotated by a VLM, and grounded with depth information to construct a task-independent object-centric representation. Experiments on 151 tabletop scenes show that the proposed decomposition preserves strong semantic performance while substantially improving localization and depth estimation over direct VLM inference. The resulting representation is also integrated with a task-planning framework for robotic execution.
• Abstract（参考訳）: 以前は見つからなかった環境でのロボット操作は、意味的理解と信頼性のある計量情報の両方を必要とする。 視覚言語モデル(VLM)は強力な意味的能力を提供するが、幾何推定は信頼性が低いままである。 本稿では,既成のアプローチを用いたシーン理解のためのVLM駆動型モジュール型認識フレームワークを提案する。 単一のRGB-D観測から始めて、シーンはオブジェクトレベル領域に分割され、VLMによって注釈付けされ、奥行き情報で接地され、タスク非依存のオブジェクト中心表現を構築する。 151面のテーブルトップシーンにおける実験により,提案した分解は,直接VLM推定による局所化と深さ推定を大幅に改善しつつ,強い意味的性能を保っていることが示された。 結果の表現は、ロボット実行のためのタスク計画フレームワークとも統合される。

関連論文リスト

• GuideGround: VLM-guided Semantic Understanding and Viewpoint-aware Reasoning for 3D Visual Grounding [11.915446160398625]
  3Dビジュアルグラウンドは、自然言語クエリからターゲットオブジェクトを3Dシーンにローカライズすることを目的としている。 本稿では,タスク固有のグラウンドモデルを置き換えるのではなく,補完する VLM 誘導フレームワークである GuideGround を提案する。
  論文  参考訳（メタデータ） (2026-08-01T08:28:41Z)
• AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
  AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。 AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2026-06-04T13:28:51Z)
• I-Perceive: A Foundation Model for Active Perception with Language Instructions [41.67607728608853]
  I-Perceiveは,自然言語命令に基づく能動的知覚の基礎モデルである。 I-Perceiveは、画像ベースのシーンコンテキストに基づいて、オープンな言語命令に従うカメラビューを予測する。 実験により、I-Perceiveは、生成したカメラビューの予測精度とインストラクションの両方において、最先端のVLMを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-28T11:38:56Z)
• SATGround: A Spatially-Aware Approach for Visual Grounding in Remote Sensing [57.609801041296095]
  視覚言語モデル(VLM)はリモートセンシングの強力なツールとして登場しつつある。 衛星画像におけるVLMに基づく視覚的グラウンド化を,新しい構造的局所化機構を提案することで促進する。
  論文  参考訳（メタデータ） (2025-12-09T18:15:43Z)
• Executable Analytic Concepts as the Missing Link Between VLM Insight and Precise Manipulation [70.8381970762877]
  VLM(Vision-Language Models)は、セマンティック推論とタスク計画において顕著な能力を示す。 本稿では,VLMに基づく推論を実行可能な解析概念を通じて基礎づける新しいフレームワークであるGRACEを紹介する。 G GRACEは高レベル命令理解と低レベルロボット制御の統一的で解釈可能なインターフェースを提供する。
  論文  参考訳（メタデータ） (2025-10-09T09:08:33Z)
• IR3D-Bench: Evaluating Vision-Language Model Scene Understanding as Agentic Inverse Rendering [7.247417417159471]
  視覚言語モデル(VLM)は記述的タスクに優れるが、視覚的な観察からシーンを真に理解しているかどうかは不明だ。 IR3D-Benchは、受動的認識よりも能動的生成による理解を実証するために、VLMに挑戦するベンチマークである。
  論文  参考訳（メタデータ） (2025-06-29T17:02:57Z)
• AntiGrounding: Lifting Robotic Actions into VLM Representation Space for Decision Making [35.83717913117858]
  AntiGroundingは、命令のグラウンディングプロセスをリバースする新しいフレームワークである。 候補アクションをVLM表現空間に直接持ち上げる。 複数のビューからトラジェクトリを描画し、命令ベースの意思決定に構造化された視覚的質問応答を使用する。
  論文  参考訳（メタデータ） (2025-06-14T07:11:44Z)
• LayoutVLM: Differentiable Optimization of 3D Layout via Vision-Language Models [57.92316645992816]
  空間的推論は人間の認知の基本的側面であり、三次元空間における物体の直感的な理解と操作を可能にする。 視覚言語モデル(VLM)のセマンティック知識を活用するフレームワークおよびシーンレイアウト表現であるLayoutVLMを紹介する。 本稿では,既存のシーンデータセットから抽出したシーンレイアウト表現を用いた微調整VLMによる推論性能の向上を実証する。
  論文  参考訳（メタデータ） (2024-12-03T06:15:04Z)
• MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
  我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。 我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。 ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)
• A Threefold Review on Deep Semantic Segmentation: Efficiency-oriented, Temporal and Depth-aware design [77.34726150561087]
  我々は、自動運転車のビジョンの文脈において、Deep Semanticの最も関連性があり最近の進歩について調査を行う。 私たちの主な目的は、それぞれの視点で直面している主要な方法、利点、制限、結果、課題に関する包括的な議論を提供することです。
  論文  参考訳（メタデータ） (2023-03-08T01:29:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。