論文の概要: Seeing Is Not Measuring: Tool-Augmented Metric Spatial Reasoning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.29073v1
• Date: Thu, 24 Sep 2026 06:03:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.744044
• Title: Seeing Is Not Measuring: Tool-Augmented Metric Spatial Reasoning for Vision-Language Models
• Title（参考訳）: 見物は測らない:視覚言語モデルのためのツール強化メトリック空間推論
• Abstract要約: VLM(Vision-Language Models)は、シーンをうまく記述するが、メートル法的な3D構造をうまく理解していない。 幾何学的ツールを備えた小さなVLMを備えた,モジュラーで予測可能なツール拡張フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) describe scenes well but reason poorly about metric 3D structure such as absolute distances, physical sizes, or egocentric directions. We present a modular, predictor agnostic, tool-augmented framework that equips a small VLM (Qwen3.5-4B) with geometric tools: 3D object detection, metric depth estimation, and deterministic solvers for distance, size and bearing. Each object is detected in the camera frame of its own best view, and the tools use that frame's pose to lift every detection into one shared world frame. Moving metric computation out of the model's weights and into explicit solvers yields large gains on three of four ReVSI-Bench tasks: with a strong monocular detector (WildDet3D), absolute distance rises from 0.46 to 0.74 Mean Relative Accuracy (MRA), relative distance from 39.1% to 67.4%, and relative direction from a below-chance 25.9% to 73.4%. Because any detector can be swapped in behind the tool interface, comparing real detectors against ground-truth boxes separates perception error from reasoning error: orchestration costs only 0.03 MRA. Object size is bounded by the detector: the tools are near-exact on groundtruth boxes (0.97) yet the best real detector barely beats the no-tool baseline (0.61 vs. 0.58), because size reads straight off a box extent monocular detectors get wrong. Without a predefined recipe, the model already sequences the tools correctly on its own, matching a scripted pipeline on three of four tasks.
• Abstract（参考訳）: VLM(Vision-Language Models)はシーンをうまく記述するが、絶対距離、物理的サイズ、自我中心方向などのメートル法的な3D構造について不十分である。 本稿では, 3次元物体検出, 計量深度推定, 距離, サイズ, 軸受に関する決定論的解法などの幾何学的ツールを備えた, 小型のVLM (Qwen3.5-4B) を備えたモジュラー・予測型ツール拡張フレームワークを提案する。 それぞれのオブジェクトは、自身のベストビューのカメラフレームで検出され、ツールはそのフレームのポーズを使って、すべての検出を1つの共有ワールドフレームに持ち上げる。 4つのReVSI-Benchタスクのうち、強い単分子検出器(WildDet3D)、絶対距離が0.46から0.74Mean Relative Accuracy(MRA)、相対距離が39.1%から67.4%、相対方向が25.9%から73.4%である。 どんな検出器もツールインターフェースの後方で交換できるため、実際の検出器と接地木箱を比較して、認識誤差と推論誤差を区別する: オーケストレーションコストはわずか0.03 MRAである。 道具は接地箱(0.97)でほぼ接触するが、最も優れた実物検出器はノーツールベースライン(0.61対0.58)をわずかに上回っている。 事前に定義されたレシピがなければ、このモデルはツールを自分で正しくシーケンスし、スクリプト化されたパイプラインを4つのタスクのうち3つにマッチさせる。

関連論文リスト

• AnchorVLN: Geometry-Anchored Vision-Language Grounding Reasoning for Open-Vocabulary Navigation [1.4023879186833261]
  見えない屋内環境における視覚言語ナビゲーション(VLN)は、現実世界のロボット工学において有用である。 本稿では、VLMが意味論を提案し、幾何学がメトリクスを決定するという単純なルールに基づいて構築されたオープン語彙VLNシステムであるAnchorVLNを紹介する。 我々は、CMU Vision-Language Navigation Challenge 2026の2つのタスクをベンチマークする。
  論文  参考訳（メタデータ） (2026-09-10T23:32:22Z)
• RigidBench: Evaluating Rigid-Body Physics in Video Generation Models [16.53417077740312]
  そこで本研究では,生成した継続と参照ロールアウトを同一の初期フレームと動作記述から比較したシミュレータグラウンドベンチマークを提案する。 同じ100の例で8つのモデルを評価し、これらの側面を分離する10の計測を行った。 完全な微調整により3次元軌道誤差は約20%減少し、SSIMはほとんど変化しない。
  論文  参考訳（メタデータ） (2026-08-16T06:05:20Z)
• Map-Det3D: Metric Feed-Forward 3D Reconstruction Prior for Multi-view 3D Object Detection from Streaming Inputs [62.865932175477035]
  計量3Dオブジェクト検出は、エンボディエージェントのコア機能であるが、最も信頼性の高いシステムは深度センサーに頼っている。 提案するMap-Det3Dは,RGBから再構成した3次元空間に直接検出を行うオンラインマルチビュー3Dオブジェクト検出モデルである。
  論文  参考訳（メタデータ） (2026-08-12T15:33:42Z)
• Ill-Posed by Design: Probing Evidence Use in VLMs [15.007701585510231]
  本研究では, モノクロ計量オブジェクトサイズ推定を, 証拠選択のための不十分な診断条件として提案する。 物理サイズは1つの未校正画像から決定できないため、モデルは不完全なキューのカテゴリ、ターゲットの外観、ローカルコンテキスト、見かけのイメージサイズ、シーンジオメトリに頼らなければならない。
  論文  参考訳（メタデータ） (2026-06-23T09:20:09Z)
• PickScan: Object discovery and reconstruction from handheld interactions [99.99566882133179]
  シーンの3次元表現を再構成する対話誘導型クラス依存型手法を開発した。 我々の主な貢献は、操作対象のインタラクションを検出し、操作対象のマスクを抽出する新しいアプローチである。 相互作用ベースとクラス非依存のベースラインであるCo-Fusionと比較すると、これはシャムファー距離の73%の減少に相当する。
  論文  参考訳（メタデータ） (2024-11-17T23:09:08Z)
• Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
  単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。 本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。 3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
  論文  参考訳（メタデータ） (2024-04-10T03:54:53Z)
• Multi-View Keypoints for Reliable 6D Object Pose Estimation [12.436320203635143]
  熱マップとキーポイントの推定値を3次元空間上の確率密度マップに結合する新しい多視点手法を提案する。 本研究では, 様々な難易度, 反射率の異なる物体に対して, 約0.5mm, 2°の平均ポーズ推定誤差を示す。
  論文  参考訳（メタデータ） (2023-03-29T16:28:11Z)
• Homography Loss for Monocular 3D Object Detection [54.04870007473932]
  ホログラフィーロス(Homography Loss)と呼ばれる,2次元情報と3次元情報の両方を利用する識別可能なロス関数を提案する。 提案手法は,KITTI 3Dデータセットにおいて,他の最先端技術と比較して高い性能を示す。
  論文  参考訳（メタデータ） (2022-04-02T03:48:03Z)
• Delving into Localization Errors for Monocular 3D Object Detection [85.77319416168362]
  単眼画像から3Dバウンディングボックスを推定することは、自動運転に不可欠な要素です。 本研究では, 各サブタスクがもたらす影響を定量化し, 局所化誤差を求めることが, モノクロ3次元検出の抑制に欠かせない要因である。
  論文  参考訳（メタデータ） (2021-03-30T10:38:01Z)
• PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
  既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。 この2つのタスクを同一のメトリック空間で統一するモデルを提案する。 提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-17T05:11:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。