論文の概要: VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control
- arxiv url: http://arxiv.org/abs/2609.19554v1
- Date: Thu, 17 Sep 2026 01:24:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.061282
- Title: VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control
- Title（参考訳）: VABench:視覚デモ、アクティブ・パーセプション、メトリック・コントロールによる身体的空間知能の測定
- Abstract要約: VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。
汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。
モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
- 参考スコア（独自算出の注目度）: 57.5995346750474
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatial intelligence requires more than describing object locations. Under incomplete observation, models must identify and acquire missing evidence, interpret it in a common spatial frame, and act on it. We introduce VA-Bench to evaluate the complete observe-reason-act-revise loop. General-purpose MLLMs learn procedural context from RGB-only demonstrations, actively select camera viewpoints, issue metric Cartesian commands, and revise them from execution feedback. Models receive no privileged object poses, oracle trajectories, or learned action heads. A fixed model-agnostic controller executes only model-specified targets. VA-Bench contains 14 base task families (11 single-arm and three dual-arm), seven held-out geometry/layout variants, and a long-horizon five-object composition track. We evaluate 12 primary model conditions in three independent runs over the same 20 physically verified seeds per base task, reporting terminal success, nine trajectory-level behavioral diagnostics, and subtask progress. First, the best-performing model scores 100.0% on target localization and 78.9% on spatial relations in the annotated run. Its three-run macro-average task success is only 53.93+/-3.17%. Second, active camera control significantly improves task success over passive multi-view observation. In one matched comparison, success rises from 27.86% to 57.50%. Third, held-out geometric transfer can reduce task success by over 30 percentage points. No model completes a strict long-horizon episode, despite substantial partial progress. VA-Bench thus tests whether general-purpose MLLMs can turn visual demonstrations and actively acquired evidence into successful embodied action.
- Abstract（参考訳）: 空間知能は、物体の位置を記述する以上のものを必要とする。
不完全な観察の下では、モデルは行方不明の証拠を特定し、取得し、共通の空間フレームで解釈し、それに作用しなければならない。
VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。
汎用MLLMは、RGBのみのデモから手続き的コンテキストを学び、カメラ視点を積極的に選択し、カルテシアンコマンドを発行し、実行フィードバックから修正する。
モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
固定モデル非依存のコントローラは、モデル特定ターゲットのみを実行する。
VA-Benchは、14のベースタスクファミリー(11つのシングルアーム、3つのデュアルアーム)、7つのホールドアウト幾何学/レイアウト変種、そして長い水平5オブジェクト構成トラックを含む。
本研究は,3回の独立ランにおいて,各タスクごとの物理的に検証された種子20種,端末成功の報告,軌道レベルの行動診断9種,およびサブタスク進行について,12種類の一次モデル条件を評価した。
まず、最適性能モデルでは目標位置化が100.0%、アノテートランの空間関係が78.9%となる。
3回のマクロ平均タスク成功率は53.93+/-3.17%である。
第2に、アクティブカメラ制御は受動多視点観察によるタスク成功を大幅に改善する。
マッチした比較では、成功率は27.86%から57.50%に上昇した。
第三に、保留された幾何学的移動は、タスクの成功を30パーセント以上削減することができる。
かなりの部分的な進歩にもかかわらず、厳格なロングホライゾンエピソードを完成させるモデルはない。
VA-ベンチは、汎用MLLMが視覚的なデモンストレーションを行い、積極的に証拠を取得して、うまく実施できるかどうかをテストする。
関連論文リスト
- ClawTrack: Towards Trace-Level Evaluation and Improvement of Real-World Autonomous Agents [23.840537431318296]
エージェントが何を達成し、どのように達成するかを同時に測定するデュアルアセスメントベンチマークであるClawTrackを提示する。
ClawTrackは8つのドメインにわたる320のタスクと25以上の決定論的モックサービスで構成されている。
プロセスグレーダは、12,541のタスク固有の項目で固定された4次元(ゴールアライメント、効率性、情報利用、結果検証)に沿って各推論ターンをスコアする。
論文 参考訳（メタデータ） (2026-07-30T11:18:47Z) - Zero-Shot Mission-Level Evaluation for Aerial MLLM Agents [31.4676947294786]
航空機3D環境におけるMLLMのミッションレベル評価のためのベンチマークであるMissionBenchを紹介する。
22基のオープンソースおよびクローズドソースMLLMにおいて、最強のモデルは84.4%に比べて35%未満のミッションで成功している。
我々の分析は、ミッションレベルの能力は、空間知覚を超えた複数の能力を調整する必要があることを示している。
論文 参考訳（メタデータ） (2026-07-24T06:22:50Z) - An Exam for Active Observers [30.677664832420046]
大規模言語モデルに対してアクティブな観察測定を可能にするベンチマークであるActiveVisionを紹介する。
タスクは、単一の静的な記述ではなく、繰り返し視覚的な知覚を強制するように設計されています。
最高スコアモデルであるGPT-5.5は、アイテムの10.6%しか解決せず、17タスクのうち11タスクで0となる。
クロード・ファイブ5でさえ、ほとんどの推論やコーディングのリーダーボードを上回り、わずか3.5%しか解決していないが、平均96.1%の3人の参加者よりはるかに遅れている。
論文 参考訳（メタデータ） (2026-07-17T17:46:23Z) - DynamicMCPBench: A Trace-Grounded, Effect-Scored Benchmark for LLM Agents over Live MCP Servers [0.0]
固定データセットではなく再利用可能なフレームワークであるDynamicMCPBenchを紹介する。
現実的な目標を生成し、それぞれの目標を追求し、成功軌道を記録し、その軌跡をパスに依存しない効果チェックポイントに蒸留し、最終的な答えにはない、それらの効果を再現するかどうかをエージェントにスコアする。
最強のエージェントでさえタスクの約半分しか解決せず、タスクの31%はモデル無しで解決され、必要なツールチェーンが長くなるにつれて精度が低下する。
論文 参考訳（メタデータ） (2026-07-10T12:25:57Z) - Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games [69.57330692969543]
RNG-Benchは、過去の観測を再構築するベースモデルの能力を分離するために設計されたベンチマークスイートである。
RNG-Benchには2つの補完ゲームがある: マッチングペア(英語版) - 特定の場所でカードのIDを短期間明らかにする) と、エゴセントリックなビューを空間地図に統合する3D Maze である。
最も難しい構成では、約128Kのトークンと350のイメージ入力のコンテキストが必要であり、フロンティアMLLMによる飽和には程遠いままである。
論文 参考訳（メタデータ） (2026-06-17T17:59:34Z) - SpatialWorld: Benchmarking Interactive Spatial Reasoning of Multimodal Agents in Real-World Tasks [73.92333717662558]
SpaceWorldは、複雑な現実世界のタスクにおけるマルチモーダルエージェントのインタラクティブな空間的理解を評価するためのベンチマークである。
多様なドメイン(例えば、家庭のルーチン、旅行、社会協力など)にまたがる760の人称タスクが特徴である。
信頼性評価のために、各タスクは、人間検証された初期状態、参照軌跡、端末状態検証器を含む。
論文 参考訳（メタデータ） (2026-06-08T15:51:51Z) - AgentAtlas: Beyond Outcome Leaderboards for LLM Agents [0.025718125188898048]
AgentAtlasは、診断語彙および監査プロトコルとしてのエージェント評価を再設定する。
i)6状態制御-決定分類(Act / Ask / Refuse / Stop / Confirm / Recover)、(ii)一次誤差源と下流衝撃を持つ軌道障害語彙、(iv)8つのモデルで評価された合成1,342-itemに関する実証的プロトコル研究。
論文 参考訳（メタデータ） (2026-05-19T22:05:12Z) - Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。
本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。
我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
論文 参考訳（メタデータ） (2026-02-23T11:00:08Z) - LENS: Multi-level Evaluation of Multimodal Reasoning with Large Language Models [59.0256377330646]
Lensは3.4Kの現代画像と8つのタスクと12の日次シナリオをカバーする60K以上の人間による質問のベンチマークである。
このデータセットは本質的に、基本的な知覚から構成的推論に至るまで、画像不変のプロンプトを処理するためのMLLMの評価をサポートする。
我々は,Qwen2.5-VL-72B,InternVL3-78B,GPT-4oおよび2つの推論モデルQVQ-72B-previewとKim-VLなどの15以上のフロンティアMLLMを評価する。
論文 参考訳（メタデータ） (2025-05-21T15:06:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。