論文の概要: ERQA-Plus: A Diagnostic Benchmark for Reasoning in Embodied AI
- arxiv url: http://arxiv.org/abs/2606.17639v1
- Date: Tue, 16 Jun 2026 07:56:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.339168
- Title: ERQA-Plus: A Diagnostic Benchmark for Reasoning in Embodied AI
- Title（参考訳）: ERQA-Plus: 身体的AIにおける推論のための診断ベンチマーク
- Abstract要約: ERQA-Plusは、組み込みAIの推論のための診断ベンチマークである。
711のロボット中心の画像に1,766件の質問応答がある。
- 参考スコア（独自算出の注目度）: 14.957780321740394
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generalist embodied agents require more than object recognition: they must reason about spatial relations, actions, procedures, human intentions, environmental constraints, and commonsense consequences from situated visual observations. Yet existing visual and embodied question answering benchmarks often provide limited control over the reasoning dependencies being tested, making it difficult to distinguish grounded embodied reasoning from shortcut-driven visual or linguistic pattern matching. We present ERQA-Plus, a diagnostic benchmark for reasoning in embodied AI. ERQA-Plus contains 1,766 question-answer instances grounded in 711 robot-centric images and organized according to a structured taxonomy spanning perceptual, action-centric, social-interaction, navigation-environmental, and contextual commonsense reasoning. The dataset is constructed using a multi-stage generation and validation pipeline that combines taxonomy-guided question generation, automatic quality judging, iterative revision, and human assessment to improve visual grounding, answer validity, and reasoning quality. We benchmark representative general-purpose vision-language models and embodied models, including LLaVA-NeXT-8B, Prismatic-7B, MiniCPM-V-4.5-8B, Qwen3-VL, RoboRefer-8B, and RoboBrain2.5-8B. Although the strongest model, Qwen3-VL-32B, achieves 83.4% overall accuracy and 61.4 SBERT score, category-level results reveal persistent weaknesses in spatial reasoning, procedural reasoning, event prediction, and intention inference. ERQA-Plus therefore provides a fine-grained evaluation framework for measuring not only whether embodied agents answer correctly, but also which forms of embodied reasoning they can and cannot perform reliably. The dataset is available https://huggingface.co/datasets/huggingdas/erqa-plus and the project page at https://github.com/LUNAProject22/erqa-plus.
- Abstract（参考訳）: 彼らは空間的関係、行動、手続き、人的意図、環境制約、そして位置する視覚的観察による常識的な結果について考える必要がある。
しかし、既存の視覚的および具体的質問応答ベンチマークは、テスト中の推論依存性を限定的に制御するので、ショートカット駆動の視覚的または言語的パターンマッチングから基礎的な具体的推論を区別することは困難である。
具体的AIの推論のための診断ベンチマークであるERQA-Plusを提案する。
ERQA-Plusは711のロボット中心の画像に基づき、知覚、行動中心、社会的相互作用、ナビゲーション環境、コンテキストのコモンセンス推論にまたがる構造的分類に基づいて構成された1,766の質問応答インスタンスを含んでいる。
このデータセットは、分類誘導質問生成、自動品質判定、反復修正、人的評価を組み合わせて、視覚的グラウンド化、回答妥当性、推論品質を改善する多段階生成検証パイプラインを用いて構築される。
LLaVA-NeXT-8B, Prismatic-7B, MiniCPM-V-4.5-8B, Qwen3-VL, RoboRefer-8B, RoboBrain2.5-8B などの汎用視覚言語モデルとエンボディモデルのベンチマークを行った。
最強のモデルであるQwen3-VL-32Bは83.4%の精度と61.4のSBERTスコアを達成したが、カテゴリーレベルの結果は空間的推論、手続き的推論、イベント予測、意図推論において永続的な弱点を示す。
したがって、ERQA-Plusは、エンボディエージェントが正しく答えるかどうかを測定するためのきめ細かい評価フレームワークを提供する。
データセットはhttps://huggingface.co/datasets/huggingdas/erqa-plus、プロジェクトページはhttps://github.com/LUNAProject22/erqa-plusにある。
関連論文リスト
- Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。
まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。
第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
論文 参考訳（メタデータ） (2026-08-11T18:48:40Z) - Identifying and Resolving Pitfalls of Knowledge-Based VQA Benchmarks: Auditing, Repairing, and Augmenting [11.990076788699456]
知識に基づく視覚質問応答 (KB-VQA) は、視覚言語モデル (VLM) が外部構造的知識を検索、基礎化、理性化できるかどうかを評価することを目的としている。
これらの仮定は既存のKB-VQAベンチマークで体系的に違反していることを示す。
本稿では,(1)回答の導出性と質問の明確さを復元する原則付き監査・修復プロトコル,(2)初期検索と根拠推論に挑戦する視覚的曖昧性を導入する制御された多目的拡張プロトコルを紹介する。
論文 参考訳（メタデータ） (2026-06-30T20:35:30Z) - LADBench: A Benchmark for Logical Fault Detection in Images [1.6882040908691864]
視覚言語モデル(VLM)は視覚的質問応答とセマンティックグラウンドティングに優れるが、自律的な論理的推論の能力はいまだ探索されていない。
既存の異常ベンチマークでは、オープンワールド展開に必要な物理的、社会的常識よりも、視覚的エラーや直接的なプロンプトが強調されている。
LAD-benchは4つの領域にまたがる論理異常を持つ1,000以上のキュレートされた合成画像のベンチマークである。
論文 参考訳（メタデータ） (2026-06-16T02:32:38Z) - Embodied3DBench: Benchmarking Low-Level Embodied Spatial Intelligence of Vision Language Models [50.6415287154632]
Embodied3DBenchは3D環境における低レベル空間インテリジェンスをターゲットにしたロボット中心のベンチマークである。
ベンチマークは12のサブカテゴリにまたがり、21万以上の高品質な質問応答ペアを含んでいる。
論文 参考訳（メタデータ） (2026-05-27T20:28:56Z) - Omanic: Towards Step-wise Evaluation of Multi-hop Reasoning in Large Language Models [60.418191092851636]
OmanicはオープンドメインのマルチホップQAリソースであり、推論プロセスを分析するための構造アノテーションとして分解されたサブクエストと中間回答を提供する。
10,296個の機械によるトレーニング例(Omanic Synth)と967個の専門家による注釈付き評価例(OmanicBench)を含む。
論文 参考訳（メタデータ） (2026-03-17T15:23:37Z) - TACIT Benchmark: A Programmatic Visual Reasoning Benchmark for Generative and Discriminative Models [0.0]
TACIT Benchmarkは、6つの推論領域にわたる10のタスクからなるプログラム的なビジュアル推論ベンチマークである。
このベンチマークでは、モデルが決定論的コンピュータビジョンパイプラインを通じて検証されたソリューションイメージを生成する必要がある生成トラックと、構造的に妥当なニアミストラクタを備えた5方向の多重選択を提供する識別トラックの2トラック評価が提供されている。
論文 参考訳（メタデータ） (2026-02-27T11:45:26Z) - AgenticIQA: An Agentic Framework for Adaptive and Interpretable Image Quality Assessment [69.06977852423564]
画像品質評価(IQA)は、人間の視覚系に根ざした知覚品質の定量化と解釈の両方を反映している。
AgenticIQAは、IQAを歪み検出、歪み解析、ツール選択、ツール実行の4つのサブタスクに分解する。
本稿では,IQAエージェントに適した大規模命令データセットであるAgenticIQA-200Kと,VLMベースのIQAエージェントの計画,実行,要約機能を評価するための最初のベンチマークであるAgenticIQA-Evalを紹介する。
論文 参考訳（メタデータ） (2025-09-30T09:37:01Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳（メタデータ） (2025-08-07T17:54:15Z) - Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology [87.65242416688146]
TreeBenchは、ビジュアルグラウンド推論の診断ベンチマークである。
TreeVGRは、強化学習と共同でローカライゼーションと推論を監督する訓練パラダイムである。
論文 参考訳（メタデータ） (2025-07-10T17:59:58Z) - Image Quality Assessment for Embodied AI [103.66095742463195]
Embodied AIは近年急速に発展しているが、現在も主に実験室に配備されている。
具体的タスク、すなわちロボットの知覚品質における画像のユーザビリティを評価するためのIQA手法は存在しない。
論文 参考訳（メタデータ） (2025-05-22T15:51:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。