論文の概要: MindEdit-Bench: Benchmarking Object-Level Counterfactual Spatial Reasoning in VLMs from In-the-Wild Photos
- arxiv url: http://arxiv.org/abs/2607.00491v1
- Date: Wed, 01 Jul 2026 06:19:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.751183
- Title: MindEdit-Bench: Benchmarking Object-Level Counterfactual Spatial Reasoning in VLMs from In-the-Wild Photos
- Title（参考訳）: MindEdit-Bench:Wild画像からのVLMにおけるオブジェクトレベル対実空間推論のベンチマーク
- Abstract要約: MindEdit-Benchは、新たに撮影された屋内シーンの3枚の写真から作られた6つの空間的推論タスクのベンチマークである。
各質問は8-24の構造化された回答選択を提供し、空間的およびフォールバックエラーの回答レターレベルの診断を可能にする。
ベンチマークでは、公開データセットから抽出されていない120のプライベート屋内シーンがカバーされている。
- 参考スコア（独自算出の注目度）: 20.94052676416818
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Benchmarks for vision-language models (VLMs) mostly test observational spatial reasoning: models describe relations already visible in the input. Existing what-if tasks typically vary the observer while keeping the scene fixed. Can VLMs instead predict the consequences of hypothetically moving or rotating an object? We introduce MindEdit-Bench, a benchmark of six spatial reasoning tasks built from three-photo smartphone triplets of newly captured indoor scenes via an automatic in-the-wild 3D scene-graph extraction pipeline. Four tasks probe perception and perspective transformation over observed structure; two new tasks, L4 (spatial editing) and L5 (cross-view visibility editing), probe object-level counterfactual reasoning, where correct answers are absent from all input images. Each question provides 8-24 structured answer choices, enabling answer-letter-level diagnosis of spatial and fallback errors. The benchmark covers 120 private indoor scenes not drawn from public datasets, reducing public-data pretraining-overlap risk. Across 15 VLMs on 1,003 human-verified questions, task-wise mean VLM accuracy is only 8%-31%, versus 81%-97% human majority-vote accuracy. The pooled human--best-VLM gap is 53 pp, with at least 39 pp on every task. The structured answer space further reveals non-uniform failures, including weaker camera-depth-axis inference and fallback behavior on difficult visibility-editing cases.
- Abstract（参考訳）: 視覚言語モデル(VLM)のベンチマークは、主に観測空間推論(英語版)のテストである。
既存のe-ifタスクは通常、シーンを固定しながらオブザーバを変える。
代わりにVLMは、物体を仮説的に動かしたり回転させたりする結果を予測することができるのか?
我々はMindEdit-Benchを紹介した。MindEdit-Benchは、新たに捕獲された屋内シーンの3枚のスマートフォントリプルから構築された6つの空間的推論タスクのベンチマークである。
4つのタスクは、観測された構造上の知覚と視点変換を探索する。2つの新しいタスク、L4(空間的編集)とL5(全体視の可視性編集)は、全ての入力画像から正しい答えが欠落しているオブジェクトレベルの対物的推論である。
各質問は8-24の構造化された回答選択を提供し、空間的およびフォールバックエラーの回答レターレベルの診断を可能にする。
このベンチマークでは、公開データセットから抽出されていない120のプライベート屋内シーンをカバーし、公開データの事前トレーニングとオーバーラップのリスクを低減している。
1,003の質問に対する15のVLMに対して、タスクワイド平均のVLM精度は8%-31%であるのに対して、81%-97%の人の多数決投票精度である。
プールされた人間-ベストVLMギャップは53pp、各タスクで少なくとも39ppである。
構造化された回答空間は、より弱いカメラ深度軸推論や、難解な視覚的編集ケースでのフォールバック動作を含む、一様でない障害をさらに明らかにする。
関連論文リスト
- When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning [73.56343820592399]
本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。
6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。
本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
論文 参考訳（メタデータ） (2026-08-05T11:46:15Z) - OVO-S-Bench: A Hierarchical Benchmark for Streaming Spatial Intelligence in Multimodal LLMs [49.82435858489898]
OVOS-Benchは、人間中心の空間知能をストリーミングするための完全な注釈付きベンチマークである。
348のソースビデオに関する1,680の質問で構成されている。
それぞれの質問はクエリとエビデンスインターバルを持ち、評価において、モデルはクエリの前のプレフィックスのみを表示する。
論文 参考訳（メタデータ） (2026-06-02T16:51:32Z) - ARGOS: Who, Where, and When in Agentic Multi-Camera Person Search [49.61286310968402]
我々は,対話型推論問題として,マルチカメラの人物探索を再構成する最初のベンチマークとフレームワークであるARGOSを紹介する。
ARGOSエージェントはあいまいな目撃声明を受け取り、何を尋ねるか、いつ空間的または時間的ツールを呼び出すか、不明瞭な応答をどう解釈するかを判断しなければならない。
このベンチマークは、意味的知覚(Who)、空間的推論(Where)、時間的推論(When)の3つのプログレッシブトラックにおいて、14の現実世界シナリオにまたがる2,691のタスクからなる。
論文 参考訳（メタデータ） (2026-04-14T14:06:19Z) - SpatiaLab: Can Vision-Language Models Perform Spatial Reasoning in the Wild? [11.64929380114363]
SpatiaLabは6つの主要なカテゴリの1,400の視覚的質問応答ペアで構成されている。
各カテゴリには少なくとも25の質問があり、各カテゴリには少なくとも200の質問が含まれている。
多重選択では、InternVL3.5-72Bは54.93%の精度と87.57%の精度を達成している。
論文 参考訳（メタデータ） (2026-02-03T17:52:02Z) - Tri-Bench: Stress-Testing VLM Reliability on Spatial Reasoning under Camera Tilt and Object Interference [0.0]
検証可能な幾何学的推論は、信頼できる、制御可能なエージェントAIにとって重要な要素である。
平面三角形問題のコンパクトなベンチマークであるTri-Benchを提案する。
我々は,1つの固定プロンプトを用いて,最新の視覚言語モデル(VLM)を4つ評価した。
論文 参考訳（メタデータ） (2025-12-09T17:52:57Z) - VisualOverload: Probing Visual Understanding of VLMs in Really Dense Scenes [36.370533774426555]
2,720組の質問応答対からなる視覚的質問応答(VQA)ベンチマークであるVisualOverloadを提案する。
通常、地球近傍の画像理解に焦点を当てた以前のVQAデータセットとは異なり、VisualOverloadは、密集したシーンでシンプルで知識のない視覚タスクを実行するためにモデルに挑戦する。
37の試験モデルのうち最高のモデル(o3)でさえ、最も難しいテスト分割で19.6%、すべての質問で69.5%の精度しか達成できない。
論文 参考訳（メタデータ） (2025-09-29T18:00:25Z) - Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology [87.65242416688146]
TreeBenchは、ビジュアルグラウンド推論の診断ベンチマークである。
TreeVGRは、強化学習と共同でローカライゼーションと推論を監督する訓練パラダイムである。
論文 参考訳（メタデータ） (2025-07-10T17:59:58Z) - MMSI-Bench: A Benchmark for Multi-Image Spatial Intelligence [74.51213082084428]
MMSI-Benchは、マルチイメージ空間インテリジェンスに特化したVQAベンチマークである。
我々は、大規模な実験を行い、34のオープンソースおよびプロプライエタリMLLMを徹底的に評価する。
最も強力なオープンソースモデルはおよそ30%の精度に達し、OpenAIのo3推論モデルは40%に達し、人間は97%である。
論文 参考訳（メタデータ） (2025-05-29T17:59:52Z) - LENS: Multi-level Evaluation of Multimodal Reasoning with Large Language Models [59.0256377330646]
Lensは3.4Kの現代画像と8つのタスクと12の日次シナリオをカバーする60K以上の人間による質問のベンチマークである。
このデータセットは本質的に、基本的な知覚から構成的推論に至るまで、画像不変のプロンプトを処理するためのMLLMの評価をサポートする。
我々は,Qwen2.5-VL-72B,InternVL3-78B,GPT-4oおよび2つの推論モデルQVQ-72B-previewとKim-VLなどの15以上のフロンティアMLLMを評価する。
論文 参考訳（メタデータ） (2025-05-21T15:06:59Z) - MARVEL: Multidimensional Abstraction and Reasoning through Visual Evaluation and Learning [22.440669015518015]
マルチモーダル大言語モデル(MLLM)が抽象的な視覚的推論能力を持っているかどうかを評価する。
スドゥークパズルと同様に、抽象的視覚推論(AVR)問題は高レベルのパターンを見つける必要がある。
6つのコア知識パターン,幾何学的および抽象的形状,5つのタスク構成からなる770個のMLLMのベンチマークであるMARVELを紹介する。
論文 参考訳（メタデータ） (2024-04-21T09:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。