論文の概要: Same Space or Not: Benchmarking Spatial Intelligence Through Cross-View Contradictions
- arxiv url: http://arxiv.org/abs/2610.23959v1
- Date: Fri, 09 Oct 2026 17:54:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 15:11:43.897413
- Title: Same Space or Not: Benchmarking Spatial Intelligence Through Cross-View Contradictions
- Title(参考訳): 空間が同じかどうか:クロスビュー・コントラクテーションによる空間知能のベンチマーク
- Abstract要約: スペース・アンド・ノット(Space or Not)は、クロスビューの矛盾解決のベンチマークである。
人間は83.3%の精度を達成しており、最強の視覚言語モデルでは39.7%である。
- 参考スコア(独自算出の注目度): 80.65137714222533
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatial intelligence, the capacity to represent and reason about physical space, underlies embodied perception and real-world visual understanding. Existing benchmarks probe it through spatial relations, perspective-taking, and mental modeling. What remains underexamined is whether a model can maintain a coherent scene representation across views, since pairwise comparison alone cannot reveal which view departs from the truth. We thus introduce Same Space or Not (SSoN), a benchmark of cross-view contradiction resolution comprising 1,000 questions from seven indoor scene sources and six categories of controlled 3D edits. Each question presents three views of an unchanged scene and one view of an edited variant. Models must identify the inconsistent view and explain the contradiction without a designated trusted reference or a marked target. Our pipeline iteratively translates human review into generation constraints. Automated checks and exhaustive human validation screen out both trivial visual shortcuts and questions lacking sufficient evidence for a unique answer. Humans achieve 83.3% accuracy, compared with 39.7% for the strongest vision-language models (VLMs), falling to 34.9% when a valid visual explanation is also required. We investigate prompting, camera information, and 3D reconstruction as interventions. On a 100-question intervention set with a 24% baseline, prompting and 3D reconstruction remain below 50% answer accuracy, except when ground-truth camera information is supplied, which reaches 61% answer accuracy but only 48% True solve accuracy. On a held-out 201-question test set, Qwen2.5-VL-7B achieves 21.89% accuracy, 33.33% after answer-only fine-tuning, and 41.79% after fine-tuning on both rationales and answers. These results identify cross-view contradiction resolution as a substantial weakness of current VLMs that can be partly addressed by targeted supervision.
- Abstract(参考訳): 空間知能は、物理的な空間を表現し、推論する能力であり、知覚と現実世界の視覚的理解の基盤となっている。
既存のベンチマークは、空間関係、視点取り、メンタルモデリングを通じてそれを調査する。
ペアワイズ比較だけでは、どのビューが真実から外れているのかを明らかにすることができないので、モデルがビューをまたいだ一貫性のあるシーン表現を維持することができるかどうかが未検討である。
そこで本研究では,室内の7つのシーンソースと6つのカテゴリの3D編集からなる,1,000の質問からなるクロスビューコンフリクト解決のベンチマークであるSame Space or Not(SSoN)を紹介した。
各質問は、変化しないシーンの3つのビューと編集されたバリエーションの1つのビューを示す。
モデルは矛盾する見解を識別し、指定された信頼された参照やマークされたターゲットなしで矛盾を説明する必要がある。
私たちのパイプラインは、人間のレビューを世代制約に反復的に翻訳します。
自動チェックと徹底した人間の検証は、自明な視覚的ショートカットと、ユニークな答えの十分な証拠を欠いた質問の両方をスクリーニングする。
人間は83.3%の精度を達成し、最強の視覚言語モデル(VLM)では39.7%、有効な視覚的説明が必要な場合には34.9%に低下する。
介入として,プロンプト,カメラ情報,3次元再構築について検討する。
24%のベースラインで設定された100回の探索介入では、接地トラストカメラ情報が供給された場合を除いて、50%未満の回答精度でプロンプトと3D再構成が継続され、回答精度は61%、真の解決精度は48%に留まった。
201-クエストテストセットでは、Qwen2.5-VL-7Bは21.89%の精度、答えのみの微調整後の33.33%、有理数と答えの両方の微調整後の41.79%を達成している。
これらの結果は、対面矛盾解決を現在のVLMの実質的な弱点とみなし、部分的には目標監督によって対処できるものである。
関連論文リスト
- RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment [60.989018864729445]
対話型3次元から2次元の投影アライメントによる能力評価にRoTA-Benchを導入する。
対象のシルエットが与えられた場合、モデルは回転したオブジェクトを観察し、連続する回転を選択してターゲットの投影を回復する。
GPT-5.6-Solがわずか17%のタスクで成功するのに対し、20人の学部生が100%の成功率でテストセットを4回完了した。
論文 参考訳(メタデータ) (2026-10-13T03:46:48Z) - OccludeBench: Can VLMs Find What's Missing? [9.570046212905654]
視覚言語モデル(VLM)が画像から欠落するものについてどのように考えるかを検討する。
OccludeBenchは、まだ残っている視覚的証拠から完全に隠されたオブジェクトを復元するためのベンチマークである。
視覚的推論プロセスの故障箇所を分離する4段階診断であるOccludeTraceを紹介した。
論文 参考訳(メタデータ) (2026-10-09T16:04:54Z) - SpaceCast-Bench: Evaluating Predictive Spatial Reasoning in Vision-Language Models [55.56557714314683]
空間推論を直接的かつ診断的に評価する最初のベンチマークであるSpaceCastBenchを紹介する。
182の現実世界シーンからの質問は、静的認識、局所予測、グローバル予測という3つのレベルで16のタスクタイプにまたがる。
制御された解析により、ブリッジビューは分散観測の統合に重要であることが明らかになった。
論文 参考訳(メタデータ) (2026-10-08T17:44:17Z) - From Perception to Integration: Revisiting the Internal Dynamics of Reasoning in Vision-Language Models [39.89983065873393]
視覚言語モデル(VLM)は単純な視覚的質問に答えることができるが、ある質問が複数の視覚的判断を必要とする場合、しばしば苦労する。
本研究では, 特徴結合, 特異性, 空間関係, アモーダル完備化の制御タスクと, それらを組み合わせた複合タスクとのギャップについて検討する。
4つのモデル、直接的な回答、隠れ状態の読み出し、および状態介入は、個々の判断を明確な推論なしで行うことができることを示している。
論文 参考訳(メタデータ) (2026-09-28T10:12:59Z) - StateSight: Benchmarking Latent Spatial-State Reconstruction in Vision-Language Models [0.5624504968545648]
我々は,立方体-ネット対面推論,閉立方体-towerカウント,隣接する連結成分カウントのベンチマークであるStateSightを紹介する。
各タスクファミリーには300の単一イメージプロンプトがあり、決定論的オラクルラベルと正確なマッチスコアがある。
OpenAI GPT-5.5はAPIモデルの識別子gpt-5.5を使用して、3つのタスクで59.3%、33.3%、28.3%の精度を達成した。
論文 参考訳(メタデータ) (2026-08-15T20:13:12Z) - MindEdit-Bench: Benchmarking Object-Level Counterfactual Spatial Reasoning in VLMs from In-the-Wild Photos [20.94052676416818]
MindEdit-Benchは、新たに撮影された屋内シーンの3枚の写真から作られた6つの空間的推論タスクのベンチマークである。
各質問は8-24の構造化された回答選択を提供し、空間的およびフォールバックエラーの回答レターレベルの診断を可能にする。
ベンチマークでは、公開データセットから抽出されていない120のプライベート屋内シーンがカバーされている。
論文 参考訳(メタデータ) (2026-07-01T06:19:54Z) - Seeing Isn't Knowing: Do VLMs Know When Not to Answer Spatial Questions (and Why)? [72.2500547961037]
空間推論は視覚言語モデル(VLM)が現実世界の環境に展開する基本的な能力である。
対象情報を隠蔽するオクルージョン(Occlusion)と、誤解を招く視覚的手がかりを生成する視点曖昧性(spective ambiguity)の2つのタイプの観察課題を紹介した。
各構成について、クリーンな観察では答えられるが、導入した課題では無視する必要がある空間的質問を設計する。
論文 参考訳(メタデータ) (2026-05-28T20:44:47Z) - Tri-Bench: Stress-Testing VLM Reliability on Spatial Reasoning under Camera Tilt and Object Interference [0.0]
検証可能な幾何学的推論は、信頼できる、制御可能なエージェントAIにとって重要な要素である。
平面三角形問題のコンパクトなベンチマークであるTri-Benchを提案する。
我々は,1つの固定プロンプトを用いて,最新の視覚言語モデル(VLM)を4つ評価した。
論文 参考訳(メタデータ) (2025-12-09T17:52:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。