論文の概要: StateSight: Benchmarking Latent Spatial-State Reconstruction in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2608.20414v1
- Date: Sat, 15 Aug 2026 20:13:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.007768
- Title: StateSight: Benchmarking Latent Spatial-State Reconstruction in Vision-Language Models
- Title（参考訳）: StateSight:視覚言語モデルにおける潜在空間状態再構築のベンチマーク
- Abstract要約: 我々は,立方体-ネット対面推論,閉立方体-towerカウント,隣接する連結成分カウントのベンチマークであるStateSightを紹介する。
各タスクファミリーには300の単一イメージプロンプトがあり、決定論的オラクルラベルと正確なマッチスコアがある。
OpenAI GPT-5.5はAPIモデルの識別子gpt-5.5を使用して、3つのタスクで59.3%、33.3%、28.3%の精度を達成した。
- 参考スコア（独自算出の注目度）: 0.5624504968545648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models are increasingly used for multimodal question answering, yet their ability to reconstruct latent spatial structure from a single image remains difficult to isolate. Broad benchmarks often combine perception, optical character recognition, domain knowledge, linguistic priors, and reasoning in the same evaluation. We introduce StateSight, a procedurally generated benchmark for cube-net opposite-face reasoning, occluded cube-tower counting, and 4-neighbor connected-component counting. Each task family contains 300 single-image prompts with deterministic oracle labels and exact-match scoring. OpenAI GPT-5.5, using the API model identifier gpt-5.5, achieved 59.3%, 33.3%, and 28.3% accuracy across the three tasks, while Claude Sonnet 5 achieved 53.3%, 18.7%, and 7.3%. All final direct runs had zero format errors. A 30-participant human baseline on 60 items exceeded both models on every task, with mean accuracies of 80.8%, 68.8%, and 64.3%. Visible-derivation analysis identified recurring errors in image-state reconstruction and reasoning procedure. We also introduce StateSight-Steps, a companion dataset of 900 interleaved image-text examples and 3,600 deterministic intermediate visual states. The results show that format-valid responses can mask failures to recover the spatial structure required for verifiable visual inference.
- Abstract（参考訳）: 視覚言語モデルは多モーダルな質問応答にますます使われているが、単一の画像から潜在空間構造を再構築する能力は、分離が難しいままである。
広範ベンチマークはしばしば、知覚、光学的文字認識、ドメイン知識、言語的先行、推論を同じ評価で組み合わせる。
我々は,立方体ネットの対面推論,隠蔽された立方体トウワーカウント,および隣接する連結成分カウントのための手続き的に生成されたベンチマークであるStateSightを紹介する。
各タスクファミリーには300の単一イメージプロンプトがあり、決定論的オラクルラベルと正確なマッチスコアがある。
OpenAI GPT-5.5はAPIモデルの識別子gpt-5.5を使用して3つのタスクで59.3%、33.3%、28.3%の精度を達成した。
最終的なダイレクトランは、フォーマットエラーがゼロであった。
60項目の30項目のベースラインは、各タスクの2つのモデルを上回っ、平均精度は80.8%、68.8%、64.3%だった。
可視微分分析により画像状態の再構成と推論の繰り返し誤差が同定された。
また、900のインターリーブ画像テキスト例と3600の決定論的中間視覚状態からなるデータセットであるStateSight-Stepsを紹介する。
その結果,視覚的推測に必要となる空間構造を復元するために,形式検証応答が失敗を隠蔽する可能性が示唆された。
関連論文リスト
- ComplexityWorld: Benchmarking Vision-Language Models on Verifiable Visual Decision Making [30.869819258358405]
視覚言語モデル(VLM)は、視覚知覚を急速に進歩させ、画像に依存する現実的なタスクをますますサポートしている。
39のドメインにインスパイアされた視覚世界と29のカテゴリーにわたる390のタスクのベンチマークであるCompleXITYWORLDを紹介する。
論文 参考訳（メタデータ） (2026-08-05T10:05:41Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - Do Vision--Language Models Understand 3D Scenes or Just Catalogue Objects? [0.0]
6フロンティアとオープンウェイトVLMは, LLM-as-judgeを伴わない18,204応答でアノテーターによって測定され, 急激な解離を示した。
目に見えるレイアウトを53～97%精度で再配置し、衝突の制約にほとんど違反しないモデルは、閉塞時に6～45%、反射時に7%以下に低下する。
Qwen3-VL-8B-Thinkingのホワイトボックス解析は、視覚的統合の失敗をローカライズする。
論文 参考訳（メタデータ） (2026-05-19T20:01:19Z) - Medical thinking with multiple images [44.04557445622649]
我々はMedThinkVQAを紹介した。MedThinkVQAは、複数の画像で考えるためのエキスパートアノテーション付きベンチマークである。
データセットは720のテストケースを含む8,067ケースを含み、1ケースあたり平均6.62イメージである。
テストセットでは、最高のクローズドソースモデルであるClaude-4.6-Opus、Gemini-3-Pro、GPT-5.2-xhighは57.2%、55.3%、54.9%の精度しか達成できなかった。
論文 参考訳（メタデータ） (2026-04-14T18:51:07Z) - GRAID: Enhancing Spatial Reasoning of VLMs Through High-Fidelity Data Generation [31.365285503503475]
標準検出器から2次元ボックスを用いて空間推論を学習するためのフレームワークを提案する。
GRAIDデータに基づいて訓練すると、モデルは過剰詳細保持型を一般化する空間的推論概念を学習する。
また、すべての質問タイプでトレーニングすると、いくつかの既存のベンチマークの改善が達成されることを示す。
論文 参考訳（メタデータ） (2025-10-25T02:07:23Z) - Where on Earth? A Vision-Language Benchmark for Probing Model Geolocation Skills Across Scales [61.03549470159347]
視覚言語モデル (VLM) は急速に進歩しているが, オープンワールド環境における画像位置決め能力は, 網羅的に評価されていない。
我々は、視覚認識、ステップバイステップ推論、エビデンス利用を評価するVLM画像位置情報の総合ベンチマークであるEarthWhereを提示する。
論文 参考訳（メタデータ） (2025-10-13T01:12:21Z) - Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology [87.65242416688146]
TreeBenchは、ビジュアルグラウンド推論の診断ベンチマークである。
TreeVGRは、強化学習と共同でローカライゼーションと推論を監督する訓練パラダイムである。
論文 参考訳（メタデータ） (2025-07-10T17:59:58Z) - ChartMuseum: Testing Visual Reasoning Capabilities of Large Vision-Language Models [48.99485386990197]
視覚的推論によってのみ解決可能な合成データセットを用いてケーススタディを行う。
次に、1,162人の専門家が注釈を付けた質問を含む新しいチャート質問回答(QA)ベンチマークであるChartMuseumを紹介します。
人間は93%の精度を達成しているが、最高のパフォーマンスモデルであるGemini-2.5-Proは63.0%しか達成できず、主要なオープンソースであるLVLM Qwen2.5-VL-72B-Instructは38.5%しか達成していない。
論文 参考訳（メタデータ） (2025-05-19T17:59:27Z) - Improving Visual Grounding by Encouraging Consistent Gradient-based
Explanations [58.442103936918805]
注意マスク整合性は,従来の方法よりも優れた視覚的グラウンドリング結果が得られることを示す。
AMCは効率的で実装が容易であり、どんな視覚言語モデルでも採用できるため一般的である。
論文 参考訳（メタデータ） (2022-06-30T17:55:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。