論文の概要: SpatialChain: A Benchmark for Auditing Spatial Reasoning Faithfulness in VLMs

• arxiv url: http://arxiv.org/abs/2610.06413v1
• Date: Mon, 05 Oct 2026 14:29:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 08:34:52.777787
• Title: SpatialChain: A Benchmark for Auditing Spatial Reasoning Faithfulness in VLMs
• Title（参考訳）: 空間チェイン : VLMにおける空間推論の忠実度評価のためのベンチマーク
• Abstract要約: 思考可能な視覚言語モデル(VLM)は、空間的ベンチマークにおいてずっと高い精度を報告している。 しかし、最終回答スコアは、正しい予測が忠実な空間的推論や言語的ショートカットを反映しているかを明らかにすることはできない。 28350のトレーニングデータセットであるSpatialChainと、空間指向のGQA質問と、シーングラフに基づく推論チェーンをペアにした899のテスト例を紹介する。
• 参考スコア（独自算出の注目度）: 32.72182829728677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Thinking-enabled vision-language models (VLMs) report ever-higher accuracy on spatial benchmarks, yet final-answer scores cannot reveal whether a correct prediction reflects faithful spatial reasoning or a linguistic shortcut. We introduce SpatialChain, a dataset of 28,350 training and 899 test examples pairing spatially-oriented GQA questions with scene-graph-grounded reasoning chains, retained only when the generated answer matches the symbolic ground truth, and a two-axis evaluation combining objective chain-overlap metrics with a scene-graph-aware LLM judge that scores faithfulness and completeness independently of the final answer. Applied to nine thinking-enabled VLMs, the protocol surfaces three findings invisible to standard accuracy: (i) four of nine models achieve $\geq$79% VQA accuracy while exhibiting shortcut rates above 39%, i.e., correct answers whose reasoning the judge marks as unfaithful; (ii) chain quality significantly predicts answer correctness for seven of nine models, but the two exceptions (Claude Sonnet 4.6, InternVL3.5-8B) reveal qualitatively distinct failure modes, terse output vs. verbose-decorative reasoning, that benchmark accuracy alone conflates; (iii) SFT on SpatialChain improves Qwen3-VL-8B by +6.2 pp in-domain and reduces its shortcut rate to 22%, while a stylistic specialization effect on external benchmarks motivates replay-augmented training as mitigation. The faithfulness judge is validated against 198 human-annotated items, where judge-human agreement matches human-human agreement, and against a second judge from a different provider, which preserves the model ranking ($ρ$ = 0.88). Data, generation scripts, and evaluation code are released at https://github.com/spatialchain/SpatialChainBenchmark.
• Abstract（参考訳）: 思考可能な視覚言語モデル(VLM)は、空間的ベンチマークにおいてずっと高い精度を報告しているが、最終的な回答スコアは、正しい予測が忠実な空間的推論や言語的ショートカットを反映しているかを明らかにすることはできない。 28350のトレーニングと899の試験例からなるSpatialChainは、空間指向のGQA質問とシーングラフに基づく推論チェーンをペアリングし、生成した回答がシンボル基底の真実に一致する場合にのみ保持し、最終回答とは無関係に、目的チェーンオーバーラップメトリクスとシーングラフ対応LCM判定との2軸評価を行う。 9つの思考可能なVLMに適用し、標準精度で見えない3つの発見を提示する。 (i)9つのモデルのうち4つは、39%以上のショートカット率を示しながら、$\geq$79%のVQA精度を達成する。 (II) チェーンの品質は,9モデルのうち7モデルの解の正しさを著しく予測するが,2つの例外(Claude Sonnet 4.6, InternVL3.5-8B)は,定性的に異なる故障モードを示す。 3) SpaceChain上のSFTはQwen3-VL-8Bを+6.2ppのドメインで改善し、ショートカットレートを22%に削減する一方、外部ベンチマークに対するスタイリスティックな特殊化効果は、リプレイ強化トレーニングを緩和する動機となっている。 忠義審査員は、人道合意が人道合意に合致する198項目と、モデルランキング(ρ$ = 0.88)を保持する異なる提供者からの2番目の裁判官に対して検証される。 データ、生成スクリプト、評価コードはhttps://github.com/spatialchain/SpatialChainBenchmarkでリリースされる。

関連論文リスト

• The Architect, the Adversary, and the Judge: Closed-Loop Generation of Standards-Aligned Assessment Items at Scale [13.85834524293015]
  CLAIMは、K-12アセスメント・イテム生成のための生産パイプラインである。 パイプラインは9,074イテムの生産で97.8%のエキスパート評価パスレートに達する。
  論文  参考訳（メタデータ） (2026-08-26T08:54:32Z)
• Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification [1.5977080543655726]
  動詞化のような一般的なアプローチは、非常にスパースな出力を生み出す。 Qwen3-32B は SST-2 上では8つのユニークな信頼値しか言語化せず、半分以上は正確に95%である。 余分な推論コストを伴わずに,空白度と最良なAUARC(+2.3点)に対処する。
  論文  参考訳（メタデータ） (2026-08-05T14:24:34Z)
• FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
  MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。 GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
  論文  参考訳（メタデータ） (2026-05-27T18:59:18Z)
• Perception or Prejudice: Can MLLMs Go Beyond First Impressions of Personality? [74.69723255239663]
  グラウンドド・パーソナリティ・推論は、MLLMがそれぞれのビッグファイブ・格付けを、評価、推論、根拠の連鎖を通じて観察可能な証拠に固定することを要求する。 MM-OCEANは、人間の検証によるマルチエージェントパイプラインによって生成され、タイムスタンプによる行動観察、エビデンスに基づく特性分析、およびキューグラウンドMCQの7つのカテゴリがある。 この分析では、フィールド全体にわたって、正しい評価の51%が取得された手がかりに基づかず、ホリスティック・ギャラリング・レートは0-33.5%にしか達していないという顕著な偏見のギャップが明らかになった。
  論文  参考訳（メタデータ） (2026-05-21T07:42:47Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Do Benchmarks Underestimate LLM Performance? Evaluating Hallucination Detection With LLM-First Human-Adjudicated Assessment [0.0]
  本研究は,要約作業における文脈幻覚検出に焦点を当てた。 QAGS-C と SummEval のデータセットは,従来のベンチマークアノテーションと理性およびスパンベースの予測を比較して分析する。
  論文  参考訳（メタデータ） (2026-05-08T20:27:44Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。