JigShape: Evaluating Visual-Geometric Reasoning in VLMs through Jigsaw Puzzles
Abstractの概要
JigShapeは、ジグソーパズルの完成を通じて視覚言語モデル（VLM）の視覚的・幾何学的推論を評価するためのベンチマークである。繰り返しのテクスチャ領域で正解が曖昧になる可能性のある従来の長方形カットのベンチマークとは異なり、凸凹が噛み合うピースを使用することで、局所的な幾何学的適合性と画像コンテンツが共同して一意の解を決定する。このベンチマークには、23,742枚の元画像から派生した95,468のインスタンスが含まれており、4×4から16×16までの4つのグリッドサイズと、ペアとなる4×4の形状なしアブレーションセットで構成されている。評価では、ゼロショットの最先端VLMと教師ありファインチューニングされたモデルの両方を調査し、現在のシステムが幾何学的制約を使用できるかどうか、またパズルのサイズが大きくなるにつれてパフォーマンスがどのように変化するかをテストしている。
新規性
本論文の主な新規性は、パズル解きを曖昧な視覚的マッチング問題から、視覚と幾何学の共同推論の適切なテストへと変えることを目的とした、明確な凸凹形状の制約を持つジグソーパズルベンチマークの設計である。また、モデルが境界の幾何学的形状を本当に活用しているかを切り分けるために、形状の有無を対照する制御されたアブレーションも導入している。
成果
経験的に、4×4パズルのゼロショット評価でランダムベースラインを超えるのはGPT-5.5のみであり、ピース正解率69.65%、完全一致率26.40%に達する一方で、テストされた他の最先端モデルはほぼ偶然レベルにとどまっている。教師ありファインチューニングにより4×4ではタスクの学習が可能になり、Qwen3-VL-8BとGemma3-12Bは97%以上のピース正解率を達成するが、すべてのモデルがより密なグリッドで急激なスケーリングの崩壊を示し、12×12や16×16ではほぼランダムなレベルまで低下する。4×4のアブレーションはさらに、形状制約を取り除くと特にファインチューニングされたモデルで大きな低下を引き起こすことを示しており、幾何学的な手がかりへの強い依存が示唆されている。
論文の注目点
- JigShapeは、長方形のパズルカットを凸凹の噛み合う形状に置き換えることで、強力な局所的適合性制約と曖昧さのない正解を提供する。
- このベンチマークは4×4から16×16までスケールし、9万5000以上のインスタンスを含んでおり、組み合わせの複雑さに伴って視覚的・幾何学的推論がどのように劣化するかを分析できる。
- 結果として、限定的なゼロショットの幾何学的推論、ゼロショットおよびファインチューニング済みモデルの両方における顕著なスケーリングの壁、そしてアブレーション設定における形状の手がかりへの強い依存性が示されている。