論文の概要: GeoChallenge: A Multi-Answer Multiple-Choice Benchmark for Geometric Reasoning with Diagrams
- arxiv url: http://arxiv.org/abs/2603.19252v1
- Date: Wed, 25 Feb 2026 08:14:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 02:36:12.77921
- Title: GeoChallenge: A Multi-Answer Multiple-Choice Benchmark for Geometric Reasoning with Diagrams
- Title（参考訳）: GeoChallenge: 図による幾何学的推論のためのマルチアンサー多重コースベンチマーク
- Authors: Yushun Zhang, Weiping Fu, Zesheng Yang, Bo Zhao, Lingling Zhang, Jian Zhang, Yumeng Fu, Jiaxing Huang, Jun Liu,
- Abstract要約: 提案するGeoChallengeは,90Kで自動生成された多重選択幾何証明問題である。
複数の高度なLCMの実験では、モデルと人間の間に明らかなパフォーマンスギャップが示されている。
最高のパフォーマンスモデルであるGPT-5-nanoは75.89の精度で人間と94.74で一致している。
- 参考スコア（独自算出の注目度）: 24.006289796467907
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluating the symbolic reasoning of large language models (LLMs) calls for geometry benchmarks that require multi-step proofs grounded in both text and diagrams. However, existing benchmarks are often limited in scale and rarely provide visually grounded multiple-choice questions, limiting reliable evaluation of complex reasoning. We introduce GeoChallenge, a dataset of 90K automatically generated multiple-choice geometry proof problems, each requiring multi-step reasoning over aligned textual descriptions and diagrams. GeoChallenge provides fine-grained complexity ratings and formal language annotations to enable controlled evaluation. Experiments on multiple advanced LLMs show a clear performance gap between models and humans (the best-performing model, GPT-5-nano, achieves 75.89 exact match vs. 94.74 for humans). Further analysis also reveals three common failure patterns of LLMs: (1) exact match failures under the multiple-choice setting; (2) weak visual reliance; and (3) overextended reasoning without convergence.
- Abstract（参考訳）: 大規模言語モデル(LLM)の記号的推論を評価するには、テキストとダイアグラムの両方にマルチステップの証明を必要とする幾何ベンチマークが必要である。
しかし、既存のベンチマークは大規模に制限されることが多く、複雑な推論の信頼性評価を制限するため、視覚的に基礎を成す複数の質問はめったにない。
テキスト記述や図面の整合性に対して多段階の推論を必要とするような,90K の多重選択幾何証明問題のデータセットである GeoChallenge を導入する。
GeoChallengeは、制御された評価を可能にするために、きめ細かい複雑性評価とフォーマルな言語アノテーションを提供する。
複数の先進的なLCMの実験では、モデルと人間の間に明らかなパフォーマンスのギャップが示されている(最も性能の良いモデルであるGPT-5-nanoは75.89の精度で人間と94.74の精度で一致している)。
さらなる分析では、(1)多重選択条件下での正確な一致失敗、(2)弱い視覚的依存、(3)収束のない過度に拡張された推論の3つの一般的な失敗パターンも明らかにされている。
関連論文リスト
- Omanic: Towards Step-wise Evaluation of Multi-hop Reasoning in Large Language Models [60.418191092851636]
OmanicはオープンドメインのマルチホップQAリソースであり、推論プロセスを分析するための構造アノテーションとして分解されたサブクエストと中間回答を提供する。
10,296個の機械によるトレーニング例(Omanic Synth)と967個の専門家による注釈付き評価例(OmanicBench)を含む。
論文 参考訳（メタデータ） (2026-03-17T15:23:37Z) - PointCoT: A Multi-modal Benchmark for Explicit 3D Geometric Reasoning [82.55361351483005]
我々は,3次元データに対する明示的なチェーン・オブ・ソート(CoT)推論でMLLMを強化する新しいフレームワークであるPointCoTを提案する。
両ストリームのマルチモーダルアーキテクチャを活用することで,幾何学的真理とセマンティックな外観を相乗化することができる。
論文 参考訳（メタデータ） (2026-02-27T11:47:45Z) - TACIT Benchmark: A Programmatic Visual Reasoning Benchmark for Generative and Discriminative Models [0.0]
TACIT Benchmarkは、6つの推論領域にわたる10のタスクからなるプログラム的なビジュアル推論ベンチマークである。
このベンチマークでは、モデルが決定論的コンピュータビジョンパイプラインを通じて検証されたソリューションイメージを生成する必要がある生成トラックと、構造的に妥当なニアミストラクタを備えた5方向の多重選択を提供する識別トラックの2トラック評価が提供されている。
論文 参考訳（メタデータ） (2026-02-27T11:45:26Z) - TangramPuzzle: Evaluating Multimodal Large Language Models with Compositional Spatial Reasoning [104.66714520975837]
古典的タングラムゲームのレンズを通して構成空間推論を評価するために,幾何グラウンドのベンチマークを導入する。
本稿では,タングラム集合を正確に機械で検証可能な座標仕様でグルーピングする記号幾何学的枠組みであるタングラム構成式(TCE)を提案する。
MLLMは、幾何学的制約を無視しながら、ターゲットのシルエットとのマッチングを優先する傾向がある。
論文 参考訳（メタデータ） (2026-01-23T07:35:05Z) - Milestones over Outcome: Unlocking Geometric Reasoning with Sub-Goal Verifiable Reward [67.00373428443879]
サブゴールレベルの評価と学習へのパラダイムシフトを導入する。
まず,厳密な形式検証データエンジンを用いたベンチマークであるGeoGoalを構築した。
本研究では,スケルトンレートに基づいて,スパース信号を高密度な報酬に置き換えるサブゴール検証リワード(SGVR)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-08T16:17:56Z) - GeoThought: A Dataset for Enhancing Mathematical Geometry Reasoning in Vision-Language Models [3.66076510862044]
6,243個のサンプルを持つGeo-Thought-6Kと10,834個のサンプルを含むGeo-Thought-Augmented-10Kの2つのサブセットからなる包括的幾何学的推論コーパスを開発した。
このデータセットを用いて,問題解決時に詳細な思考プロセスを生成する数学的推論マルチモーダルモデルGeoThought-MLLMを開発した。
我々のモデルは、幾何学的タスクにおける既存のベンチマークよりも優れており、私たちのChain-of-Thoughtデータセットによるトレーニングが、ドメイン内とドメイン外の両方で幾何学的推論能力を改善することを実証しています。
論文 参考訳（メタデータ） (2025-10-23T16:43:54Z) - MR$^2$-Bench: Going Beyond Matching to Reasoning in Multimodal Retrieval [86.35779264575154]
マルチモーダル検索は、現代のAIアプリケーションにおいて重要なコンポーネントになりつつあるが、その評価は、より現実的で困難なシナリオの要求に遅れている。
マルチモーダル検索のための推論集約型ベンチマークであるMR$2$-Benchを紹介する。
論文 参考訳（メタデータ） (2025-09-30T15:09:14Z) - SCoRE: Benchmarking Long-Chain Reasoning in Commonsense Scenarios [33.72114830484246]
SCoRE(Scenario-based Commonsense Reasoning Evaluation)は、エンティティ、リレーション、論理ルールのシナリオスキーマからマルチホップ質問を合成するベンチマークである。
SCoREには100kのバイリンガル(中国語と英語の)複数選択質問が含まれており、推論チェーンは2-11ホップにまたがり、様々な難易度にグループ化されている。
論文 参考訳（メタデータ） (2025-03-08T13:40:10Z) - DCR: Divide-and-Conquer Reasoning for Multi-choice Question Answering with LLMs [9.561022942046279]
大規模言語モデル(LLM)の推論能力を高めるため,DCR(Divide and Conquer Reasoning)を提案する。
まず、信頼性スコア(mathcalCS$)に基づいて質問を2つのサブセットに分類する。
特に,質問を信頼性スコア(mathcalCS$)に基づいて2つのサブセットに分類する。
論文 参考訳（メタデータ） (2024-01-10T14:38:46Z) - GeomVerse: A Systematic Evaluation of Large Models for Geometric
Reasoning [17.61621287003562]
幾何学問題のレンズを用いて視覚言語モデル(VLM)を様々な軸に沿って評価する。
複数の軸に沿った制御可能な難易度を持つ幾何学的質問の合成データセットを手続き的に作成する。
最新のVLMのベンチマークを用いて得られた実験結果から,これらのモデルが幾何学的対象に適さないことが示された。
論文 参考訳（メタデータ） (2023-12-19T15:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。