論文の概要: QSTRBench: a New Benchmark to Evaluate the Ability of Language Models to Reason with Qualitative Spatial and Temporal Calculi
- arxiv url: http://arxiv.org/abs/2605.18380v1
- Date: Mon, 18 May 2026 13:26:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:49.630458
- Title: QSTRBench: a New Benchmark to Evaluate the Ability of Language Models to Reason with Qualitative Spatial and Temporal Calculi
- Title（参考訳）: QSTRBench: 言語モデルの質的空間的・時間的計算による推論能力を評価するための新しいベンチマーク
- Authors: Anthony G. Cohn, Robert E. Blackwell,
- Abstract要約: 大規模言語モデル(LLM)を評価するために,広範に定性的空間的・時間的推論(QSTR)ベンチマークを導入する。
本稿では,合成推論(合成表,CT),逆関係,QSTR計算,アルゲブラ点(PA),アレン計算,RCC-5,RCC-8,RCC-22,9交叉モデル,基方向計算,STARに対する概念近傍(CN)について考察する。
拡張ベンチマークは、プレフィックス/インフィックス、単語/シンボル/ナンス用語、選択された計算のスキーマ記述を含む質問提示を体系的に変更する。
- 参考スコア（独自算出の注目度）: 4.3673732069803135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce an extensive qualitative spatial and temporal reasoning (QSTR) benchmark for evaluating large language models (LLMs). We pose questions concerning compositional reasoning (using composition tables, CT), converse relations, and conceptual neighbourhoods (CN) for QSTR calculi, Point Algebra (PA), Allen's Interval Algebra, Interval and Duration (INDU), Region Connection Calculus (RCC-5, RCC-8, and RCC-22), the nine intersection model, cardinal direction calculus, and STAR. The RCC-22 CN is published here for the first time. An extended benchmark systematically varies question presentation including prefix/infix, words/symbols/nonce terms and schematic descriptions for selected calculi. We report results for contemporary frontier models. All models tested perform better than guessing but none can consistently answer all questions correctly. Performance varies sharply by calculus, with PA being the most straightforward, and RCC-22 the most difficult. We release the benchmark, and our results under an open licence to facilitate further assessment of qualitative spatio/temporal reasoning in LLMs.
- Abstract（参考訳）: 大規模言語モデル (LLM) を評価するために, 広範に定性的空間的・時間的推論 (QSTR) ベンチマークを導入する。
本稿では,QSTR計算,ポイント代数(PA),アレンのインターバル代数(INDU),領域接続計算(RCC-5,RCC-8,RCC-22),9交叉モデル,基方向計算,STARのコンポジション推論(合成表,CTを用いた),逆関係,概念近傍(CN)について考察する。
RCC-22 CNは、ここで初めて発行される。
拡張ベンチマークは、プレフィックス/インフィックス、単語/シンボル/ナンス用語、選択された計算のスキーマ記述を含む質問提示を体系的に変更する。
現代フロンティアモデルの結果を報告する。
テストされたすべてのモデルは、推測よりもパフォーマンスがよいが、すべての質問に答えることはできない。
性能は計算によって大きく異なり、PAが最も単純であり、RCC-22が最も難しい。
LLMにおける定性/時間的推論のさらなる評価を容易にするために,このベンチマークと実験結果をオープンライセンスで公開する。
関連論文リスト
- BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models [6.36932184701021]
BaziQA-Benchmarkは、大きな言語モデルにおける記号的および時間的構成的推論を評価するための標準化されたベンチマークである。
マルチターン設定による現代言語モデルの評価を行い、時間的難易度、推論領域、推論プロトコルにおける性能変動を分析した。
結果は、モデルが常に確率を上回るが、飽和から遠く離れており、時間構成や推論順序に対する感受性が顕著であることを示している。
論文 参考訳（メタデータ） (2026-02-13T12:45:42Z) - RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。
我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
論文 参考訳（メタデータ） (2026-01-14T11:37:00Z) - Compute-Accuracy Pareto Frontiers for Open-Source Reasoning Large Language Models [0.0]
大規模言語モデル(LLM)は複雑な推論ベンチマークで急速に改善されている。
産業アプリケーションの場合、モデルの選択は生の精度だけでなく、リソースの制約や推論コストにも依存する。
論文 参考訳（メタデータ） (2025-12-31T10:51:32Z) - Decomposition-Enhanced Training for Post-Hoc Attributions In Language Models [64.49342399229529]
我々は、ポストホック帰属を推論問題として再編成し、回答を構成単位に分解し、それぞれ特定の文脈に結び付けることができると論じる。
DecompTuneは、モデルに中間的推論ステップとして解解分解を生成することを教えるポストトレーニング手法である。
DecompTuneは、広範な実験と改善を通じて、属性の品質を大幅に改善し、先行手法より優れ、最先端のフロンティアモデルに適合または超えている。
論文 参考訳（メタデータ） (2025-10-29T17:58:59Z) - CCQA: Generating Question from Solution Can Improve Inference-Time Reasoning in SLMs [14.97707719362011]
textbfQuestion textbfAnswering (CCQA)におけるtextbfCycle-textbf一貫性を提案する。
CCQAは、サイクル一貫性に着想を得て、各推論経路から質問を生成し、それぞれが元の質問と類似度で評価し、次に、最も類似度の高い候補解を最終応答として選択する。
CCQAは数学および常識推論ベンチマークにおいて8つのモデルで既存の最先端(SOTA)手法を一貫して上回っていることが確認された。
論文 参考訳（メタデータ） (2025-09-23T02:01:03Z) - Challenging the Boundaries of Reasoning: An Olympiad-Level Math Benchmark for Large Language Models [86.45058529521258]
OlymMATHは、LLMの複雑な推論能力を厳格にテストするために設計された、Olympiadレベルの新しい数学ベンチマークである。
OlymMATHは200の厳密にキュレートされた問題があり、それぞれが手動で検証され、英語と中国語の並行バージョンで利用可能である。
論文 参考訳（メタデータ） (2025-03-27T11:20:17Z) - LLMs Are Not Intelligent Thinkers: Introducing Mathematical Topic Tree Benchmark for Comprehensive Evaluation of LLMs [8.89259409245068]
大規模言語モデル(LLM)は、数学的推論において印象的な能力を示す。
我々はMathematical Topics Tree (MaTT)ベンチマークを提示する。
最上級モデルであるGPT-4は,複数選択シナリオにおいて,わずか54%の精度を達成した。
論文 参考訳（メタデータ） (2024-06-07T18:21:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。