論文の概要: Ontology-Grounded, Reasoner-Verified Benchmarks for Evaluating LLM Reasoning in Scientific AI

• arxiv url: http://arxiv.org/abs/2610.00682v1
• Date: Wed, 30 Sep 2026 20:23:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.75697
• Title: Ontology-Grounded, Reasoner-Verified Benchmarks for Evaluating LLM Reasoning in Scientific AI
• Title（参考訳）: 科学AIにおけるLLM推論評価のためのオントロジーとReasoner検証ベンチマーク
• Abstract要約: 大規模オントロジーモデル(LLM)は、構造化された知識を推論する科学的なAI応用の基盤となっている。 高品質なベンチマークは、明示的な背景知識において、正しい例と間違った例の両方を根拠にする必要がある。 十分に公理化された2 OWLから,オントロジーに基づく多重選択問題(MCQ)ベンチマークを自動的に生成するパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 1.5982741463390921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) increasingly underpin scientific AI applications that reason over structured knowledge, from biomedical question answering to materials informatics. However, their logical reasoning often falls short, producing factual inaccuracies unacceptable in these settings. Reliable evaluation remains challenging: manual dataset construction scales poorly, and LLM-based generation risks embedding the very flaws it aims to measure. High-quality benchmarks must ground both correct and incorrect labelled examples in explicit background knowledge, formally verifiable by a standard reasoner. We propose a pipeline that automatically generates ontology-grounded multiple-choice question (MCQ) benchmarks from any sufficiently axiomatised OWL 2 ontology, with correct answers grounded in the ontology by design. Distractors are generated by perturbing the right-hand-side class expressions of class definition axioms, and their incorrectness is formally verified by an OWL reasoner via entailment checks. We evaluate the pipeline on three ontologies: Pizza (small, academic), PMDco (complex, materials science), and DOID (large, biomedical), generating 112, 2,491, and 15,216 MCQs respectively. Distractors span four semantic categories from class unsatisfiability to weakened subsumptions, enabling diagnostic evaluation of specific reasoning failures. Items meet natural language quality standards: mean LLM judge scores of 4.02, 4.36, and 3.36 out of 5 confirm fluency, and correct-answer-to-distractor similarity above 0.8 shows that wrong options cannot be dismissed on surface form alone. Six LLMs evaluated zero-shot achieve 41.1-76.8% accuracy, well above the 25% random-guessing baseline, indicating the benchmarks are challenging and discriminative. This work is a step towards more reliable benchmarks for assessing logical reasoning in scientific AI.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、構造化された知識を推論する科学的なAI応用の基盤となっている。 しかし、それらの論理的推論はしばしば不足し、これらの設定では受け入れられない事実的不正確な結果をもたらす。 手動のデータセット構築が不十分で、LLMベースの生成リスクが測定対象とする欠陥を埋め込んでいるため、信頼性の高い評価は依然として難しいままです。 高品質なベンチマークは、標準的な推論者によって正式に検証される、明示的な背景知識において、正しいと間違ったラベル付き例の両方を根拠にする必要がある。 本稿では, 十分に公理化されたOWL 2オントロジーから, オントロジーに基づく多重選択問題(MCQ)ベンチマークを自動的に生成するパイプラインを提案する。 ディトラクタは、クラス定義公理の右辺クラス式を摂動することで生成され、その不正確さはエンテーメントチェックによってOWL推論器によって正式に検証される。 Pizza (小, 学術), PMDco (複雑, 材料科学), DOID (大規模, 生物医学) の3つのオントロジー上でパイプラインを評価し, それぞれ112, 2,491, 15216 MCQを生成した。 トラクタは、クラス不満足から弱体化への4つのセマンティックなカテゴリにまたがっており、特定の推論失敗の診断を可能にする。 LLMの判定スコアは5つのうち4.02、4.36、および3.36で、0.8以上では、間違った選択肢は表面形だけでは除外できない。 6つのLCM評価ゼロショットは41.1-76.8%の精度を達成し、25%のランダムゲスティングベースラインをはるかに上回り、ベンチマークは困難で差別的であることを示した。 この研究は、科学的AIの論理的推論を評価するための、より信頼性の高いベンチマークへの一歩である。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• HOLMES: Evaluating Higher-Order Logical Reasoning in LLMs [37.82259837085897]
  HOLMES(Higher-Order Logic Meets real-world Explainable reasoning)は,LLMにおける高階記号推論のための最初の実世界ベンチマークである。 高階論理に基づいて構築されたHOLMESは、自然言語問題とHOLの形式化、基礎的真理解、検証可能な推論トレース、法と財務の細かい制御可能な推論要素をペアリングする。 実験によると、現在のLLMはHOLMESに苦戦しており、平均精度は50.64%、最高のモデルは59.54%である。
  論文  参考訳（メタデータ） (2026-06-22T12:23:54Z)
• LiveMathematicianBench: A Live Benchmark for Mathematician-Level Reasoning with Proof Sketches [61.30693283718321]
  研究レベルの数学的推論のための動的多重選択ベンチマークであるLiveMathematicianBenchを提案する。 新たに発表された定理で評価を基礎づけることで、記憶されたパターンを超えた現実的なテストベッドを提供する。 このパイプラインは、高レベルな証明戦略を使用して、妥当だが無効な解選択を構築する。
  論文  参考訳（メタデータ） (2026-04-02T08:22:17Z)
• LLM Reasoning Predicts When Models Are Right: Evidence from Coding Classroom Discourse [0.18268488712787334]
  大規模言語モデル(LLM)は、大規模に教育対話を自動的にラベル付けし分析するために、ますます多くデプロイされている。 本研究では,LLMが生成した推論がモデル自身の予測の正確性を予測するのに有効かどうかを検討する。 授業の対話から30,300人の教師の発話を分析し,複数の最先端LPMでラベル付けし,指導的移動構造とそれに伴う推論を行った。
  論文  参考訳（メタデータ） (2026-02-10T14:38:13Z)
• SciIF: Benchmarking Scientific Instruction Following Towards Rigorous Scientific Intelligence [60.202862987441684]
  科学的妥当性を確立する制約に厳格に固執しながら、問題を解決する能力。 具体的には,大学レベルの問題と制約の固定されたカタログをペアにすることで,この能力を評価するマルチディシプリンのベンチマークであるSciIFを紹介する。 SciIFは、解の正当性と多拘束性の両方を測定することにより、構成的推論失敗のきめ細かい診断を可能にする。
  論文  参考訳（メタデータ） (2026-01-08T09:45:58Z)
• Beyond Correctness: Exposing LLM-generated Logical Flaws in Reasoning via Multi-step Automated Theorem Proving [11.24425572063955]
  大規模言語モデル(LLM)は驚くべき推論能力を示しており、医療、法律、科学研究などの高度な領域で採用されている。 しばしば、流動的な言語で隠された微妙な論理的誤りがあり、重要なアプリケーションにとって重大なリスクを生じさせる。 MATPは多段階自動定理証明によるLCM推論を体系的に検証するための評価フレームワークである。
  論文  参考訳（メタデータ） (2025-12-29T14:48:15Z)
• JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models [51.99046112135311]
  LLM(Large Language Models)の厳密な評価のための合成推論ベンチマークであるJustLogicを紹介する。 JustLogicは非常に複雑で、多様な言語パターン、語彙、引数構造を生成することができる。 実験の結果, (i) LLMは人体平均値よりも同等かそれ以上に機能するが, 人体天井よりも著しく低下することがわかった。
  論文  参考訳（メタデータ） (2025-01-24T15:49:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。