論文の概要: LGMT: Logic-Grounded Metamorphic Testing for Evaluating the Reasoning Reliability of LLMs

• arxiv url: http://arxiv.org/abs/2605.23965v1
• Date: Tue, 12 May 2026 18:26:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 02:55:42.9831
• Title: LGMT: Logic-Grounded Metamorphic Testing for Evaluating the Reasoning Reliability of LLMs
• Title（参考訳）: LGMT:LLMの推論信頼性評価のための論理型変成試験
• Authors: Zenghui Zhou, Man Li, Xiaoke Fang, Xinyi Zhou, Weibin Li, Zheng Zheng,
• Abstract要約: 大規模言語モデル (LLM) は論理的推論ベンチマークにおいて高い性能を達成するが、信頼性は不確実である。 LLM推論の評価に一階述語論理(FOL)を利用するオラクルフリーフレームワークであるLGMT(Logic-Grounded Metamorphic Testing)を提案する。 最先端のLLM6つの実験は、LGMTが従来の基準ベース評価で欠落している重大な隠れた欠陥を露呈していることを示している。
• 参考スコア（独自算出の注目度）: 5.332904412798379
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) achieve strong performance on logical reasoning benchmarks, yet their reliability remains uncertain. Existing evaluations rely on static benchmarks, which fail to assess robustness under logically equivalent transformations and often overestimate reasoning capability. We propose LGMT (Logic-Grounded Metamorphic Testing), an oracle-free framework that leverages first-order logic (FOL) to evaluate LLM reasoning. By deriving metamorphic relations from formal logical equivalences, LGMT constructs semantically invariant test cases and detects reasoning defects through cross-case consistency checking. Experiments on six state-of-the-art LLMs show that LGMT exposes substantial hidden defects missed by traditional reference-based evaluations. We further find that models are particularly sensitive to symbol-level and conclusion-level variations, and that advanced prompting such as Few-shot CoT only partially mitigates these issues. These results suggest that LLM evaluation should move beyond isolated correctness toward robustness under logical invariance. LGMT provides a principled and scalable approach for diagnosing reasoning failures.
• Abstract（参考訳）: 大規模言語モデル (LLM) は論理的推論ベンチマークにおいて高い性能を達成するが、信頼性は不確実である。 既存の評価は静的なベンチマークに依存しており、論理的に等価な変換の下で堅牢性を評価することができず、しばしば過大評価される推論能力がある。 LLM推論の評価に一階述語論理(FOL)を利用するオラクルフリーフレームワークであるLGMT(Logic-Grounded Metamorphic Testing)を提案する。 形式的論理的等価性から準同型関係を導出することにより、LGMTは意味論的に不変なテストケースを構築し、ケース間の整合性チェックによって推論欠陥を検出する。 最先端のLLM6つの実験は、LGMTが従来の基準ベース評価で欠落している重大な隠れた欠陥を露呈していることを示している。 さらに、モデルが特に記号レベルや結論レベルの変動に敏感であること、Few-shot CoTのような高度なプロンプトがこれらの問題を部分的に緩和すること、などが分かる。 これらの結果から,LLM評価は論理的不変性の下では孤立的正当性を超えて頑健性に移行することが示唆された。 LGMTは、推論失敗の診断に原則的でスケーラブルなアプローチを提供する。

関連論文リスト

• Beyond Correctness: Exposing LLM-generated Logical Flaws in Reasoning via Multi-step Automated Theorem Proving [11.24425572063955]
  大規模言語モデル(LLM)は驚くべき推論能力を示しており、医療、法律、科学研究などの高度な領域で採用されている。 しばしば、流動的な言語で隠された微妙な論理的誤りがあり、重要なアプリケーションにとって重大なリスクを生じさせる。 MATPは多段階自動定理証明によるLCM推論を体系的に検証するための評価フレームワークである。
  論文  参考訳（メタデータ） (2025-12-29T14:48:15Z)
• DivLogicEval: A Framework for Benchmarking Logical Reasoning Evaluation in Large Language Models [58.439517684779936]
  本稿では,多種多様な文からなる自然文からなる古典論理ベンチマークDivLogicEvalを提案する。 また,より信頼性の高い評価を実現するために,大規模言語モデルに固有のバイアスやランダム性の影響を緩和する新たな評価指標を導入する。
  論文  参考訳（メタデータ） (2025-09-19T04:40:46Z)
• JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models [51.99046112135311]
  LLM(Large Language Models)の厳密な評価のための合成推論ベンチマークであるJustLogicを紹介する。 JustLogicは非常に複雑で、多様な言語パターン、語彙、引数構造を生成することができる。 実験の結果, (i) LLMは人体平均値よりも同等かそれ以上に機能するが, 人体天井よりも著しく低下することがわかった。
  論文  参考訳（メタデータ） (2025-01-24T15:49:10Z)
• Aligning with Logic: Measuring, Evaluating and Improving Logical Preference Consistency in Large Language Models [31.558429029429863]
  大規模言語モデル(LLM)は、信頼できる意思決定システムをサポートするために予測可能で信頼性が高いと期待されている。 本研究では、より信頼性の高いLLMシステムを構築するための基本的な要件として、論理的選好整合性を検討する。 一貫性の向上はLLM駆動論理ベースのアルゴリズムの性能向上につながることを示す。
  論文  参考訳（メタデータ） (2024-10-03T04:34:04Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。