Fugu-MT 論文翻訳(概要): LGMT: Logic-Grounded Metamorphic Testing for Evaluating the Reasoning Reliability of LLMs

論文の概要: LGMT: Logic-Grounded Metamorphic Testing for Evaluating the Reasoning Reliability of LLMs

arxiv url: http://arxiv.org/abs/2605.23965v1
Date: Tue, 12 May 2026 18:26:59 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-01 02:55:42.9831
Title: LGMT: Logic-Grounded Metamorphic Testing for Evaluating the Reasoning Reliability of LLMs
Title（参考訳）: LGMT:LLMの推論信頼性評価のための論理型変成試験
Abstract要約: 大規模言語モデル (LLM) は論理的推論ベンチマークにおいて高い性能を達成するが、信頼性は不確実である。 LLM推論の評価に一階述語論理(FOL)を利用するオラクルフリーフレームワークであるLGMT(Logic-Grounded Metamorphic Testing)を提案する。最先端のLLM6つの実験は、LGMTが従来の基準ベース評価で欠落している重大な隠れた欠陥を露呈していることを示している。
参考スコア（独自算出の注目度）: 5.332904412798379
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) achieve strong performance on logical reasoning benchmarks, yet their reliability remains uncertain. Existing evaluations rely on static benchmarks, which fail to assess robustness under logically equivalent transformations and often overestimate reasoning capability. We propose LGMT (Logic-Grounded Metamorphic Testing), an oracle-free framework that leverages first-order logic (FOL) to evaluate LLM reasoning. By deriving metamorphic relations from formal logical equivalences, LGMT constructs semantically invariant test cases and detects reasoning defects through cross-case consistency checking. Experiments on six state-of-the-art LLMs show that LGMT exposes substantial hidden defects missed by traditional reference-based evaluations. We further find that models are particularly sensitive to symbol-level and conclusion-level variations, and that advanced prompting such as Few-shot CoT only partially mitigates these issues. These results suggest that LLM evaluation should move beyond isolated correctness toward robustness under logical invariance. LGMT provides a principled and scalable approach for diagnosing reasoning failures.
Abstract（参考訳）: 大規模言語モデル (LLM) は論理的推論ベンチマークにおいて高い性能を達成するが、信頼性は不確実である。既存の評価は静的なベンチマークに依存しており、論理的に等価な変換の下で堅牢性を評価することができず、しばしば過大評価される推論能力がある。 LLM推論の評価に一階述語論理(FOL)を利用するオラクルフリーフレームワークであるLGMT(Logic-Grounded Metamorphic Testing)を提案する。形式的論理的等価性から準同型関係を導出することにより、LGMTは意味論的に不変なテストケースを構築し、ケース間の整合性チェックによって推論欠陥を検出する。最先端のLLM6つの実験は、LGMTが従来の基準ベース評価で欠落している重大な隠れた欠陥を露呈していることを示している。さらに、モデルが特に記号レベルや結論レベルの変動に敏感であること、Few-shot CoTのような高度なプロンプトがこれらの問題を部分的に緩和すること、などが分かる。これらの結果から,LLM評価は論理的不変性の下では孤立的正当性を超えて頑健性に移行することが示唆された。 LGMTは、推論失敗の診断に原則的でスケーラブルなアプローチを提供する。

関連論文リスト

HOLMES: Evaluating Higher-Order Logical Reasoning in LLMs [37.82259837085897]
HOLMES(Higher-Order Logic Meets real-world Explainable reasoning)は,LLMにおける高階記号推論のための最初の実世界ベンチマークである。高階論理に基づいて構築されたHOLMESは、自然言語問題とHOLの形式化、基礎的真理解、検証可能な推論トレース、法と財務の細かい制御可能な推論要素をペアリングする。実験によると、現在のLLMはHOLMESに苦戦しており、平均精度は50.64%、最高のモデルは59.54%である。
論文参考訳（メタデータ） (2026-06-22T12:23:54Z)
QMFOL: Benchmarking Large Language Model Reasoning via Quantifiable Monadic First-Order Logic Test Case Generation [7.42425368511977]
本稿では,モナディックな一階述語論理推論タスクを生成するためのフレームワークQMFOLを提案する。結合パターンと解離パターンを用いて形式的な論理構造を構築し、推論の深さ、幅、ラベルタイプ、およびイントラクタの正確な制御を可能にする。 QMFOLBenchは2880のインスタンスと960のコンフィギュレーションを、さまざまな論理的、セマンティックな側面で構成したベンチマークです。
論文参考訳（メタデータ） (2026-06-18T13:40:27Z)
CausalFlip: A Benchmark for LLM Causal Judgment Beyond Semantic Matching [50.65932158912512]
そこで我々は,新しい大言語モデルの開発を促進するために,因果推論ベンチマークCausalFlipを提案する。 CaulFlipは、イベントトリプル上に構築された因果判断の質問で構成されており、共同創設者、チェーン、コライダーの関係が異なっている。回答のみのトレーニング,明示的なチェーン・オブ・ソート監視,そして内在型因果推論アプローチなどを含む,複数の訓練パラダイムによるLCMの評価を行った。
論文参考訳（メタデータ） (2026-02-23T18:06:15Z)
Unlocking Reasoning Capability on Machine Translation in Large Language Models [57.60641851466707]
推論指向の大規模言語モデル(RLM)は、明示的な中間推論を生成することにより、数学やコーディングといったタスクに強い利益をもたらす。 WMT24++ベンチマークを用いて,オープンおよびクローズドヘビー級のRCMを系統的に評価した。明示的な推論を可能にすることは、言語やモデル間の翻訳品質を一貫して低下させる。
論文参考訳（メタデータ） (2026-02-16T14:05:59Z)
VERGE: Formal Refinement and Guidance Engine for Verifiable LLM Reasoning [4.3414302048068745]
本稿では,大規模言語モデルとSMTソルバを組み合わせたニューロシンボリック・フレームワークを提案する。本稿では,(1)形式的意味的等価性チェックによるマルチモデルコンセンサス,(2)適切な検証戦略に異なるクレーム型を指示するセマンティックルーティング,(3)最小補正サブセットによる正確な論理的エラーローカライゼーション,の3点を紹介する。 GPT-OSS-120Bモデルでは、VERGEはシングルパスアプローチと比較して、一連の推論ベンチマークにおいて平均18.7%の性能向上を示す。
論文参考訳（メタデータ） (2026-01-27T20:59:11Z)
Beyond Correctness: Exposing LLM-generated Logical Flaws in Reasoning via Multi-step Automated Theorem Proving [11.24425572063955]
大規模言語モデル(LLM)は驚くべき推論能力を示しており、医療、法律、科学研究などの高度な領域で採用されている。しばしば、流動的な言語で隠された微妙な論理的誤りがあり、重要なアプリケーションにとって重大なリスクを生じさせる。 MATPは多段階自動定理証明によるLCM推論を体系的に検証するための評価フレームワークである。
論文参考訳（メタデータ） (2025-12-29T14:48:15Z)
Are Language Models Efficient Reasoners? A Perspective from Logic Programming [109.47572890883248]
現代言語モデル(LM)は、強い推論能力を示すが、標準的な評価は、人間のような推論の重要な側面である効率性を見越しながら、正確性を強調する。本稿では、論理プログラミングのレンズを用いて、LM推論効率を評価するためのフレームワークを提案する。
論文参考訳（メタデータ） (2025-10-29T15:30:31Z)
DivLogicEval: A Framework for Benchmarking Logical Reasoning Evaluation in Large Language Models [58.439517684779936]
本稿では,多種多様な文からなる自然文からなる古典論理ベンチマークDivLogicEvalを提案する。また,より信頼性の高い評価を実現するために,大規模言語モデルに固有のバイアスやランダム性の影響を緩和する新たな評価指標を導入する。
論文参考訳（メタデータ） (2025-09-19T04:40:46Z)
JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models [51.99046112135311]
LLM(Large Language Models)の厳密な評価のための合成推論ベンチマークであるJustLogicを紹介する。 JustLogicは非常に複雑で、多様な言語パターン、語彙、引数構造を生成することができる。実験の結果, (i) LLMは人体平均値よりも同等かそれ以上に機能するが, 人体天井よりも著しく低下することがわかった。
論文参考訳（メタデータ） (2025-01-24T15:49:10Z)
Aligning with Logic: Measuring, Evaluating and Improving Logical Preference Consistency in Large Language Models [31.558429029429863]
大規模言語モデル(LLM)は、信頼できる意思決定システムをサポートするために予測可能で信頼性が高いと期待されている。本研究では、より信頼性の高いLLMシステムを構築するための基本的な要件として、論理的選好整合性を検討する。一貫性の向上はLLM駆動論理ベースのアルゴリズムの性能向上につながることを示す。
論文参考訳（メタデータ） (2024-10-03T04:34:04Z)
LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
論文参考訳（メタデータ） (2024-01-01T13:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。