論文の概要: LGMT: A Tool for Testing the Logical Reasoning Reliability of LLMs

• arxiv url: http://arxiv.org/abs/2610.32627v1
• Date: Fri, 23 Oct 2026 13:41:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.531273
• Title: LGMT: A Tool for Testing the Logical Reasoning Reliability of LLMs
• Title（参考訳）: LGMT: LLMの論理的推論信頼性をテストするツール
• Abstract要約: 本稿では,大規模な言語モデルにおける不整合を検出するオープンソースツールLGMTを提案する。 前提-結論形式のソーステストケースが与えられた場合、LGMTは論理的に等価なフォローアップケースを生成する。 モデルの詳細予測が、ゼロトラストラベルなしで、ペア間で一致しているかどうかをチェックする。
• 参考スコア（独自算出の注目度）: 2.91029727460409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) increasingly serve as reasoning components in modern software systems, yet a model that answers a logical query correctly can contradict itself when the same problem is restated in an equivalent form. Static benchmarks evaluate queries in isolation and therefore fail to expose such inconsistencies. To address this limitation, we present LGMT, an open-source tool that detects reasoning inconsistencies through metamorphic relations grounded in first-order logic. Given a source test case in premise-conclusion form, LGMT generates logically equivalent follow-up cases and checks whether the model's entailment predictions agree across the pair, without ground-truth labels. The tool provides 20 built-in metamorphic relations, supports custom ones verified by the Z3 theorem prover, and runs from a CLI or a web studio, including an offline mock mode requiring no API key. Across six widely used LLMs on a bundled benchmark of 3,091 metamorphic groups, LGMT reveals inconsistency rates ranging from 20.84% to 29.44%. LGMT is publicly available on GitHub at https://github.com/MaxwelsDonc/lgmt-tool, with a demonstration video at https://youtu.be/gou4opptu1U.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現代のソフトウェアシステムにおける推論コンポーネントとしての役割をますます高めているが、論理的クエリに正しく答えるモデルは、同じ問題が等価な形で復活した場合に矛盾することがある。 静的ベンチマークはクエリを独立して評価するので、そのような矛盾を露呈することができない。 この制限に対処するため,LGMTは,一階述語論理に根ざしたメタモルフィック関係を用いて,推論の不整合を検出するオープンソースツールである。 前提-閉包形式のソーステストケースが与えられた場合、LGMTは論理的に等価なフォローアップケースを生成し、モデルのエンテーメント予測が基本トラストラベルなしでペア間で一致するかどうかをチェックする。 このツールは20の組み込みメタモルフィックリレーションを提供し、Z3定理証明器によって検証されたカスタムリレーションをサポートし、CLIまたはWebスタジオから実行され、APIキーを必要としないオフラインモックモードを含む。 LGMTは3,091の変成基を束ねたベンチマークで広く使用されている6つのLSMのうち、20.84%から29.44%まで不整合性を示す。 LGMTはGitHubでhttps://github.com/MaxwelsDonc/lgmt-toolで公開されており、デモビデオはhttps://youtu.be/gou4opptu1Uで公開されている。

関連論文リスト

• SemVerBench: Benchmarking LLM Comprehension of Version-Constraint Resolution Semantics [15.233613140316791]
  SemVerBenchは、3つのエコシステムにわたるバージョン制約解決セマンティクスの最初のベンチマークである。 6つのフロンティアモデルを評価し,統計的に有意な自己評価は得られなかった。 タスクが検証可能で、100%正しいリゾルバが存在するため、ツールデリゲートは100%に達する。
  論文  参考訳（メタデータ） (2026-09-10T07:34:44Z)
• LLMEval-Logic: A Solver-Verified Chinese Benchmark for Logical Reasoning of LLMs with Adversarial Hardening [69.1037790901185]
  現実的な状況シナリオから構築した中国の論理的推論ベンチマークLLMEval-Logicを提案する。 パイプラインのフォワードオーサとエキスパート-オーディット 自然言語アイテムは、参照の形式化とともに、Z3による注釈付き回答を検証し、自然言語から形式へのグレーディングのためのエキスパートルーブリックを構築し、クローズドループの逆行ワークフローを通じて選択されたアイテムを硬化させる。
  論文  参考訳（メタデータ） (2026-05-19T09:40:29Z)
• LGMT: Logic-Grounded Metamorphic Testing for Evaluating the Reasoning Reliability of LLMs [5.332904412798379]
  大規模言語モデル (LLM) は論理的推論ベンチマークにおいて高い性能を達成するが、信頼性は不確実である。 LLM推論の評価に一階述語論理(FOL)を利用するオラクルフリーフレームワークであるLGMT(Logic-Grounded Metamorphic Testing)を提案する。 最先端のLLM6つの実験は、LGMTが従来の基準ベース評価で欠落している重大な隠れた欠陥を露呈していることを示している。
  論文  参考訳（メタデータ） (2026-05-12T18:26:59Z)
• Logic-Regularized Verifier Elicits Reasoning from LLMs [63.65875399266337]
  論理規則で正規化された教師なしの検証器であるLOVERを提案する。 ローバーは、定理を二項潜在変数として扱い、内部の活性化を活用し、3つの論理的制約を課す。 ローバーは教師なしのベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2026-05-07T09:03:49Z)
• AssertBench: A Benchmark for Evaluating Self-Assertion in Large Language Models [12.515874333424929]
  AssertBench氏は、事実的に真のステートメントの方向性のフレーミングがモデル合意にどのように影響するかを論じている。 私たちは2つのフレーミングプロンプトを構築します。1つは、ユーザがそのステートメントが事実正しいと主張するもので、もう1つは、ユーザがそのステートメントが正しくないと主張するものです。 次に、モデルの合意と推論を記録します。
  論文  参考訳（メタデータ） (2025-06-08T14:08:22Z)
• Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
  本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。 オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。 予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
  論文  参考訳（メタデータ） (2023-11-15T14:41:57Z)
• SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models [55.60306377044225]
  「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。 本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
  論文  参考訳（メタデータ） (2023-03-15T19:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。