論文の概要: LLMEval-Logic: A Solver-Verified Chinese Benchmark for Logical Reasoning of LLMs with Adversarial Hardening

• arxiv url: http://arxiv.org/abs/2605.19597v1
• Date: Tue, 19 May 2026 09:40:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.256851
• Title: LLMEval-Logic: A Solver-Verified Chinese Benchmark for Logical Reasoning of LLMs with Adversarial Hardening
• Title（参考訳）: LLMEval-Logic: 対向硬化型LCMの論理的推論のためのソルバー検証中国語ベンチマーク
• Abstract要約: 現実的な状況シナリオから構築した中国の論理的推論ベンチマークLLMEval-Logicを提案する。 パイプラインのフォワードオーサとエキスパート-オーディット 自然言語アイテムは、参照の形式化とともに、Z3による注釈付き回答を検証し、自然言語から形式へのグレーディングのためのエキスパートルーブリックを構築し、クローズドループの逆行ワークフローを通じて選択されたアイテムを硬化させる。
• 参考スコア（独自算出の注目度）: 69.1037790901185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating large language models (LLMs) on natural-language logical reasoning is essential because rule-governed tasks require conclusions to follow strictly from stated premises. Many existing logical-reasoning benchmarks are generated by templating natural-language items from sampled formulas, provide only coarse or unaudited formal annotations, and are now quickly saturated by frontier reasoning models. We present LLMEval-Logic, a Chinese logical reasoning benchmark built from realistic situational scenarios. Its pipeline forward-authors and expert-audits natural-language items together with their reference formalizations, verifies annotated answers with Z3, constructs expert rubrics for natural-to-formal grading, and hardens selected items through a closed-loop adversarial workflow. The benchmark is released in two paired subsets: a 246-item Base subset shipped with 1,400 expert-developed rubric atoms, and a 190-item Hard subset with 938 multi-step sub-questions over closed model spaces. Evaluating 14 frontier LLMs on LLMEval-Logic reveals substantial gaps in current models: the best model reaches only 37.5% Hard Item Accuracy, and even with reference symbols the highest joint Z3+Rubric formalization score among evaluated models reaches only 60.16%. Our benchmark is publicly available at https://github.com/llmeval/LLMEval-Logic.
• Abstract（参考訳）: 自然言語の論理的推論に基づく大規模言語モデル (LLM) の評価が不可欠である。 多くの既存の論理推論ベンチマークは、サンプル式から自然言語項目をテンプレート化して生成され、粗いあるいは未確認の形式アノテーションのみを提供し、現在ではフロンティア推論モデルによって急速に飽和している。 現実的な状況シナリオから構築した中国の論理的推論ベンチマークLLMEval-Logicを提案する。 パイプラインのフォワードオーサとエキスパート-オーディット 自然言語アイテムは、参照の形式化とともに、Z3による注釈付き回答を検証し、自然言語から形式へのグレーディングのためのエキスパートルーブリックを構築し、クローズドループの逆行ワークフローを通じて選択されたアイテムを硬化させる。 ベンチマークは2組のサブセットでリリースされている: 246-item Base サブセットは1,400個の専門家によって開発されたルーリック原子で出荷され、190-item Hard サブセットは938個の閉モデル空間上で多重ステップのサブクエストを持つ。 LLMEval-Logic 上で 14 のフロンティア LLM を評価すると、現在のモデルでは、最良のモデルが37.5%のハードアイテム精度にしか達せず、参照シンボルでさえ、評価されたモデルの中で最高のジョイント Z3+Rubric の形式化スコアが 60.16% にしか達していない。 私たちのベンチマークはhttps://github.com/llmeval/LLMEval-Logicで公開されています。

関連論文リスト

• HOLMES: Evaluating Higher-Order Logical Reasoning in LLMs [37.82259837085897]
  HOLMES(Higher-Order Logic Meets real-world Explainable reasoning)は,LLMにおける高階記号推論のための最初の実世界ベンチマークである。 高階論理に基づいて構築されたHOLMESは、自然言語問題とHOLの形式化、基礎的真理解、検証可能な推論トレース、法と財務の細かい制御可能な推論要素をペアリングする。 実験によると、現在のLLMはHOLMESに苦戦しており、平均精度は50.64%、最高のモデルは59.54%である。
  論文  参考訳（メタデータ） (2026-06-22T12:23:54Z)
• NL2LOGIC: AST-Guided Translation of Natural Language into First-Order Logic with Large Language Models [5.211983629897431]
  我々は一階述語論理翻訳フレームワークNL2LOGICを提案する。 LogicNLIの実験では、抽象ProofWriterベンチマークにより、NL2LOGICは99%の構文的精度を実現し、最先端のベースラインに対して最大30%のセマンティックな正確性向上を実現している。 NL2LOGICをLogic-LMに組み込むことでほぼ完全な実行性が得られ、Logic-LMのオリジナルの数発の制約のない翻訳モジュールと比較して下流の推論精度が31%向上する。
  論文  参考訳（メタデータ） (2026-01-29T14:51:32Z)
• VERGE: Formal Refinement and Guidance Engine for Verifiable LLM Reasoning [4.3414302048068745]
  本稿では,大規模言語モデルとSMTソルバを組み合わせたニューロシンボリック・フレームワークを提案する。 本稿では,(1)形式的意味的等価性チェックによるマルチモデルコンセンサス,(2)適切な検証戦略に異なるクレーム型を指示するセマンティックルーティング,(3)最小補正サブセットによる正確な論理的エラーローカライゼーション,の3点を紹介する。 GPT-OSS-120Bモデルでは、VERGEはシングルパスアプローチと比較して、一連の推論ベンチマークにおいて平均18.7%の性能向上を示す。
  論文  参考訳（メタデータ） (2026-01-27T20:59:11Z)
• ARCHE: A Novel Task to Evaluate LLMs on Latent Reasoning Chain Extraction [70.53044880892196]
  本稿では、複雑な推論引数を標準推論パラダイムの組み合わせに分解し、Reasoning Logic Tree (RLT) という形で分解しなければならない、ARCHE(Latent Reasoning Chain extract)という新しいタスクを紹介する。 この作業を容易にするために,我々は,1,900以上の参照と38,000の視点を含む70のNature Communicationsの記事から得られた新しいベンチマークであるARCHE Benchをリリースする。 ARCHE Bench上での10のLLMの評価では、モデルがREAとECのトレードオフを示しており、完全な標準推論チェーンを抽出することはできません。
  論文  参考訳（メタデータ） (2025-11-16T07:37:09Z)
• "Don't Teach Minerva": Guiding LLMs Through Complex Syntax for Faithful Latin Translation with RAG [0.5076419064097734]
  本稿では,オープンソースのLarge Language Modelsを上位レベルのプロプライエタリシステムに統計的に匹敵する性能レベルに引き上げる,再現可能なドラフトベース改良パイプラインを提案する。 標準的なドメイン内テストセット(Rosenthal, 2023)と12世紀のラテン文字(2025)からなる新しいドメイン外テストセット(OOD)である。
  論文  参考訳（メタデータ） (2025-11-03T11:11:27Z)
• DivLogicEval: A Framework for Benchmarking Logical Reasoning Evaluation in Large Language Models [58.439517684779936]
  本稿では,多種多様な文からなる自然文からなる古典論理ベンチマークDivLogicEvalを提案する。 また,より信頼性の高い評価を実現するために,大規模言語モデルに固有のバイアスやランダム性の影響を緩和する新たな評価指標を導入する。
  論文  参考訳（メタデータ） (2025-09-19T04:40:46Z)
• FABLE: A Novel Data-Flow Analysis Benchmark on Procedural Text for Large Language Model Evaluation [5.866040886735852]
  FABLEは、構造化された手続き型テキストを用いて、大規模言語モデルのデータフロー理解を評価するために設計されたベンチマークである。 推論中心モデル(DeepSeek-R1 8B)、汎用モデル(LLaMA 3.1 8B)、コード固有モデル(Granite Code 8B)の3種類を評価した。 その結果,推理モデルでは精度が向上するが,他のモデルに比べて20倍以上の推論が遅くなることがわかった。
  論文  参考訳（メタデータ） (2025-05-30T06:32:34Z)
• Towards Logically Sound Natural Language Reasoning with Logic-Enhanced Language Model Agents [3.5083201638203154]
  Logic-Enhanced Language Model Agents (LELMA) は、大きな言語モデルと形式論理を統合するフレームワークである。 LeLMAは自動形式化を用いて推論を論理表現に変換し、論理的妥当性を評価する。 LeLMAはエラー検出の精度が高く,自己修正による推論精度の向上を実現している。
  論文  参考訳（メタデータ） (2024-08-28T18:25:35Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• InfiMM-Eval: Complex Open-Ended Reasoning Evaluation For Multi-Modal Large Language Models [50.03163753638256]
  MLLM(Multi-modal Large Language Models)は人工知能の分野で注目されている。 本ベンチマークは, 帰納的, 帰納的, 類推的推論の3つの主要な推論カテゴリから構成される。 我々は,この厳密に開発されたオープンエンド多段階精巧な推論ベンチマークを用いて,代表MLLMの選択を評価する。
  論文  参考訳（メタデータ） (2023-11-20T07:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。