論文の概要: Competence-Based Evaluation of Logical Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.22894v1
• Date: Fri, 16 Oct 2026 03:52:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.759297
• Title: Competence-Based Evaluation of Logical Reasoning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける論理推論の能力に基づく評価
• Abstract要約: コンピテンスベース評価(CBE)という,異なる評価パラダイムを論じる。 CBEは、モデルが問題ファミリに対して確実に同じ能力を適用するかどうかをテストする。 基本順序付けタスクでCBEをインスタンス化し、同じ順序付けルールの様々なプレゼンテーションを行いながら、入力サイズをスケールする。
• 参考スコア（独自算出の注目度）: 23.066672447494245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models (LLMs) have brought impressive performance across diverse tasks; however, shortcomings remain in logical reasoning, including inconsistencies under linguistic variation. To improve the reasoning capacity of LLMs, we must be able to accurately measure their reasoning capacity. Current benchmarks primarily report single accuracy numbers on selected reasoning tasks. Such a performance-based evaluation methodology says little about a model's generalization capacity in reasoning. To address this limitation, we argue for a different evaluation paradigm, called competence-based evaluation (CBE), which tests whether models reliably apply the same competence across a family of problems. A parameterized generator scales complexity while keeping the required competence fixed, and matched answer-preserving presentations test correctness beyond one formulation. We instantiate CBE on elementary ordering tasks, scaling input size while varying presentations of the same ordering rule. Across six GPT and Qwen models, performance is reasonably good over bounded complexity ranges, but even strong models fail the competence condition across the tested family. Chain-of-thought and GRPO extend strong performance without resolving all tested failures; supervised LoRA shows little held-out transfer. CBE provides diagnostic profiles and an evaluation protocol that can grow with future models.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、様々なタスクで顕著なパフォーマンスをもたらしたが、言語的変動による不整合を含む論理的推論には欠点が残っている。 LLMの推論能力を向上させるためには,その推論能力を正確に測定する必要がある。 現在のベンチマークでは、主に選択された推論タスクについて単一の精度番号を報告している。 このような性能に基づく評価手法は、推論におけるモデルの一般化能力についてはほとんど言及しない。 この制限に対処するため、我々はCBEと呼ばれる異なる評価パラダイムを議論する。 パラメータ化されたジェネレータは、必要な能力を維持しながら複雑さを拡大し、一致した回答保存プレゼンテーションは、1つの定式化を超える正確性をテストする。 基本順序付けタスクでCBEをインスタンス化し、同じ順序付けルールの様々なプレゼンテーションを行いながら、入力サイズをスケールする。 6つのGPTモデルとQwenモデルにおいて、性能は有界な複雑性範囲に対して合理的に良いが、強いモデルでさえテストされたファミリーのコンピテンス条件を満たさない。 チェーンオブ思考とGRPOは、すべてのテスト失敗を解決することなく、強力なパフォーマンスを向上する。 CBEは、将来のモデルで成長できる診断プロファイルと評価プロトコルを提供する。

関連論文リスト

• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• A Comprehensive Evaluation of LLM Reasoning: From Single-Model to Multi-Agent Paradigms [20.241519889633285]
  大規模言語モデル(LLM)は、推論パラダイムが重要な役割を果たす推論システムとして、ますます多くデプロイされている。 我々は、直接単モデル生成、CoT拡張単モデル推論、代表MASなど、推論パラダイムを包括的かつ統一的に評価する。 MIMeBenchは、2つの基本的な未探索セマンティック機能をターゲットにした新しいオープンエンドベンチマークである。
  論文  参考訳（メタデータ） (2026-01-19T17:23:45Z)
• What Defines Good Reasoning in LLMs? Dissecting Reasoning Steps with Multi-Aspect Evaluation [67.47463575774388]
  我々は推論品質を関連性と一貫性の2つの次元に分解する。 これらの側面を確実に測定するために、因果的段階評価(CaSE)を導入する。 トレーニングデータをCaSEで評価した妥当性とコヒーレンスでキュレートすることで、最終タスクのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-10-23T14:30:37Z)
• Pretraining on the Test Set Is No Longer All You Need: A Debate-Driven Approach to QA Benchmarks [2.3188831772813105]
  本稿では、既存のQAデータセットを構造化された敵対的議論に変換する議論駆動評価パラダイムを提案する。 我々は,(1)QAタスクを議論に基づく評価に体系的に変換する評価パイプライン,(2)MMLU-Pro質問のサブセットにおけるパラダイムの有効性を示す公開ベンチマークの2つの主要な貢献を行う。
  論文  参考訳（メタデータ） (2025-07-23T17:58:14Z)
• Large Language Models Meet Symbolic Provers for Logical Reasoning Evaluation [24.081573908824353]
  一階述語論理(FOL)推論はインテリジェントシステムにおいて重要である。 既存のベンチマークは、広範囲の人間のアノテーションや手作りテンプレートに依存していることが多い。 本稿では,大言語モデルの生成強度を記号型プローサの厳密性と精度で相乗化するProverGenという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-10T15:31:54Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。