論文の概要: LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models

• arxiv url: http://arxiv.org/abs/2404.15522v2
• Date: Thu, 6 Jun 2024 08:15:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 20:33:09.152765
• Title: LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models
• Title（参考訳）: LogicBench:大規模言語モデルの論理推論能力の体系的評価を目指して
• Authors: Mihir Parmar, Nisarg Patel, Neeraj Varshney, Mutsumi Nakamura, Man Luo, Santosh Mashetty, Arindam Mitra, Chitta Baral,
• Abstract要約: 最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
• 参考スコア（独自算出の注目度）: 52.03659714625452
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently developed large language models (LLMs) have been shown to perform remarkably well on a wide range of language understanding tasks. But, can they really "reason" over the natural language? This question has been receiving significant research attention and many reasoning skills such as commonsense, numerical, and qualitative have been studied. However, the crucial skill pertaining to 'logical reasoning' has remained underexplored. Existing work investigating this reasoning ability of LLMs has focused only on a couple of inference rules (such as modus ponens and modus tollens) of propositional and first-order logic. Addressing the above limitation, we comprehensively evaluate the logical reasoning ability of LLMs on 25 different reasoning patterns spanning over propositional, first-order, and non-monotonic logics. To enable systematic evaluation, we introduce LogicBench, a natural language question-answering dataset focusing on the use of a single inference rule. We conduct detailed analysis with a range of LLMs such as GPT-4, ChatGPT, Gemini, Llama-2, and Mistral using chain-of-thought prompting. Experimental results show that existing LLMs do not fare well on LogicBench; especially, they struggle with instances involving complex reasoning and negations. Furthermore, they sometimes overlook contextual information necessary for reasoning to arrive at the correct conclusion. We believe that our work and findings facilitate future research for evaluating and enhancing the logical reasoning ability of LLMs. Data and code are available at https://github.com/Mihir3009/LogicBench.
• Abstract（参考訳）: 最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。 しかし、「論理的推論」にまつわる重要な技術はいまだ未解明のままである。 LLMのこの推論能力を研究する既存の研究は、命題論理と一階述語論理のいくつかの推論規則(modus ponensやmodus tollensなど)にのみ焦点を当てている。 上記の制限に対処し、命題論理、一階論理、非単調論理にまたがる25の異なる推論パターンにおけるLLMの論理的推論能力を総合的に評価する。 体系的な評価を可能にするために,1つの推論規則の使用に着目した自然言語質問回答データセットであるLogicBenchを紹介する。 GPT-4, ChatGPT, Gemini, Llama-2, MistralなどのLLMをチェーン・オブ・シークレット・プロンプトを用いて詳細な解析を行った。 実験の結果,既存の LLM は LogicBench をうまく利用していないことが明らかとなった。 さらに、正しい結論に達するための推論に必要な文脈情報も見落としてしまうことがある。 我々は, LLMの論理的推論能力の評価と向上のために, 今後の研究を促進すると信じている。 データとコードはhttps://github.com/Mihir3009/LogicBench.comで入手できる。

関連論文リスト

• Multi-LogiEval: Towards Evaluating Multi-Step Logical Reasoning Ability of Large Language Models [46.26140720993383]
  Multi-LogiEvalは、様々な推論規則と深さを持つ多段階論理推論を含む総合的な評価データセットである。 GPT-4, ChatGPT, Gemini-Pro, Yi, Orca, Mistralなどの大規模言語モデルの評価を行った。
  論文  参考訳（メタデータ） (2024-06-24T23:02:56Z)
• Disentangling Logic: The Role of Context in Large Language Model Reasoning Capabilities [31.728976421529577]
  包括的なドメイン集合からの抽象的および文脈的論理的問題に対するコントラストについて検討する。 我々は、標準的な命題論理、特に命題推論と帰納論理推論に焦点を当てる。 本実験は,LLMの論理的推論と真の推論能力に関する知見を提供することを目的としている。
  論文  参考訳（メタデータ） (2024-06-04T21:25:06Z)
• Do Large Language Models Understand Logic or Just Mimick Context? [14.081178100662163]
  本稿では,2つの論理的推論データセット上での大規模言語モデル(LLM)の推論能力について検討する。 LLMは論理規則を真に理解していないことが判明した。むしろ、文脈内学習は、これらのモデルが正しい解に到達する可能性を高めている。
  論文  参考訳（メタデータ） (2024-02-19T12:12:35Z)
• Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs [87.34281749422756]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。 しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。 本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:38:51Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
  本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。 我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-23T06:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。