論文の概要: LogicGame: Benchmarking Rule-Based Reasoning Abilities of Large Language Models

• arxiv url: http://arxiv.org/abs/2408.15778v2
• Date: Thu, 5 Sep 2024 10:30:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 17:07:21.906726
• Title: LogicGame: Benchmarking Rule-Based Reasoning Abilities of Large Language Models
• Title（参考訳）: LogicGame: 大規模言語モデルのルールベースの推論能力のベンチマーク
• Authors: Jiayi Gui, Yiming Liu, Jiale Cheng, Xiaotao Gu, Xiao Liu, Hongning Wang, Yuxiao Dong, Jie Tang, Minlie Huang,
• Abstract要約: 大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示し、複雑な問題解決能力を示している。 LLMの包括的なルール理解、実行、計画能力を評価するために設計された新しいベンチマークであるLogicGameを紹介する。
• 参考スコア（独自算出の注目度）: 87.49676980090555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated notable capabilities across various tasks, showcasing complex problem-solving abilities. Understanding and executing complex rules, along with multi-step planning, are fundamental to logical reasoning and critical for practical LLM agents and decision-making systems. However, evaluating LLMs as effective rule-based executors and planners remains underexplored. In this paper, we introduce LogicGame, a novel benchmark designed to evaluate the comprehensive rule understanding, execution, and planning capabilities of LLMs. Unlike traditional benchmarks, LogicGame provides diverse games that contain a series of rules with an initial state, requiring models to comprehend and apply predefined regulations to solve problems. We create simulated scenarios in which models execute or plan operations to achieve specific outcomes. These game scenarios are specifically designed to distinguish logical reasoning from mere knowledge by relying exclusively on predefined rules. This separation allows for a pure assessment of rule-based reasoning capabilities. The evaluation considers not only final outcomes but also intermediate steps, providing a comprehensive assessment of model performance. Moreover, these intermediate steps are deterministic and can be automatically verified. LogicGame defines game scenarios with varying difficulty levels, from simple rule applications to complex reasoning chains, in order to offer a precise evaluation of model performance on rule understanding and multi-step execution. Utilizing LogicGame, we test various LLMs and identify notable shortcomings in their rule-based logical reasoning abilities.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示し、複雑な問題解決能力を示している。 複雑なルールの理解と実行は、多段階計画とともに、論理的推論の基本であり、実用的なLCMエージェントや意思決定システムにとって重要である。 しかし、LSMを効果的なルールベースの実行者およびプランナーとして評価することは未定である。 本稿では,LLMの包括的なルール理解,実行,計画能力を評価するために設計された新しいベンチマークであるLogicGameを紹介する。 従来のベンチマークとは異なり、LogicGameは初期状態の一連のルールを含む多様なゲームを提供しており、モデルの理解と問題を解決するために事前定義された規則を適用する必要がある。 モデルが特定の結果を達成するためにオペレーションを実行または計画するシミュレーションシナリオを作成します。 これらのゲームシナリオは、予め定義されたルールにのみ依存することで、論理的推論と単なる知識を区別するように特別に設計されている。 この分離により、ルールベースの推論能力を純粋に評価できる。 評価は最終結果だけでなく中間段階も考慮し、モデル性能の総合的な評価を提供する。 さらに、これらの中間ステップは決定論的であり、自動的に検証することができる。 LogicGameは、ルール理解とマルチステップ実行におけるモデルパフォーマンスの正確な評価を提供するために、単純なルールアプリケーションから複雑な推論チェーンまで、さまざまな難易度を持つゲームシナリオを定義している。 LogicGameを利用することで、様々なLCMをテストし、ルールベースの論理的推論能力において顕著な欠点を識別する。

関連論文リスト

• Reversal of Thought: Enhancing Large Language Models with Preference-Guided Reverse Reasoning Warm-up [9.42385235462794]
  大規模言語モデル(LLM)は、推論タスクにおいて顕著な性能を示すが、数学的および複雑な論理的推論において制限に直面している。 LLMの論理的推論能力の向上を目的とした新しいフレームワークであるReversal of Thought (RoT)を提案する。 RoT は Preference-Guided Reverse Reasoning warm-up 戦略を利用している。
  論文  参考訳（メタデータ） (2024-10-16T07:44:28Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• GTBench: Uncovering the Strategic Reasoning Limitations of LLMs via Game-Theoretic Evaluations [87.99872683336395]
  大規模言語モデル(LLM)は、重要な現実世界のアプリケーションに統合される。 本稿では,LLMの競合環境における推論能力について検討する。 まず,広く認識されている10のタスクを構成する言語駆動型環境であるGTBenchを提案する。
  論文  参考訳（メタデータ） (2024-02-19T18:23:36Z)
• Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs [87.34281749422756]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。 しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。 本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:38:51Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• Improving Large Language Models in Event Relation Logical Prediction [33.88499005859982]
  イベント関係抽出は、綿密な意味的理解と厳密な論理的推論を必要とする課題である。 本稿では,イベント関連論理の理解と適用におけるLLMの能力について,詳細な調査を行う。 本研究により,LLMは論理的に一貫した推論子ではないことが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-13T14:53:06Z)
• Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
  本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。 我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-23T06:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。