論文の概要: LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models

• arxiv url: http://arxiv.org/abs/2401.00757v2
• Date: Wed, 02 Oct 2024 16:30:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:19:19.082117
• Title: LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models
• Title（参考訳）: LogicAsker: 大規模言語モデルの論理推論能力の評価と改善
• Authors: Yuxuan Wan, Wenxuan Wang, Yiliu Yang, Youliang Yuan, Jen-tse Huang, Pinjia He, Wenxiang Jiao, Michael R. Lyu,
• Abstract要約: 大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
• 参考スコア（独自算出の注目度）: 63.14196038655506
• License:
• Abstract: We introduce LogicAsker, a novel approach for evaluating and enhancing the logical reasoning capabilities of large language models (LLMs) such as ChatGPT and GPT-4. Despite LLMs' prowess in tasks like writing assistance, code generation, and machine translation, assessing their ability to reason has been challenging. Traditional evaluations often prioritize accuracy on downstream tasks over direct assessments of reasoning processes. LogicAsker addresses this gap by employing a set of atomic reasoning skills grounded in propositional and predicate logic to systematically examine and improve the reasoning prowess of LLMs. Our methodology reveals significant gaps in LLMs' learning of logical rules, with identified reasoning failures ranging from 29\% to 90\% across different models. Moreover, we leverage these findings to construct targeted demonstration examples and fine-tune data, notably enhancing logical reasoning in models like GPT-4o by up to 5\%. To our knowledge, this is the first effort to utilize test case outcomes to effectively refine LLMs' formal reasoning capabilities. We make our code, data, and results publicly available (https://github.com/yxwan123/LogicAsker) to facilitate further research and replication of our findings.
• Abstract（参考訳）: 本稿では,ChatGPT や GPT-4 などの大規模言語モデル (LLM) の論理的推論能力を評価・拡張するための新しいアプローチである LogicAsker を紹介する。 LLMは補助書、コード生成、機械翻訳といったタスクに長けているが、推論能力を評価することは困難である。 従来の評価は、推論プロセスの直接評価よりも下流タスクの精度を優先することが多い。 LogicAskerはこのギャップに対処するために、命題論理と述語論理に根ざした一連の原子推論技術を用いて、LLMの推論技術を体系的に検証し改善する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29\%から90\%の推論失敗を識別する。 さらに,これらの知見を応用して,GPT-4o などのモデルにおける論理的推論を最大 5 % 向上させる実験例と微調整データを構築した。 我々の知る限り、LLMの正式な推論能力を効果的に洗練するために、テストケースの結果を利用する最初の試みである。 コード、データ、結果を公開しています(https://github.com/yxwan123/LogicAsker)。

関連論文リスト

• Lost in the Logic: An Evaluation of Large Language Models' Reasoning Capabilities on LSAT Logic Games [0.0]
  法学校入学試験(LSAT)における大規模言語モデル(LLM)の性能評価 論理ゲームとその関連メタデータのデータセットを構築し、Chain-of-Thoughtプロンプト設定においてLLMの性能を広範囲に評価する。 私は、モデルがより良いか悪いかを示す論理ゲームの種類と、人間のアノテーションから観察する論理エラーのタイプを分析します。
  論文  参考訳（メタデータ） (2024-09-23T21:37:40Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• Reason from Fallacy: Enhancing Large Language Models' Logical Reasoning through Logical Fallacy Understanding [40.2816930342597]
  大規模言語モデル(LLM)は多くの推論タスクにおいて優れたパフォーマンスを示している。 しかしそれでも、論理的推論を含む複雑な推論タスクに苦戦している。 本稿では,WHAT,WHY,HOWの3次元から具体的な5つのタスクを提案する。
  論文  参考訳（メタデータ） (2024-04-04T08:38:03Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
  本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。 我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-23T06:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。