論文の概要: RULEBREAKERS: Challenging LLMs at the Crossroads between Formal Logic and Human-like Reasoning

• arxiv url: http://arxiv.org/abs/2410.16502v3
• Date: Wed, 04 Jun 2025 07:55:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 13:54:39.417022
• Title: RULEBREAKERS: Challenging LLMs at the Crossroads between Formal Logic and Human-like Reasoning
• Title（参考訳）: RULEBREAKERS:形式論理と人間ライクな推論の交点におけるLLMの整合性
• Authors: Jason Chan, Robert Gaizauskas, Zhixue Zhao,
• Abstract要約: RULEBREAKERSは、大規模な言語モデルによるルールブレーカーの認識と応答を人間的な方法で厳格に評価するための最初のデータセットです。 GPT-4oを含むほとんどのモデルでは、RULEBREAKERSの中間精度が得られ、典型的な人間の推論と異なり、論理規則を過度に適用する傾向が見られた。
• 参考スコア（独自算出の注目度）: 3.0648414540406703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Formal logic enables computers to reason in natural language by representing sentences in symbolic forms and applying rules to derive conclusions. However, in what our study characterizes as "rulebreaker" scenarios, this method can lead to conclusions that are typically not inferred or accepted by humans given their common sense and factual knowledge. Inspired by works in cognitive science, we create RULEBREAKERS, the first dataset for rigorously evaluating the ability of large language models (LLMs) to recognize and respond to rulebreakers (versus non-rulebreakers) in a human-like manner. Evaluating seven LLMs, we find that most models, including GPT-4o, achieve mediocre accuracy on RULEBREAKERS and exhibit some tendency to over-rigidly apply logical rules unlike what is expected from typical human reasoners. Further analysis suggests that this apparent failure is potentially associated with the models' poor utilization of their world knowledge and their attention distribution patterns. Whilst revealing a limitation of current LLMs, our study also provides a timely counterbalance to a growing body of recent works that propose methods relying on formal logic to improve LLMs' general reasoning capabilities, highlighting their risk of further increasing divergence between LLMs and human-like reasoning.
• Abstract（参考訳）: 形式論理により、コンピュータは記号形式の文を表現し、結論を導出するために規則を適用することによって、自然言語で推論することができる。 しかし,本研究が「ルレーブレーカー」のシナリオとして特徴づけるものでは,この手法は一般的に人間には推論されない,あるいは受け入れられない結論を導き出すことができる。 認知科学の研究にインスパイアされたRULEBREAKERSは、大きな言語モデル(LLM)が、ルールブレーカー(非ルールブレーカー)を人間的な方法で認識し、応答する能力を厳格に評価するための最初のデータセットである。 7つのLSMを評価し, GPT-4oを含むほとんどのモデルにおいて, RULEBREAKERSの中間精度が得られ, 典型的人間の推論と異なり, 論理規則を過度に適用する傾向がみられた。 さらなる分析から、この明らかな失敗は、モデルが世界知識をあまり利用していないことと、それらの注意分布パターンと関連している可能性が示唆されている。 我々の研究は、現在のLSMの限界を明らかにする一方で、LSMの一般的な推論能力を改善するための形式論理に依存した手法を提案し、LSMと人間のような推論の分岐がさらに増加するリスクを浮き彫りにしている。

関連論文リスト

• Benchmarking Defeasible Reasoning with Large Language Models -- Initial Experiments and Future Directions [0.36868085124383626]
  本稿では,様々なデファシブルなルールベースの推論パターンに対応するベンチマークを提案する。 我々は、デファシブルなルールを大規模言語モデルに適したテキストに変換することで、デファシブルな論理推論のための既存のベンチマークを修正した。 そこで我々は,ChatGPTを用いた非単調な規則に基づく推論の予備実験を行い,デファジブル論理で定義された推論パターンと比較した。
  論文  参考訳（メタデータ） (2024-10-16T12:36:23Z)
• A Peek into Token Bias: Large Language Models Are Not Yet Genuine Reasoners [58.15511660018742]
  本研究では,大規模言語モデル (LLM) が真の推論能力を持つかどうかを評価するための仮説検証フレームワークを提案する。 我々は,相補的な誤りとシロジカルな問題を特徴とする,注意深く制御された合成データセットを開発した。
  論文  参考訳（メタデータ） (2024-06-16T19:22:53Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• Towards Logically Consistent Language Models via Probabilistic Reasoning [14.317886666902822]
  大規模言語モデル(LLM)は、自然言語理解および生成タスクのための有望な場所である。 LLMは、非現実的な情報を生成し、世界の信念を推論するよう促されたときに矛盾する傾向がある。 我々は,LLMが事実やルールの集合という形で,外部知識と整合性を持つように教える学習目標を導入する。
  論文  参考訳（メタデータ） (2024-04-19T12:23:57Z)
• Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs [87.34281749422756]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。 しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。 本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:38:51Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。