論文の概要: Theory-Grounded Evaluation of Human-Like Fallacy Patterns in LLM Reasoning

• arxiv url: http://arxiv.org/abs/2506.11128v2
• Date: Fri, 24 Oct 2025 11:47:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.037014
• Title: Theory-Grounded Evaluation of Human-Like Fallacy Patterns in LLM Reasoning
• Title（参考訳）: LLM推論におけるヒューマンライクな誤りパターンの理論的評価
• Authors: Andrew Keenan Richardson, Ryan Othniel Kearns, Sean Moss, Vincent Wang-Mascianica, Philipp Koralus,
• Abstract要約: 我々は,言語モデルにおける論理的推論について,その誤りが確立された人間の誤りに追従するかどうかを問うことによって研究する。 各応答について,ETR予測誤り度と一致する場合の論理的推論と正当性を判定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study logical reasoning in language models by asking whether their errors follow established human fallacy patterns. Using the Erotetic Theory of Reasoning (ETR) and its open-source implementation, PyETR, we programmatically generate 383 formally specified reasoning problems and evaluate 38 models. For each response, we judge logical correctness and, when incorrect, whether it matches an ETR-predicted fallacy. Two results stand out: (i) as a capability proxy (Chatbot Arena Elo) increases, a larger share of a model's incorrect answers are ETR-predicted fallacies $(\rho=0.360, p=0.0265)$, while overall correctness on this dataset shows no correlation with capability; (ii) reversing premise order significantly reduces fallacy production for many models, mirroring human order effects. Methodologically, PyETR provides an open-source pipeline for unbounded, synthetic, contamination-resistant reasoning tests linked to a cognitive theory, enabling analyses that focus on error composition rather than error rate.
• Abstract（参考訳）: 言語モデルにおける論理的推論は,その誤りが確立された人間の誤りパターンに従うかどうかを問うことによって研究される。 The Erotetic Theory of Reasoning (ETR) and its open-source implementation, PyETR, we programmaticly generated 383 formal specified reasoning problem and evaluation 38 models。 各応答について、論理的正当性を判断し、誤判定がEPR予測誤りと一致するかどうかを判断する。 2つの結果は明らかです。 (i) 機能プロキシ(Chatbot Arena Elo) が増加するにつれて、モデルの誤答のより大きなシェアは、ETR予測誤字$(\rho=0.360, p=0.0265)$である。 (二)前提順序の逆転は、多くのモデルにおける誤り生産を著しく減少させ、ヒトの順序効果を反映させる。 方法論的には、PyETRは、認知理論に関連付けられた非有界、合成、汚染耐性推論テストのためのオープンソースのパイプラインを提供し、エラー率よりもエラー合成にフォーカスする分析を可能にする。

関連論文リスト

• CausalFlip: A Benchmark for LLM Causal Judgment Beyond Semantic Matching [50.65932158912512]
  そこで我々は,新しい大言語モデルの開発を促進するために,因果推論ベンチマークCausalFlipを提案する。 CaulFlipは、イベントトリプル上に構築された因果判断の質問で構成されており、共同創設者、チェーン、コライダーの関係が異なっている。 回答のみのトレーニング,明示的なチェーン・オブ・ソート監視,そして内在型因果推論アプローチなどを含む,複数の訓練パラダイムによるLCMの評価を行った。
  論文  参考訳（メタデータ） (2026-02-23T18:06:15Z)
• EpiCaR: Knowing What You Don't Know Matters for Better Reasoning in LLMs [9.412828452977553]
  既存のアプローチは成功した推論パスを強化し、かなりのキャリブレーションコストを発生させる。 この失敗は、アライメントにおけるモデル崩壊の一形態として特徴づけられている。 推論性能とキャリブレーションを協調的に最適化する訓練目標として,EpiCaRを提案する。
  論文  参考訳（メタデータ） (2026-01-11T06:21:13Z)
• Making Mathematical Reasoning Adaptive [61.45161826629692]
  大規模言語モデル(LLM)における適応推論を実現するためのAdaRフレームワークを提案する。 AdaRは可変値によって論理的に等価なクエリを合成し、これらのデータに基づいてRLVRでモデルを訓練し、スプリアス論理をペナルライズする。 実験により, AdaRはロバスト性や一般化を向上し, 数学的推論の大幅な改善を実現していることが示された。
  論文  参考訳（メタデータ） (2025-10-06T09:30:05Z)
• CLEAR-3K: Assessing Causal Explanatory Capabilities in Language Models [3.137688620241855]
  CLEAR-3Kは、ある文が別の文を因果的に説明するかどうかを言語モデルが判断できるかどうかを評価するために設計された、3000のアサーション推論質問のデータセットである。 各質問は、意味的関連性と真の因果的説明的関係を区別するために、アサーションとアサーションのペアと挑戦言語モデルを示す。
  論文  参考訳（メタデータ） (2025-06-20T17:35:36Z)
• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [53.18562650350898]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• Evaluating the Logical Reasoning Abilities of Large Reasoning Models [15.009205651973666]
  大規模な推論モデルにおける論理的推論を評価するためのベンチマークであるLogiEvalを紹介する。 LogiEvalは様々な推論タイプ(帰納的、帰納的、類推的、帰納的)とタスク形式(論理的シーケンス、引数解析など)にまたがる。 実験により,現代の推論モデルでは,4選択の議論解析問題や類似推論において,人間の性能を上回っていることがわかった。 解析の結果,人為的性能はモデル故障分布を反映しないことがわかった。
  論文  参考訳（メタデータ） (2025-05-17T05:36:14Z)
• Does Reasoning Introduce Bias? A Study of Social Bias Evaluation and Mitigation in LLM Reasoning [21.921684911834447]
  大規模言語モデル(LLM)における社会的偏見の最初の体系的評価について述べる。 我々は、DeepSeek-R1とChatGPTの命令調整およびCoT拡張版を含む、幅広いモデルの予測精度と推論バイアスを解析する。 本稿では, モデル予測が漸進的推論ステップ間でどのように変化するかを追跡することにより, バイアスを検出する軽量な緩和法であるバイアスプロキシ(ADBP)を提案する。
  論文  参考訳（メタデータ） (2025-02-21T10:16:07Z)
• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)
• JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models [51.99046112135311]
  LLM(Large Language Models)の厳密な評価のための合成推論ベンチマークであるJustLogicを紹介する。 JustLogicは非常に複雑で、多様な言語パターン、語彙、引数構造を生成することができる。 実験の結果, (i) LLMは人体平均値よりも同等かそれ以上に機能するが, 人体天井よりも著しく低下することがわかった。
  論文  参考訳（メタデータ） (2025-01-24T15:49:10Z)
• Can Language Models Learn to Skip Steps? [59.84848399905409]
  我々は推論においてステップをスキップする能力について研究する。 効率を高めたり認知負荷を減らすためのステップをスキップする人間とは異なり、モデルはそのようなモチベーションを持っていない。 私たちの研究は、人間のようなステップスキッピング能力に関する最初の調査である。
  論文  参考訳（メタデータ） (2024-11-04T07:10:24Z)
• A Logical Fallacy-Informed Framework for Argument Generation [34.35377699079075]
  FIPOは、大規模言語モデルを論理的に健全な議論に導いてくれる、誤用インフォームドフレームワークである。 議論データセットの結果から,提案手法は誤り率を最大17.5%削減することを示した。 私たちのコードは alucamouchel.com/lucamouchel/Logical-Fallacies で利用可能です。
  論文  参考訳（メタデータ） (2024-08-07T08:19:44Z)
• Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
  ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:11:10Z)
• Large Language Models are Few-Shot Training Example Generators: A Case Study in Fallacy Recognition [49.38757847011105]
  計算誤認識は、さまざまなジャンル、ドメイン、データセットに見られる誤認識のタイプによって、課題に直面します。 我々は、追加の文脈を取り入れ、大規模な言語モデルを活用して合成データを生成することによって、誤認識のための既存のモデルを強化することを目指している。 評価結果は、誤検出タイプ、データセット、ジェネレータ間で一貫した改善を示す。
  論文  参考訳（メタデータ） (2023-11-16T04:17:47Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• A Systematic Comparison of Syllogistic Reasoning in Humans and Language Models [39.77445889769015]
  言語モデルのPaLM2ファミリにおいて、より大きなモデルはより小さなモデルよりも論理的であることを示す。 最大のモデルでさえ体系的な誤りを犯し、その一部は人間の推論バイアスを反映している。 全体として、言語モデルはトレーニングデータに含まれる人間のバイアスを模倣することが多いが、場合によってはそれを克服することができる。
  論文  参考訳（メタデータ） (2023-11-01T11:13:06Z)
• The Generative AI Paradox: "What It Can Create, It May Not Understand" [81.89252713236746]
  生成AIの最近の波は、潜在的に超人的な人工知能レベルに対する興奮と懸念を引き起こしている。 同時に、モデルは、専門家でない人でも期待できないような理解の基本的な誤りを示している。 一見超人的な能力と、ごく少数の人間が起こすエラーの持続性を、どうやって再現すればよいのか?
  論文  参考訳（メタデータ） (2023-10-31T18:07:07Z)
• A fine-grained comparison of pragmatic language understanding in humans and language models [2.231167375820083]
  言語モデルと人間を7つの現実的な現象で比較する。 最大のモデルでは精度が高く,人間の誤りパターンと一致していることがわかった。 モデルと人間が同様の言語的手がかりに敏感であるという予備的な証拠がある。
  論文  参考訳（メタデータ） (2022-12-13T18:34:59Z)
• To what extent do human explanations of model behavior align with actual model behavior? [91.67905128825402]
  モデル推論決定の人間による説明が、モデルが実際にこれらの決定を下す方法と一致する程度を調べた。 自然言語の人間の説明が入力語に対するモデル感度とどのように一致するかを定量化する2つのアライメント指標を定義した。 モデルと人間の説明との整合は、NLI上のモデルの精度によって予測されないことが判明した。
  論文  参考訳（メタデータ） (2020-12-24T17:40:06Z)
• Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction [49.254162397086006]
  画像に基づく年齢予測課題における視覚的満足度に基づく説明について検討する。 モデル予測の提示により,人間の精度が向上することが判明した。 しかし、様々な種類の説明は、人間の正確さやモデルの信頼を著しく変えることができない。
  論文  参考訳（メタデータ） (2020-07-23T20:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。