論文の概要: Stronger Language Models Produce More Human-Like Errors

• arxiv url: http://arxiv.org/abs/2506.11128v1
• Date: Tue, 10 Jun 2025 17:04:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.492306
• Title: Stronger Language Models Produce More Human-Like Errors
• Title（参考訳）: より強い言語モデルは、より人間的なエラーを生み出す
• Authors: Andrew Keenan Richardson, Ryan Othniel Kearns, Sean Moss, Vincent Wang-Mascianica, Philipp Koralus,
• Abstract要約: モデル高度化に伴い、全体的な推論能力は増大するが、エラーの性質は予測可能な人間の推論誤信を反映する傾向にある。 我々は,383の推論タスクにおける38の言語モデルを評価することによって,人間が予測できる論理的推論問題を生成する。 我々の分析は、モデルが一般的な能力に進化するにつれて、ETR予測された人間の誤動作に対応する不正確な回答の割合が増加する傾向にあることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do language models converge toward human-like reasoning patterns as they improve? We provide surprising evidence that while overall reasoning capabilities increase with model sophistication, the nature of errors increasingly mirrors predictable human reasoning fallacies: a previously unobserved inverse scaling phenomenon. To investigate this question, we apply the Erotetic Theory of Reasoning (ETR), a formal cognitive framework with empirical support for predicting human reasoning outcomes. Using the open-source package PyETR, we generate logical reasoning problems where humans predictably err, evaluating responses from 38 language models across 383 reasoning tasks. Our analysis indicates that as models advance in general capability (as measured by Chatbot Arena scores), the proportion of their incorrect answers that align with ETR-predicted human fallacies tends to increase ($\rho = 0.360, p = 0.0265$). Notably, as we observe no correlation between model sophistication and logical correctness on these tasks, this shift in error patterns toward human-likeness occurs independently of error rate. These findings challenge the prevailing view that scaling language models naturally obtains normative rationality, suggesting instead a convergence toward human-like cognition inclusive of our characteristic biases and limitations, as we further confirm by demonstrating order-effects in language model reasoning.
• Abstract（参考訳）: 言語モデルは、改善するにつれて人間のような推論パターンに収束するのか? モデル高度化に伴い、全体的な推論能力は増大するが、エラーの性質は予測可能な人間の推論誤りを反映する。 本研究では,人間の推論結果を予測するための実証的支援を行う形式的認知フレームワークETR(Erotetic Theory of Reasoning)を適用した。 オープンソースパッケージPyETRを用いて,38の言語モデルからの応答を383の推論タスクで評価し,人間が予測できる論理的推論問題を生成する。 我々の分析は、モデルが一般的な能力に進歩するにつれて(Chatbot Arenaのスコアによって測定されるように)、ETR予測された人間の誤動作に対応する不正確な回答の割合が増加する傾向にあることを示している(\rho = 0.360, p = 0.0265$)。 特に、これらのタスクにおけるモデルの高度化と論理的正当性の間に相関関係は見られないので、このエラーパターンの人的類似性へのシフトは、エラー率とは無関係に起こる。 これらの知見は、言語モデルが自然に規範的合理性を得るという一般的な見方に挑戦し、言語モデル推論における順序効果の証明により、我々の特徴的バイアスと制限を含む人間のような認知への収束がさらに確認される。

関連論文リスト

• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [53.18562650350898]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• Evaluating the Logical Reasoning Abilities of Large Reasoning Models [15.009205651973666]
  大規模な推論モデルにおける論理的推論を評価するためのベンチマークであるLogiEvalを紹介する。 LogiEvalは様々な推論タイプ(帰納的、帰納的、類推的、帰納的)とタスク形式(論理的シーケンス、引数解析など)にまたがる。 実験により,現代の推論モデルでは,4選択の議論解析問題や類似推論において,人間の性能を上回っていることがわかった。 解析の結果,人為的性能はモデル故障分布を反映しないことがわかった。
  論文  参考訳（メタデータ） (2025-05-17T05:36:14Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• A Systematic Comparison of Syllogistic Reasoning in Humans and Language Models [39.77445889769015]
  言語モデルのPaLM2ファミリにおいて、より大きなモデルはより小さなモデルよりも論理的であることを示す。 最大のモデルでさえ体系的な誤りを犯し、その一部は人間の推論バイアスを反映している。 全体として、言語モデルはトレーニングデータに含まれる人間のバイアスを模倣することが多いが、場合によってはそれを克服することができる。
  論文  参考訳（メタデータ） (2023-11-01T11:13:06Z)
• The Generative AI Paradox: "What It Can Create, It May Not Understand" [81.89252713236746]
  生成AIの最近の波は、潜在的に超人的な人工知能レベルに対する興奮と懸念を引き起こしている。 同時に、モデルは、専門家でない人でも期待できないような理解の基本的な誤りを示している。 一見超人的な能力と、ごく少数の人間が起こすエラーの持続性を、どうやって再現すればよいのか?
  論文  参考訳（メタデータ） (2023-10-31T18:07:07Z)
• A fine-grained comparison of pragmatic language understanding in humans and language models [2.231167375820083]
  言語モデルと人間を7つの現実的な現象で比較する。 最大のモデルでは精度が高く,人間の誤りパターンと一致していることがわかった。 モデルと人間が同様の言語的手がかりに敏感であるという予備的な証拠がある。
  論文  参考訳（メタデータ） (2022-12-13T18:34:59Z)
• To what extent do human explanations of model behavior align with actual model behavior? [91.67905128825402]
  モデル推論決定の人間による説明が、モデルが実際にこれらの決定を下す方法と一致する程度を調べた。 自然言語の人間の説明が入力語に対するモデル感度とどのように一致するかを定量化する2つのアライメント指標を定義した。 モデルと人間の説明との整合は、NLI上のモデルの精度によって予測されないことが判明した。
  論文  参考訳（メタデータ） (2020-12-24T17:40:06Z)
• Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction [49.254162397086006]
  画像に基づく年齢予測課題における視覚的満足度に基づく説明について検討する。 モデル予測の提示により,人間の精度が向上することが判明した。 しかし、様々な種類の説明は、人間の正確さやモデルの信頼を著しく変えることができない。
  論文  参考訳（メタデータ） (2020-07-23T20:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。