論文の概要: The Bias is in the Details: An Assessment of Cognitive Bias in LLMs

• arxiv url: http://arxiv.org/abs/2509.22856v1
• Date: Fri, 26 Sep 2025 19:09:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.914919
• Title: The Bias is in the Details: An Assessment of Cognitive Bias in LLMs
• Title（参考訳）: LLMにおける認知バイアスの評価
• Authors: R. Alexander Knipper, Charles S. Knipper, Kaiqi Zhang, Valerie Sims, Clint Bowers, Santu Karmaker,
• Abstract要約: 大規模言語モデル(LLM)は、現実の意思決定プロセスにますます組み込まれています。 本稿では,45LLMにおける8つの認知バイアスの大規模評価について述べる。 モデルサイズと迅速な特異性の両方がバイアス感受性に重要な役割を果たすことがわかった。
• 参考スコア（独自算出の注目度）: 1.9651471153360769
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) are increasingly embedded in real-world decision-making processes, it becomes crucial to examine the extent to which they exhibit cognitive biases. Extensively studied in the field of psychology, cognitive biases appear as systematic distortions commonly observed in human judgments. This paper presents a large-scale evaluation of eight well-established cognitive biases across 45 LLMs, analyzing over 2.8 million LLM responses generated through controlled prompt variations. To achieve this, we introduce a novel evaluation framework based on multiple-choice tasks, hand-curate a dataset of 220 decision scenarios targeting fundamental cognitive biases in collaboration with psychologists, and propose a scalable approach for generating diverse prompts from human-authored scenario templates. Our analysis shows that LLMs exhibit bias-consistent behavior in 17.8-57.3% of instances across a range of judgment and decision-making contexts targeting anchoring, availability, confirmation, framing, interpretation, overattribution, prospect theory, and representativeness biases. We find that both model size and prompt specificity play a significant role on bias susceptibility as follows: larger size (>32B parameters) can reduce bias in 39.5% of cases, while higher prompt detail reduces most biases by up to 14.9%, except in one case (Overattribution), which is exacerbated by up to 8.8%.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現実の意思決定プロセスにますます組み込まれているため、認知バイアスの程度を調べることが重要である。 心理学の分野で広く研究されている認知バイアスは、人間の判断でよく見られる体系的な歪みとして現れる。 本稿では,45LLMの8つの認知バイアスを大規模に評価し,制御されたプロンプト変動による280万LLM応答の解析を行った。 これを実現するために,心理学者とのコラボレーションにおいて,基本的な認知バイアスを対象とする220の意思決定シナリオのデータセットを手作業で評価し,人為的なシナリオテンプレートから多様なプロンプトを生成するためのスケーラブルなアプローチを提案する。 分析の結果, LLMは, アンカー, 可用性, 確認, フレーミング, 解釈, 過剰寄与, 予測理論, 代表性バイアスを対象とする, さまざまな判断・意思決定コンテキストの17.8～57.3%の事例において, 偏りを伴う行動を示すことがわかった。 モデルサイズと即時特異性の両方がバイアス感受性に重要な役割を担っていることがわかった: より大きなサイズ(>32Bパラメータ)は39.5%のケースでバイアスを減少させるが、高いプロンプトディテールは最大14.9%のバイアスを減少させるが、一方のケース(Overattribution)では最大8.8%まで悪化する。

関連論文リスト

• Cognitive Debiasing Large Language Models for Decision-Making [71.2409973056137]
  大規模言語モデル(LLM)は意思決定アプリケーションをサポートする可能性を示している。 我々は,自己適応型認知脱バイアス(SACD)という認知脱バイアス手法を提案する。 我々の手法は、3つの逐次的なステップ – バイアス決定、バイアス分析、認知バイアス ― に従うことで、プロンプトにおける潜在的な認知バイアスを反復的に緩和する。
  論文  参考訳（メタデータ） (2025-04-05T11:23:05Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge [24.206975650221732]
  本研究では,LLM審査員の位置バイアスをペアワイドおよびリストワイド比較設定で評価する。 偏見に寄与する判断レベル、候補レベル、タスクレベルを識別する。
  論文  参考訳（メタデータ） (2024-06-12T01:12:28Z)
• Cognitive Bias in Decision-Making with LLMs [19.87475562475802]
  大規模言語モデル(LLM)は、幅広い意思決定タスクをサポートするツールとして大きな可能性を秘めている。 LLMは保護されたグループに対する社会的バイアスを継承し、認知バイアスと機能的に類似している。 私たちの研究は、LLMの認知バイアスを発見し、評価し、緩和するために設計されたフレームワークであるBiasBusterを紹介します。
  論文  参考訳（メタデータ） (2024-02-25T02:35:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。