Fugu-MT 論文翻訳(概要): The Bias is in the Details: An Assessment of Cognitive Bias in LLMs

論文の概要: The Bias is in the Details: An Assessment of Cognitive Bias in LLMs

arxiv url: http://arxiv.org/abs/2509.22856v1
Date: Fri, 26 Sep 2025 19:09:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-30 22:32:18.914919
Title: The Bias is in the Details: An Assessment of Cognitive Bias in LLMs
Title（参考訳）: LLMにおける認知バイアスの評価
Authors: R. Alexander Knipper, Charles S. Knipper, Kaiqi Zhang, Valerie Sims, Clint Bowers, Santu Karmaker,
Abstract要約: 大規模言語モデル(LLM)は、現実の意思決定プロセスにますます組み込まれています。本稿では,45LLMにおける8つの認知バイアスの大規模評価について述べる。モデルサイズと迅速な特異性の両方がバイアス感受性に重要な役割を果たすことがわかった。
参考スコア（独自算出の注目度）: 1.9651471153360769
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As Large Language Models (LLMs) are increasingly embedded in real-world decision-making processes, it becomes crucial to examine the extent to which they exhibit cognitive biases. Extensively studied in the field of psychology, cognitive biases appear as systematic distortions commonly observed in human judgments. This paper presents a large-scale evaluation of eight well-established cognitive biases across 45 LLMs, analyzing over 2.8 million LLM responses generated through controlled prompt variations. To achieve this, we introduce a novel evaluation framework based on multiple-choice tasks, hand-curate a dataset of 220 decision scenarios targeting fundamental cognitive biases in collaboration with psychologists, and propose a scalable approach for generating diverse prompts from human-authored scenario templates. Our analysis shows that LLMs exhibit bias-consistent behavior in 17.8-57.3% of instances across a range of judgment and decision-making contexts targeting anchoring, availability, confirmation, framing, interpretation, overattribution, prospect theory, and representativeness biases. We find that both model size and prompt specificity play a significant role on bias susceptibility as follows: larger size (>32B parameters) can reduce bias in 39.5% of cases, while higher prompt detail reduces most biases by up to 14.9%, except in one case (Overattribution), which is exacerbated by up to 8.8%.
Abstract（参考訳）: 大規模言語モデル(LLM)は、現実の意思決定プロセスにますます組み込まれているため、認知バイアスの程度を調べることが重要である。心理学の分野で広く研究されている認知バイアスは、人間の判断でよく見られる体系的な歪みとして現れる。本稿では,45LLMの8つの認知バイアスを大規模に評価し,制御されたプロンプト変動による280万LLM応答の解析を行った。これを実現するために,心理学者とのコラボレーションにおいて,基本的な認知バイアスを対象とする220の意思決定シナリオのデータセットを手作業で評価し,人為的なシナリオテンプレートから多様なプロンプトを生成するためのスケーラブルなアプローチを提案する。分析の結果, LLMは, アンカー, 可用性, 確認, フレーミング, 解釈, 過剰寄与, 予測理論, 代表性バイアスを対象とする, さまざまな判断・意思決定コンテキストの17.8～57.3%の事例において, 偏りを伴う行動を示すことがわかった。モデルサイズと即時特異性の両方がバイアス感受性に重要な役割を担っていることがわかった: より大きなサイズ(>32Bパラメータ)は39.5%のケースでバイアスを減少させるが、高いプロンプトディテールは最大14.9%のバイアスを減少させるが、一方のケース(Overattribution)では最大8.8%まで悪化する。

関連論文リスト

Adaptive Generation of Bias-Eliciting Questions for LLMs [18.608477560948003]
大規模言語モデル(LLM)は現在、ユーザ向けアプリケーションに広くデプロイされており、世界中で数億に達しています。我々は,性,人種,宗教などのセンシティブな属性に対して,現実的でオープンな質問を自動的に生成する,反現実的バイアス評価フレームワークを導入する。また、非対称な拒絶や偏見の明示的な認識など、ユーザインタラクションにますます関係する異なる応答次元も捉えています。
論文参考訳（メタデータ） (2025-10-14T13:08:10Z)
Assessing Judging Bias in Large Reasoning Models: An Empirical Study [99.86300466350013]
DeepSeek-R1やOpenAI-o1のような大きな推論モデル(LRM)は、顕著な推論能力を示している。本稿では、主観的嗜好アライメントデータセットと客観的事実ベースデータセットの両方において、LLMとLRMの偏りを判定するベンチマークを示す。
論文参考訳（メタデータ） (2025-04-14T07:14:27Z)
Cognitive Debiasing Large Language Models for Decision-Making [71.2409973056137]
大規模言語モデル(LLM)は意思決定アプリケーションをサポートする可能性を示している。我々は,自己適応型認知脱バイアス(SACD)という認知脱バイアス手法を提案する。我々の手法は、3つの逐次的なステップ – バイアス決定、バイアス分析、認知バイアス ― に従うことで、プロンプトにおける潜在的な認知バイアスを反復的に緩和する。
論文参考訳（メタデータ） (2025-04-05T11:23:05Z)
Investigating the Impact of LLM Personality on Cognitive Bias Manifestation in Automated Decision-Making Tasks [4.65004369765875]
パーソナリティ特性は、バイアスの増幅または減少において重要な役割を果たす。良心と積極性は一般に偏見緩和戦略の有効性を高める可能性がある。
論文参考訳（メタデータ） (2025-02-20T03:15:54Z)
Actions Speak Louder than Words: Agent Decisions Reveal Implicit Biases in Language Models [10.565316815513235]
大規模言語モデル(LLM)は、人間の振る舞いをシミュレートする際にも暗黙の偏見を示すことがある。ほぼすべてのシミュレーションにおいて,最先端のLDMは社会デマトグラフィーの相違が顕著であることを示す。実験結果と実世界の格差を比較すると、我々が発見したバイアスは方向整列されているが、顕著に増幅されていることがわかった。
論文参考訳（メタデータ） (2025-01-29T05:21:31Z)
STOP! Benchmarking Large Language Models with Sensitivity Testing on Offensive Progressions [6.19084217044276]
大規模言語モデル(LLM)における明示的バイアスと暗黙的バイアスの緩和は、自然言語処理の分野において重要な焦点となっている。我々は,2700のユニークな文を含む450の攻撃的進行を含む,攻撃的進行に関する感性テストデータセットを紹介した。以上の結果から,最も優れたモデルでさえバイアスを不整合に検出し,成功率は19.3%から69.8%であった。
論文参考訳（メタデータ） (2024-09-20T18:34:38Z)
VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
我々は、LVLM(Large Vision-Language Models)におけるバイアスを評価するベンチマークであるVLBiasBenchを紹介する。 VLBiasBenchは、年齢、障害ステータス、性別、国籍、身体的外観、人種、宗教、職業、社会経済ステータスを含む9つの異なる社会バイアスのカテゴリを含むデータセットと、人種x性別と人種x社会経済ステータスの2つの交叉バイアスのカテゴリを含む。 15のオープンソースモデルと2つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルに存在するバイアスに関する新たな洞察を得る。
論文参考訳（メタデータ） (2024-06-20T10:56:59Z)
Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
論文参考訳（メタデータ） (2024-06-20T06:42:08Z)
Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge [24.206975650221732]
本研究では,LLM審査員の位置バイアスをペアワイドおよびリストワイド比較設定で評価する。偏見に寄与する判断レベル、候補レベル、タスクレベルを識別する。
論文参考訳（メタデータ） (2024-06-12T01:12:28Z)
Cognitive Bias in Decision-Making with LLMs [19.87475562475802]
大規模言語モデル(LLM)は、幅広い意思決定タスクをサポートするツールとして大きな可能性を秘めている。 LLMは保護されたグループに対する社会的バイアスを継承し、認知バイアスと機能的に類似している。私たちの研究は、LLMの認知バイアスを発見し、評価し、緩和するために設計されたフレームワークであるBiasBusterを紹介します。
論文参考訳（メタデータ） (2024-02-25T02:35:56Z)
GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-11T12:02:14Z)
Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文参考訳（メタデータ） (2023-11-15T00:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。