論文の概要: Cognitive Bias in High-Stakes Decision-Making with LLMs
- arxiv url: http://arxiv.org/abs/2403.00811v1
- Date: Sun, 25 Feb 2024 02:35:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 00:01:11.682888
- Title: Cognitive Bias in High-Stakes Decision-Making with LLMs
- Title(参考訳): LLMを用いた高精度意思決定における認知バイアス
- Authors: Jessica Echterhoff, Yao Liu, Abeer Alessa, Julian McAuley, Zexue He
- Abstract要約: 我々は,大規模言語モデル(LLM)における認知バイアスの発見,評価,緩和を目的としたフレームワークを開発する。
心理学と認知科学の先行研究に触発され、16,800のプロンプトを含むデータセットを開発し、異なる認知バイアスを評価する。
我々は,LSMを用いた新たな手法を提案する中で,様々なバイアス緩和策を検証した。
- 参考スコア(独自算出の注目度): 21.322551161016463
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) offer significant potential as tools to support
an expanding range of decision-making tasks. However, given their training on
human (created) data, LLMs can inherit both societal biases against protected
groups, as well as be subject to cognitive bias. Such human-like bias can
impede fair and explainable decisions made with LLM assistance. Our work
introduces BiasBuster, a framework designed to uncover, evaluate, and mitigate
cognitive bias in LLMs, particularly in high-stakes decision-making tasks.
Inspired by prior research in psychology and cognitive sciences, we develop a
dataset containing 16,800 prompts to evaluate different cognitive biases (e.g.,
prompt-induced, sequential, inherent). We test various bias mitigation
strategies, amidst proposing a novel method using LLMs to debias their own
prompts. Our analysis provides a comprehensive picture on the presence and
effects of cognitive bias across different commercial and open-source models.
We demonstrate that our self-help debiasing effectively mitigate cognitive bias
without having to manually craft examples for each bias type.
- Abstract(参考訳): 大規模言語モデル(LLM)は、幅広い意思決定タスクをサポートするツールとして大きな可能性を秘めている。
しかしながら、人間の(作成された)データに対するトレーニングを考えると、LLMは保護されたグループに対する社会的バイアスと認知バイアスの両方を継承することができる。
このような人間的な偏見は、LCMの支援によってなされた公平で説明可能な決定を妨げかねない。
このフレームワークは、特に高い意思決定タスクにおいて、LLMにおける認知バイアスを発見し、評価し、緩和する。
心理学と認知科学の先行研究に着想を得て、16,800のプロンプトを含むデータセットを開発し、異なる認知バイアス(例えば、即効性、逐次性、内在性)を評価する。
我々は,LSMを用いた新たな手法を提案する中で,様々なバイアス緩和策を検証した。
我々の分析は、さまざまな商用およびオープンソースモデルにまたがる認知バイアスの存在と効果を包括的に分析する。
偏見の種類ごとに手作業で例を作らなくても、認知バイアスを効果的に軽減できることを実証する。
関連論文リスト
- Steering LLMs Towards Unbiased Responses: A Causality-Guided Debiasing
Framework [20.753141804841]
大規模言語モデル(LLM)はバイアスや差別的な応答を容易に生成できる。
本稿では,人口統計情報とLCMのアウトプットの関連性に着目し,社会的偏見に着目した。
論文 参考訳(メタデータ) (2024-03-13T17:46:28Z) - Perils of Self-Feedback: Self-Bias Amplifies in Large Language Models [79.5116305401044]
セルフフィードバックは、特定のタスクにおいて大きな言語モデル(LLM)を改善し、他のタスクを悪化させる。
近年の研究では、自己フィードバックは特定のタスクにおいて大きな言語モデル(LLM)を改善する一方で、他のタスクを悪化させることが示されている。
本稿は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。
論文 参考訳(メタデータ) (2024-02-18T03:10:39Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - Measuring Implicit Bias in Explicitly Unbiased Large Language Models [15.599849157678461]
心理学に触発されたバイアスの2つの尺度を導入する。
4つの社会的領域(人種、性別、宗教、健康)と21のカテゴリー(武器、罪悪感、科学、キャリアなど)にまたがる6つの大きな言語モデル(LLM)において、広範にヒトのようなステレオタイプバイアスがみられた。
論文 参考訳(メタデータ) (2024-02-06T15:59:23Z) - Self-Debiasing Large Language Models: Zero-Shot Recognition and
Reduction of Stereotypes [73.12947922129261]
ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。
自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。
この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
論文 参考訳(メタデータ) (2024-02-03T01:40:11Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and
Nationality Bias in Generative Models [0.0]
本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。
実験心理学において, LLMは, 特定の社会集団に対して, 肯定的あるいは否定的な感情の偏見を広く保持するか否かを問う。
論文 参考訳(メタデータ) (2023-09-16T07:07:04Z) - Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - The Unequal Opportunities of Large Language Models: Revealing
Demographic Bias through Job Recommendations [5.898806397015801]
大規模言語モデル(LLM)における人口統計バイアスの分析と比較のための簡易な手法を提案する。
本稿では,ChatGPTとLLaMAの交差バイアスを計測し,本手法の有効性を示す。
両モデルとも、メキシコ労働者の低賃金雇用を一貫して示唆するなど、さまざまな人口統計学的アイデンティティに対する偏見を識別する。
論文 参考訳(メタデータ) (2023-08-03T21:12:54Z) - Unsupervised Learning of Unbiased Visual Representations [10.871587311621974]
ディープニューラルネットワークは、データセットにバイアスが存在するときに堅牢な表現を学習できないことで知られている。
我々は3つのステップからなる完全に教師なしの脱バイアスフレームワークを提案する。
我々は、非バイアスモデルを得るために最先端の教師付き脱バイアス技術を採用している。
論文 参考訳(メタデータ) (2022-04-26T10:51:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。