論文の概要: Will the Real Linda Please Stand up...to Large Language Models? Examining the Representativeness Heuristic in LLMs
- arxiv url: http://arxiv.org/abs/2404.01461v4
- Date: Tue, 23 Jul 2024 02:41:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 12:19:26.412925
- Title: Will the Real Linda Please Stand up...to Large Language Models? Examining the Representativeness Heuristic in LLMs
- Title（参考訳）: 真のリンダは立ち上がるか...大規模言語モデルへ? : LLMにおける代表性ヒューリスティックの検討
- Authors: Pengda Wang, Zilin Xiao, Hanjie Chen, Frederick L. Oswald,
- Abstract要約: 大規模言語モデル(LLM)は、テキストをモデル化し、人間に似たテキストを生成するのに顕著な能力を示した。
LLMは、代表性と呼ばれる人間の意思決定において共通の認知的罠に感受性がある。
本研究は, LLM推論における代表性の影響について検討する。
- 参考スコア（独自算出の注目度）: 7.100094213474042
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Although large language models (LLMs) have demonstrated remarkable proficiency in modeling text and generating human-like text, they may exhibit biases acquired from training data in doing so. Specifically, LLMs may be susceptible to a common cognitive trap in human decision-making called the representativeness heuristic. This is a concept in psychology that refers to judging the likelihood of an event based on how closely it resembles a well-known prototype or typical example, versus considering broader facts or statistical evidence. This research investigates the impact of the representativeness heuristic on LLM reasoning. We created ReHeAT (Representativeness Heuristic AI Testing), a dataset containing a series of problems spanning six common types of representativeness heuristics. Experiments reveal that four LLMs applied to ReHeAT all exhibited representativeness heuristic biases. We further identify that the model's reasoning steps are often incorrectly based on a stereotype rather than on the problem's description. Interestingly, the performance improves when adding a hint in the prompt to remind the model to use its knowledge. This suggests the uniqueness of the representativeness heuristic compared to traditional biases. It can occur even when LLMs possess the correct knowledge while falling into a cognitive trap. This highlights the importance of future research focusing on the representativeness heuristic in model reasoning and decision-making and on developing solutions to address it.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、テキストをモデル化し、人間に似たテキストを生成するのに顕著な習熟性を示したが、訓練データから得られたバイアスを示す可能性がある。
特に、LSMは、代表性ヒューリスティックと呼ばれる人間の意思決定において共通の認知的罠に陥る可能性がある。
これは心理学における概念であり、より広い事実や統計的証拠を考えるよりも、よく知られたプロトタイプや典型的な例にどの程度近いかに基づいて事象の可能性を判断するものである。
本研究は, LLM推論における代表性ヒューリスティックの影響について検討する。
ReHeAT(Representativeness Heuristic AI Testing、表現性ヒューリスティックAIテスト)は、6種類の代表性ヒューリスティックにまたがる一連の問題を含むデータセットである。
実験の結果、ReHeATに適用された4つのLLMはいずれも代表性ヒューリスティックバイアスを示していた。
さらに、モデルの推論ステップが問題の記述よりもステレオタイプに基づいている場合が多いことを確認します。
興味深いことに、モデルにその知識を思い出させるプロンプトにヒントを加えると、パフォーマンスが向上する。
これは、従来の偏見と比較して代表性ヒューリスティックの独特さを示唆している。
LLMが認知的罠に陥りながら正しい知識を持っている場合でも起こりうる。
このことは、モデル推論と意思決定における代表性ヒューリスティックとそれに対応するソリューションの開発に焦点を当てた将来の研究の重要性を強調している。
関連論文リスト
- Causality for Large Language Models [37.10970529459278]
数十億または数兆のパラメータを持つ大規模言語モデル(LLM)は、膨大なデータセットでトレーニングされており、一連の言語タスクで前例のない成功を収めている。
近年の研究では、LLMは因果オウムとして機能し、因果知識を真に理解したり応用したりすることなくリサイクリングすることができることが強調されている。
本調査は, ライフサイクルのすべての段階において, 因果性がどのようにLCMを強化するかを検討することを目的としている。
論文 参考訳（メタデータ） (2024-10-20T07:22:23Z) - Towards a Holistic Evaluation of LLMs on Factual Knowledge Recall [31.45796499298925]
大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示している。
プレトレーニングから学んだ事実的知識をリコールするLLMの能力を評価することに注力する。
10のモデルファミリーから31のモデルをベンチマークし、その長所と短所を総合的に評価する。
論文 参考訳（メタデータ） (2024-04-24T19:40:01Z) - Cognitive Bias in Decision-Making with LLMs [19.87475562475802]
大規模言語モデル(LLM)は、幅広い意思決定タスクをサポートするツールとして大きな可能性を秘めている。
LLMは保護されたグループに対する社会的バイアスを継承し、認知バイアスと機能的に類似している。
私たちの研究は、LLMの認知バイアスを発見し、評価し、緩和するために設計されたフレームワークであるBiasBusterを紹介します。
論文 参考訳（メタデータ） (2024-02-25T02:35:56Z) - Self-Debiasing Large Language Models: Zero-Shot Recognition and
Reduction of Stereotypes [73.12947922129261]
ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。
自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。
この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
論文 参考訳（メタデータ） (2024-02-03T01:40:11Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。
LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文 参考訳（メタデータ） (2023-11-29T08:29:54Z) - The ART of LLM Refinement: Ask, Refine, and Trust [85.75059530612882]
ART: Ask, Refine, and Trust と呼ばれる改良目標を用いた推論を提案する。
LLMがいつその出力を洗練すべきかを決めるために必要な質問を尋ねる。
自己補充ベースラインよりも+5ポイントの性能向上を達成する。
論文 参考訳（メタデータ） (2023-11-14T07:26:32Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳（メタデータ） (2023-11-07T15:40:43Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳（メタデータ） (2023-09-20T09:23:46Z) - Human Behavioral Benchmarking: Numeric Magnitude Comparison Effects in
Large Language Models [4.412336603162406]
大規模言語モデル(LLM)は、テキストで広まる数値を差分表現しない。
本研究では,LLMが行動レンズからどれだけの数の数値を捉えているかを検討する。
論文 参考訳（メタデータ） (2023-05-18T07:50:44Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳（メタデータ） (2021-12-17T18:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。