論文の概要: Cognitive Biases in Large Language Models: A Survey and Mitigation Experiments

• arxiv url: http://arxiv.org/abs/2412.00323v1
• Date: Sat, 30 Nov 2024 02:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:50:45.876055
• Title: Cognitive Biases in Large Language Models: A Survey and Mitigation Experiments
• Title（参考訳）: 大規模言語モデルにおける認知バイアス:調査と緩和実験
• Authors: Yasuaki Sumita, Koh Takeuchi, Hisashi Kashima,
• Abstract要約: 大規模言語モデル(LLM)は、人間によって書かれた大きなコーパスで訓練され、様々なタスクで高いパフォーマンスを示す。 人間は認知バイアスの影響を受けやすいため、LSMはこれらのバイアスに影響され、不合理な意思決定につながる。
• 参考スコア（独自算出の注目度）: 24.15688619889342
• License:
• Abstract: Large Language Models (LLMs) are trained on large corpora written by humans and demonstrate high performance on various tasks. However, as humans are susceptible to cognitive biases, which can result in irrational judgments, LLMs can also be influenced by these biases, leading to irrational decision-making. For example, changing the order of options in multiple-choice questions affects the performance of LLMs due to order bias. In our research, we first conducted an extensive survey of existing studies examining LLMs' cognitive biases and their mitigation. The mitigation techniques in LLMs have the disadvantage that they are limited in the type of biases they can apply or require lengthy inputs or outputs. We then examined the effectiveness of two mitigation methods for humans, SoPro and AwaRe, when applied to LLMs, inspired by studies in crowdsourcing. To test the effectiveness of these methods, we conducted experiments on GPT-3.5 and GPT-4 to evaluate the influence of six biases on the outputs before and after applying these methods. The results demonstrate that while SoPro has little effect, AwaRe enables LLMs to mitigate the effect of these biases and make more rational responses.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間によって書かれた大きなコーパスで訓練され、様々なタスクで高いパフォーマンスを示す。 しかしながら、人間の認知バイアスは不合理な判断をもたらす可能性があるため、LLMはこれらのバイアスに影響され、不合理な意思決定につながる。 例えば、複数選択質問におけるオプションの順序の変更は、順序バイアスによるLCMのパフォーマンスに影響する。 本研究は, LLMの認知バイアスとその緩和について, 既存の研究を網羅的に調査した。 LLMの緩和技術は、適用できるバイアスの種類や、長い入力や出力を必要とするバイアスに制限されているという欠点がある。 次に,クラウドソーシングの研究から着想を得て,LLMに適用したSoProとAwaReの2つの緩和方法の有効性を検討した。 提案手法の有効性を検証するため, GPT-3.5 および GPT-4 を用いて実験を行い, 適用前後の出力に対する6つのバイアスの影響を評価した。 その結果、SoProは効果がほとんどないものの、AwaReはLLMがこれらのバイアスの効果を緩和し、より合理的な反応をすることができることを示した。

関連論文リスト

• The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
  大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。 本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
  論文  参考訳（メタデータ） (2024-10-07T02:30:18Z)
• AI Can Be Cognitively Biased: An Exploratory Study on Threshold Priming in LLM-Based Batch Relevance Assessment [37.985947029716016]
  大規模言語モデル(LLM)は高度な理解能力を示しているが、トレーニングデータから人間のバイアスを継承する可能性がある。 関連判定におけるしきい値プライミング効果の影響について検討した。
  論文  参考訳（メタデータ） (2024-09-24T12:23:15Z)
• Are Large Language Models Really Bias-Free? Jailbreak Prompts for Assessing Adversarial Robustness to Bias Elicitation [0.0]
  大規模言語モデル(LLM)は人工知能に革命をもたらし、卓越した計算能力と言語能力を示している。 これらのモデルは本質的に、トレーニングデータから生じる様々なバイアスに起因している。 本研究は,近年のLCMの応答におけるこれらのバイアスの存在について検討し,その公正さと信頼性への影響を分析した。
  論文  参考訳（メタデータ） (2024-07-11T12:30:19Z)
• Social Bias Evaluation for Large Language Models Requires Prompt Variations [38.91306092184724]
  大規模言語モデル(LLM)は、かなりの社会的偏見を示す。 本稿では,高速変動変化におけるLDMの感度について検討する。 LLMは、そのプロンプトによって引き起こされる社会的偏見と性能のトレードオフがあることが示される。
  論文  参考訳（メタデータ） (2024-07-03T14:12:04Z)
• Large Language Models Show Human-like Social Desirability Biases in Survey Responses [12.767606361552684]
  人格評価が推定された場合,Large Language Models (LLMs) が特徴次元の望ましい端に向かってスコアを歪めていることを示す。 このバイアスは、GPT-4/3.5、Claude 3、Llama 3、PaLM-2を含む全ての試験モデルに存在する。 すべての質問のリバースコーディングはバイアスレベルを低下させるが、それらを取り除くことはできず、この効果はアクセプションバイアスによるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-09T19:02:53Z)
• Cognitive Bias in Decision-Making with LLMs [19.87475562475802]
  大規模言語モデル(LLM)は、幅広い意思決定タスクをサポートするツールとして大きな可能性を秘めている。 LLMは保護されたグループに対する社会的バイアスを継承し、認知バイアスと機能的に類似している。 私たちの研究は、LLMの認知バイアスを発見し、評価し、緩和するために設計されたフレームワークであるBiasBusterを紹介します。
  論文  参考訳（メタデータ） (2024-02-25T02:35:56Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
  LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。 本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
  論文  参考訳（メタデータ） (2023-11-08T18:52:17Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
  大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。 本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。