論文の概要: Do LLMs exhibit human-like response biases? A case study in survey design

• arxiv url: http://arxiv.org/abs/2311.04076v5
• Date: Tue, 6 Feb 2024 04:16:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 11:36:07.208926
• Title: Do LLMs exhibit human-like response biases? A case study in survey design
• Title（参考訳）: LLMは人間の反応バイアスを示すか? 調査設計における事例研究
• Authors: Lindia Tjuatja, Valerie Chen, Sherry Tongshuang Wu, Ameet Talwalkar, Graham Neubig
• Abstract要約: 大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
• 参考スコア（独自算出の注目度）: 66.1850490474361
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) become more capable, there is growing excitement about the possibility of using LLMs as proxies for humans in real-world tasks where subjective labels are desired, such as in surveys and opinion polling. One widely-cited barrier to the adoption of LLMs as proxies for humans in subjective tasks is their sensitivity to prompt wording - but interestingly, humans also display sensitivities to instruction changes in the form of response biases. We investigate the extent to which LLMs reflect human response biases, if at all. We look to survey design, where human response biases caused by changes in the wordings of "prompts" have been extensively explored in social psychology literature. Drawing from these works, we design a dataset and framework to evaluate whether LLMs exhibit human-like response biases in survey questionnaires. Our comprehensive evaluation of nine models shows that popular open and commercial LLMs generally fail to reflect human-like behavior, particularly in models that have undergone RLHF. Furthermore, even if a model shows a significant change in the same direction as humans, we find that they are sensitive to perturbations that do not elicit significant changes in humans. These results highlight the pitfalls of using LLMs as human proxies, and underscore the need for finer-grained characterizations of model behavior. Our code, dataset, and collected samples are available at https://github.com/lindiatjuatja/BiasMonkey
• Abstract（参考訳）: 大規模言語モデル(LLM)の能力が向上するにつれて、調査や世論調査などの主観的ラベルが望まれる現実世界のタスクにおいて、LLMを人間のためのプロキシとして使用する可能性への興奮が高まっている。 主観的タスクにおける人間のプロキシとしてllmが採用される上での障壁として広く引用されているのが、表現の迅速化に対する感受性である。 LLMが人間の反応バイアスを反映する程度について検討する。 我々は,社会心理学の文献において,「プロンプト」の語句の変化による人的反応バイアスが広く研究されているサーベイデザインを検討する。 これらの研究からLLMが人間的な反応バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルの包括的評価からは,一般的なオープンおよび商用のllmは,特にrlhfモデルにおいて,人間的な動作を反映していないことが分かる。 さらに, モデルが人間と同じ方向において有意な変化を示したとしても, 人間に有意な変化を与えない摂動に敏感であることがわかった。 これらの結果は、LLMを人間のプロキシとして使用する際の落とし穴を強調し、モデル行動のよりきめ細かいキャラクタリゼーションの必要性を強調している。 私たちのコード、データセット、収集したサンプルはhttps://github.com/lindiatjuatja/biasmonkeyで入手できます。

関連論文リスト

• Social Bias Evaluation for Large Language Models Requires Prompt Variations [38.91306092184724]
  大規模言語モデル(LLM)は、かなりの社会的偏見を示す。 本稿では,高速変動変化におけるLDMの感度について検討する。 LLMは、そのプロンプトによって引き起こされる社会的偏見と性能のトレードオフがあることが示される。
  論文  参考訳（メタデータ） (2024-07-03T14:12:04Z)
• Explicit and Implicit Large Language Model Personas Generate Opinions but Fail to Replicate Deeper Perceptions and Biases [14.650234624251716]
  大規模言語モデル (LLMs) は、人間中心の社会科学タスクでますます使われている。 これらのタスクは非常に主観的であり、環境、態度、信念、生きた経験など人間的要因に依存している。 我々は,LLMを人間的なペルソナで促進する役割について検討し,モデルに特定の人間であるかのように答えるよう求めた。
  論文  参考訳（メタデータ） (2024-06-20T16:24:07Z)
• Large Language Models Show Human-like Social Desirability Biases in Survey Responses [12.767606361552684]
  人格評価が推定された場合,Large Language Models (LLMs) が特徴次元の望ましい端に向かってスコアを歪めていることを示す。 このバイアスは、GPT-4/3.5、Claude 3、Llama 3、PaLM-2を含む全ての試験モデルに存在する。 すべての質問のリバースコーディングはバイアスレベルを低下させるが、それらを取り除くことはできず、この効果はアクセプションバイアスによるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-09T19:02:53Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Challenging the Validity of Personality Tests for Large Language Models [2.9123921488295768]
  大規模言語モデル(LLM)は、テキストベースのインタラクションにおいて、ますます人間らしく振る舞う。 人格検査に対するLLMの反応は、人間の反応から体系的に逸脱する。
  論文  参考訳（メタデータ） (2023-11-09T11:54:01Z)
• Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using EmotionBench [83.41621219298489]
  我々は,Large Language Models (LLM) の共感能力を評価することを提案する。 我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。 我々は世界中の1200人以上の被験者を対象に人間による評価を行った。
  論文  参考訳（メタデータ） (2023-08-07T15:18:30Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [66.31055885857062]
  本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。 LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)
• Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
  大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。 本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。