論文の概要: Do LLMs exhibit human-like response biases? A case study in survey
design
- arxiv url: http://arxiv.org/abs/2311.04076v5
- Date: Tue, 6 Feb 2024 04:16:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 11:36:07.208926
- Title: Do LLMs exhibit human-like response biases? A case study in survey
design
- Title(参考訳): LLMは人間の反応バイアスを示すか?
調査設計における事例研究
- Authors: Lindia Tjuatja, Valerie Chen, Sherry Tongshuang Wu, Ameet Talwalkar,
Graham Neubig
- Abstract要約: 大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
- 参考スコア(独自算出の注目度): 66.1850490474361
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models (LLMs) become more capable, there is growing
excitement about the possibility of using LLMs as proxies for humans in
real-world tasks where subjective labels are desired, such as in surveys and
opinion polling. One widely-cited barrier to the adoption of LLMs as proxies
for humans in subjective tasks is their sensitivity to prompt wording - but
interestingly, humans also display sensitivities to instruction changes in the
form of response biases. We investigate the extent to which LLMs reflect human
response biases, if at all. We look to survey design, where human response
biases caused by changes in the wordings of "prompts" have been extensively
explored in social psychology literature. Drawing from these works, we design a
dataset and framework to evaluate whether LLMs exhibit human-like response
biases in survey questionnaires. Our comprehensive evaluation of nine models
shows that popular open and commercial LLMs generally fail to reflect
human-like behavior, particularly in models that have undergone RLHF.
Furthermore, even if a model shows a significant change in the same direction
as humans, we find that they are sensitive to perturbations that do not elicit
significant changes in humans. These results highlight the pitfalls of using
LLMs as human proxies, and underscore the need for finer-grained
characterizations of model behavior. Our code, dataset, and collected samples
are available at https://github.com/lindiatjuatja/BiasMonkey
- Abstract(参考訳): 大規模言語モデル(LLM)の能力が向上するにつれて、調査や世論調査などの主観的ラベルが望まれる現実世界のタスクにおいて、LLMを人間のためのプロキシとして使用する可能性への興奮が高まっている。
主観的タスクにおける人間のプロキシとしてllmが採用される上での障壁として広く引用されているのが、表現の迅速化に対する感受性である。
LLMが人間の反応バイアスを反映する程度について検討する。
我々は,社会心理学の文献において,「プロンプト」の語句の変化による人的反応バイアスが広く研究されているサーベイデザインを検討する。
これらの研究からLLMが人間的な反応バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルの包括的評価からは,一般的なオープンおよび商用のllmは,特にrlhfモデルにおいて,人間的な動作を反映していないことが分かる。
さらに, モデルが人間と同じ方向において有意な変化を示したとしても, 人間に有意な変化を与えない摂動に敏感であることがわかった。
これらの結果は、LLMを人間のプロキシとして使用する際の落とし穴を強調し、モデル行動のよりきめ細かいキャラクタリゼーションの必要性を強調している。
私たちのコード、データセット、収集したサンプルはhttps://github.com/lindiatjuatja/biasmonkeyで入手できます。
関連論文リスト
- Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - How do Large Language Models Navigate Conflicts between Honesty and
Helpfulness? [14.706111954807021]
人間の振る舞いを特徴付けるための心理モデルと実験を用いて、大きな言語モデルを分析する。
人間のフィードバックからの強化学習は、誠実さと有用性の両方を改善している。
GPT-4 Turboは、会話のフレーミングやリスナーの判断コンテキストに対する感度を含む人間的な応答パターンを実証する。
論文 参考訳(メタデータ) (2024-02-11T19:13:26Z) - Do personality tests generalize to Large Language Models? [2.85386288555414]
大規模言語モデル(LLM)は、テキストベースのインタラクションにおいて、ますます人間らしく振る舞うようにみえる。
異なる試験の妥当性が LLM にどの程度一般化するかは明らかになっていない。
人格検査に対するLSMの反応が、典型的な人間の反応から体系的に逸脱している証拠を提供する。
論文 参考訳(メタデータ) (2023-11-09T11:54:01Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and
Nationality Bias in Generative Models [0.0]
本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。
実験心理学において, LLMは, 特定の社会集団に対して, 肯定的あるいは否定的な感情の偏見を広く保持するか否かを問う。
論文 参考訳(メタデータ) (2023-09-16T07:07:04Z) - Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using
EmotionBench [87.0089656487486]
我々は,Large Language Models (LLM) の共感能力を評価することを提案する。
我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。
我々は世界中の1200人以上の被験者を対象に人間による評価を行った。
論文 参考訳(メタデータ) (2023-08-07T15:18:30Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z) - AI-Augmented Surveys: Leveraging Large Language Models and Surveys for
Opinion Prediction [0.0]
人間のような反応を生み出す大きな言語モデル(LLM)は、社会科学における研究の実践に革命をもたらし始めている。
本稿では,LLMとソーシャルサーベイを統合して,これまで質問されなかった質問に対する個々の回答を正確に予測する方法を示す。
論文 参考訳(メタデータ) (2023-05-16T17:13:07Z) - Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。
本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-01T06:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。