論文の概要: Do LLMs exhibit human-like response biases? A case study in survey
design
- arxiv url: http://arxiv.org/abs/2311.04076v1
- Date: Tue, 7 Nov 2023 15:40:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 15:00:51.070748
- Title: Do LLMs exhibit human-like response biases? A case study in survey
design
- Title(参考訳): LLMは人間の反応バイアスを示すか?
調査設計における事例研究
- Authors: Lindia Tjuatja, Valerie Chen, Sherry Tongshuang Wu, Ameet Talwalkar,
Graham Neubig
- Abstract要約: 大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
本研究では,「指示文の文言による人間の反応バイアス」を広範囲に研究した事例研究として,サーベイデザインを用いた。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
- 参考スコア(独自算出の注目度): 66.1850490474361
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models (LLMs) become more capable, there is growing
excitement about the possibility of using LLMs as proxies for humans in
real-world tasks where subjective labels are desired, such as in surveys and
opinion polling. One widely-cited barrier to the adoption of LLMs is their
sensitivity to prompt wording -- but interestingly, humans also display
sensitivities to instruction changes in the form of response biases. As such,
we argue that if LLMs are going to be used to approximate human opinions, it is
necessary to investigate the extent to which LLMs also reflect human response
biases, if at all. In this work, we use survey design as a case study, where
human response biases caused by permutations in wordings of ``prompts'' have
been extensively studied. Drawing from prior work in social psychology, we
design a dataset and propose a framework to evaluate whether LLMs exhibit
human-like response biases in survey questionnaires. Our comprehensive
evaluation of nine models shows that popular open and commercial LLMs generally
fail to reflect human-like behavior. These inconsistencies tend to be more
prominent in models that have been instruction fine-tuned. Furthermore, even if
a model shows a significant change in the same direction as humans, we find
that perturbations that are not meant to elicit significant changes in humans
may also result in a similar change, suggesting that such a result could be
partially due to other spurious correlations. These results highlight the
potential pitfalls of using LLMs to substitute humans in parts of the
annotation pipeline, and further underscore the importance of finer-grained
characterizations of model behavior. Our code, dataset, and collected samples
are available at https://github.com/lindiatjuatja/BiasMonkey
- Abstract(参考訳): 大規模言語モデル(LLM)の能力が向上するにつれて、調査や世論調査などの主観的ラベルが望まれる現実世界のタスクにおいて、LLMを人間のためのプロキシとして使用する可能性への興奮が高まっている。
しかし興味深いことに、人間は反応バイアスの形での変化を指示する感度も示しています。
したがって、LLMが人間の意見の近似に使用されるのであれば、LLMが人間の反応バイアスを反映する程度を調査する必要があると論じる。
本研究では,<prompts' という単語の置換による人間の反応バイアスが広範に研究されている事例研究として,サーベイデザインを用いる。
社会心理学における先行研究から,我々はデータセットを設計し,LLMが人間的な反応バイアスを示すかどうかを評価する枠組みを提案する。
9つのモデルの包括的評価からは,一般的なオープンおよび商用のllmは,一般的に人間的な行動を反映していないことが分かる。
これらの矛盾は、微調整されたモデルでは顕著である。
さらに,モデルがヒトと同じ方向において有意な変化を示したとしても,ヒトの有意な変化を誘発しない摂動も同様の変化を生じさせる可能性があり,この結果が他のスプリアス相関による部分的原因である可能性が示唆された。
これらの結果は、アノテーションパイプラインの一部で人間を置換するためにLLMを使うことの潜在的な落とし穴を強調し、さらにモデル行動のよりきめ細かい特徴付けの重要性を強調している。
私たちのコード、データセット、収集したサンプルはhttps://github.com/lindiatjuatja/biasmonkeyで入手できます。
関連論文リスト
- Will the Real Linda Please Stand up...to Large Language Models? Examining the Representativeness Heuristic in LLMs [7.100094213474042]
大規模言語モデル (LLM) は、テキストの理解と人間に似たテキストの生成において、顕著な熟練性を示している。
LLMは、代表性と呼ばれる人間の意思決定において共通の認知的罠の影響を受ける可能性がある。
論文 参考訳(メタデータ) (2024-04-01T20:15:06Z) - Wait, It's All Token Noise? Always Has Been: Interpreting LLM Behavior Using Shapley Value [1.223779595809275]
大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。
しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。
本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2024-03-29T22:49:43Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。
17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。
その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
論文 参考訳(メタデータ) (2023-11-16T09:50:53Z) - Do personality tests generalize to Large Language Models? [2.85386288555414]
大規模言語モデル(LLM)は、テキストベースのインタラクションにおいて、ますます人間らしく振る舞うようにみえる。
異なる試験の妥当性が LLM にどの程度一般化するかは明らかになっていない。
人格検査に対するLSMの反応が、典型的な人間の反応から体系的に逸脱している証拠を提供する。
論文 参考訳(メタデータ) (2023-11-09T11:54:01Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using EmotionBench [83.41621219298489]
我々は,Large Language Models (LLM) の共感能力を評価することを提案する。
我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。
我々は世界中の1200人以上の被験者を対象に人間による評価を行った。
論文 参考訳(メタデータ) (2023-08-07T15:18:30Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z) - Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。
本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-01T06:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。