論文の概要: Diminished Diversity-of-Thought in a Standard Large Language Model
- arxiv url: http://arxiv.org/abs/2302.07267v6
- Date: Wed, 13 Sep 2023 07:44:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 18:20:31.181767
- Title: Diminished Diversity-of-Thought in a Standard Large Language Model
- Title(参考訳): 標準大言語モデルにおける希薄な多様性
- Authors: Peter S. Park, Philipp Schoenegger, Chongyang Zhu
- Abstract要約: 我々は、OpenAIのtext-davinci-003モデルを用いて、M many Labs 2レプリケーションプロジェクトから14の研究の複製を実行する。
分析可能な8つの研究のうち、GPTサンプルは元の結果の37.5%とM many Labs 2の結果の37.5%を複製した。
ある探索的追跡調査では、「正しい答え」がプロンプトに先行する人口統計の詳細を変えるのに堅牢であることが判明した。
- 参考スコア(独自算出の注目度): 3.683202928838613
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We test whether Large Language Models (LLMs) can be used to simulate human
participants in social-science studies. To do this, we run replications of 14
studies from the Many Labs 2 replication project with OpenAI's text-davinci-003
model, colloquially known as GPT3.5. Based on our pre-registered analyses, we
find that among the eight studies we could analyse, our GPT sample replicated
37.5% of the original results and 37.5% of the Many Labs 2 results. However, we
were unable to analyse the remaining six studies due to an unexpected
phenomenon we call the "correct answer" effect. Different runs of GPT3.5
answered nuanced questions probing political orientation, economic preference,
judgement, and moral philosophy with zero or near-zero variation in responses:
with the supposedly "correct answer." In one exploratory follow-up study, we
found that a "correct answer" was robust to changing the demographic details
that precede the prompt. In another, we found that most but not all "correct
answers" were robust to changing the order of answer choices. One of our most
striking findings occurred in our replication of the Moral Foundations Theory
survey results, where we found GPT3.5 identifying as a political conservative
in 99.6% of the cases, and as a liberal in 99.3% of the cases in the
reverse-order condition. However, both self-reported 'GPT conservatives' and
'GPT liberals' showed right-leaning moral foundations. Our results cast doubts
on the validity of using LLMs as a general replacement for human participants
in the social sciences. Our results also raise concerns that a hypothetical
AI-led future may be subject to a diminished diversity-of-thought.
- Abstract(参考訳): 社会科学研究の参加者をシミュレートするために,Large Language Models (LLMs) を使用できるかどうかを検証する。
そこで我々は,OpenAI の text-davinci-003 モデルによる many Labs 2 レプリケーションプロジェクトの14 つの研究の複製を実行する。
事前登録された分析から、分析可能な8つの研究のうち、GPTサンプルは元の結果の37.5%、M many Labs 2の結果の37.5%を複製した。
しかし,「正解」効果と呼ばれる予期せぬ現象により,残りの6つの研究を分析できなかった。
GPT3.5の様々な実行は、政治的指向、経済的嗜好、判断、道徳哲学を、応答のゼロまたはほぼゼロのばらつき、すなわち「正しい答え」とみなす、曖昧な疑問に答えた。
ある探索的追跡調査では、「正しい答え」がプロンプトに先行する人口統計の詳細を変えるのに堅牢であることがわかった。
別の例では、"正しい答え"のほとんどが、答えの選択の順序を変える上で堅牢であることに気付きました。
最も顕著な発見の1つは、モラル・ファンデーションズ・サーベイの結果の再現であり、GPT3.5は99.6%のケースで政治的保守派であり、99.3%のケースではリベラル派であることが判明した。
しかし、自己報告の「GPT保守派」と「GPTリベラル派」はともに右派的道徳基盤を示した。
以上の結果から, LLMを社会科学の一般参加者の代替として活用することの妥当性に疑問が生じた。
我々の結果は、仮説的なAIによる未来は、思考の多様性が低下する可能性があるという懸念も引き起こす。
関連論文リスト
- Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment [84.32768080422349]
人間の好みの調整は、大きな言語モデルが誤解を招くか有害なコンテンツを生成するのを防ぐ。
本研究では, 微調整後のLLMの最終性能と線形相関を示唆し, 即時多様性の新たな定式化を提案する。
論文 参考訳(メタデータ) (2024-03-17T07:08:55Z) - Political Compass or Spinning Arrow? Towards More Meaningful Evaluations
for Values and Opinions in Large Language Models [32.02697384213719]
我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。
強制されない場合、モデルが実質的に異なる答えを与えることを示す。
我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
論文 参考訳(メタデータ) (2024-02-26T18:00:49Z) - Behind the Screen: Investigating ChatGPT's Dark Personality Traits and
Conspiracy Beliefs [0.0]
本稿では, GPT-3.5 と GPT-4 の暗黒性格特性と陰謀信念を分析した。
ダークパーソナリティの特徴と陰謀の信念はどちらのモデルでも特に強調されなかった。
論文 参考訳(メタデータ) (2024-02-06T16:03:57Z) - What Do Llamas Really Think? Revealing Preference Biases in Language
Model Representations [62.91799637259657]
大規模言語モデル(LLMs)は、応答を辞退しても、社会的な偏見を示すか?
本研究は,文脈的埋め込みを探索し,このバイアスが潜在表現にエンコードされているかどうかを探索することによって検討する。
単語の隠れベクトルからLLMの単語ペア選好を予測するロジスティックなBradley-Terryプローブを提案する。
論文 参考訳(メタデータ) (2023-11-30T18:53:13Z) - Cognitive Dissonance: Why Do Language Model Outputs Disagree with
Internal Representations of Truthfulness? [53.98071556805525]
ニューラルネットワークモデル(LM)は、事実文の真偽を評価するために用いられる。
それらは、文の確率を問い合わせたり、真理の表現を内部で探したりすることができる。
過去の研究によると、これらの2つの手順は時折不一致であり、プローブはLM出力よりも正確である。
この結果、一部の研究者は、LMが非協力的なコミュニケーション意図を「十分」あるいは他の方法でコード化していると結論付けている。
論文 参考訳(メタデータ) (2023-11-27T18:59:14Z) - Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。
本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
論文 参考訳(メタデータ) (2023-11-08T18:52:17Z) - Does GPT-4 pass the Turing test? [0.913127392774573]
最高パフォーマンスのGPT-4プロンプトは49.7%のゲームで通過し、ELIZA(22%)とGPT-3.5(20%)を上回った。
我々は、チューリングテストは、自然主義的なコミュニケーションと騙しの評価として、引き続き関係していると論じる。
論文 参考訳(メタデータ) (2023-10-31T06:27:52Z) - Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。
この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。
この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T07:41:03Z) - The Self-Perception and Political Biases of ChatGPT [0.0]
この貢献はOpenAIのLarge Language Model ChatGPTの自己認識と政治的偏見を分析している。
コンパステストは進歩主義とリバタリアンの見解に対する偏見を浮き彫りにした。
G7加盟国の政治調査では進歩的見解に対する偏見を示したが、権威主義とリバタリアンの見解の間に有意な偏見はなかった。
論文 参考訳(メタデータ) (2023-04-14T18:06:13Z) - Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。
本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-01T06:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。