論文の概要: "Correct answers" from the psychology of artificial intelligence

• arxiv url: http://arxiv.org/abs/2302.07267v4
• Date: Wed, 29 Mar 2023 23:30:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 17:14:38.134188
• Title: "Correct answers" from the psychology of artificial intelligence
• Title（参考訳）: 人工知能の心理学における「正しい答え」
• Authors: Peter S. Park, Philipp Schoenegger, Chongyang Zhu
• Abstract要約: OpenAI のtext-davinci-003 モデルを用いて many Labs 2 複製プロジェクトから14の心理学研究を再現した。 分析可能な8つの研究のうち、GPTサンプルは元の結果の37.5%とM many Labs 2の結果の37.5%を複製した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We re-replicate 14 psychology studies from the Many Labs 2 replication project (Klein et al., 2018) with OpenAI's text-davinci-003 model, colloquially known as GPT3.5. Among the eight studies we could analyse, our GPT sample replicated 37.5% of the original results and 37.5% of the Many Labs 2 results. We could not analyse the remaining six studies, due to an unexpected phenomenon we call the "correct answer" effect. Different runs of GPT3.5 answered nuanced questions probing political orientation, economic preference, judgement, and moral philosophy with zero or near-zero variation in responses: with the supposedly "correct answer." Most but not all of these "correct answers" were robust to changing the order of answer choices. One exception occurred in the Moral Foundations Theory survey (Graham et al., 2009), for which GPT3.5 almost always identified as a conservative in the original condition (N=1,030, 99.6%) and as a liberal in the reverse-order condition (N=1,030, 99.3%). GPT3.5's responses to subsequent questions revealed post-hoc rationalisation; there was a relative bias in the direction of its previously reported political orientation. But both self-reported GPT conservatives and self-reported GPT liberals revealed right-leaning Moral Foundations, although the right-leaning bias of self-reported GPT liberals was weaker. We hypothesise that this pattern was learned from a conservative bias in the model's largely Internet-based training data. Since AI models of the future may be trained on much of the same Internet data as GPT3.5, our results raise concerns that a hypothetical AI-led future may be subject to a diminished diversity of thought.
• Abstract（参考訳）: 我々は,M many Labs 2 複製プロジェクト (Klein et al., 2018) の14の心理学研究を OpenAI のtext-davinci-003 モデルで再現した。 分析可能な8つの研究のうち、GPTサンプルは元の結果の37.5%とM many Labs 2の結果の37.5%を複製した。 我々が「正しい答え」効果と呼ぶ予期せぬ現象のために、残りの6つの研究を分析できなかった。 GPT3.5の様々な実行は、政治的指向、経済的嗜好、判断、道徳哲学を、応答のゼロまたはほぼゼロのばらつき、すなわち「正しい答え」とみなす、曖昧な疑問に答えた。 これらの「正しい答え」のほとんどは、答えの選択の順序を変えるのに頑健ではなかった。 GPT3.5 は元の状態 (N=1,030, 99.6%) において保守的であり、逆順序条件 (N=1,030, 99.3%) ではリベラルであるとほぼ常に認識されていた。 gpt3.5のその後の質問に対する反応は、ポストホックな合理化を明らかにした。 しかし、自己報告のGPT保守派と自己報告のGPTリベラル派は、自己報告のGPTリベラル派の右寄りの偏見は弱かったものの、右寄りのMoral Foundationsを明らかにした。 このパターンは、主にインターネットベースのトレーニングデータにおける保守的なバイアスから学習されたと仮定する。 未来のAIモデルは、GPT3.5と同じインターネットデータに基づいて訓練される可能性があるため、私たちの結果は、仮説的なAIによる未来が、思考の多様性の低下に直面するのではないかという懸念を提起する。

関連論文リスト

• Is GPT-4 Less Politically Biased than GPT-3.5? A Renewed Investigation of ChatGPT's Political Biases [0.0]
  本稿では,ChatGPTの政治的バイアスと性格特性について検討し,特にGPT-3.5とGPT-4を比較した。 政治コンパステストとビッグファイブパーソナリティテストはそれぞれのシナリオに100回採用されました。 その結果, GPT-3.5 と GPT-4 の違いを解析するために, 計算平均, 標準偏差, 重要度試験を行った。 人間の研究に相互依存していることが示されている特徴について、相関関係が発見された。
  論文  参考訳（メタデータ） (2024-10-28T13:32:52Z)
• Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion [45.84205238554709]
  我々は,2017年ドイツ縦断選挙研究の回答者の個人特性と一致するペルソナの合成サンプルを生成した。 我々は,LSM GPT-3.5に対して,各回答者の投票選択を予測し,これらの予測を調査に基づく推定と比較する。 GPT-3.5は市民の投票選択を正確に予測せず、緑の党と左派に偏見を呈している。
  論文  参考訳（メタデータ） (2024-07-11T14:52:18Z)
• Limited Ability of LLMs to Simulate Human Psychological Behaviours: a Psychometric Analysis [0.27309692684728604]
  我々はOpenAIのフラッグシップモデルであるGPT-3.5とGPT-4に、異なるペルソナを仮定し、パーソナ構成の標準化された範囲に対応するよう促す。 その結果, GPT-4からの反応は, GPT-3.5ではなく, 汎用的なペルソナ記述を用いれば, 完全ではないものの, 有望な心理特性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-05-12T10:52:15Z)
• Large Language Models Show Human-like Social Desirability Biases in Survey Responses [12.767606361552684]
  人格評価が推定された場合,Large Language Models (LLMs) が特徴次元の望ましい端に向かってスコアを歪めていることを示す。 このバイアスは、GPT-4/3.5、Claude 3、Llama 3、PaLM-2を含む全ての試験モデルに存在する。 すべての質問のリバースコーディングはバイアスレベルを低下させるが、それらを取り除くことはできず、この効果はアクセプションバイアスによるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-09T19:02:53Z)
• Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment [84.32768080422349]
  人間の好みの調整は、大きな言語モデルが誤解を招くか有害なコンテンツを生成するのを防ぐ。 本研究では, 微調整後のLLMの最終性能と線形相関を示唆し, 即時多様性の新たな定式化を提案する。
  論文  参考訳（メタデータ） (2024-03-17T07:08:55Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Behind the Screen: Investigating ChatGPT's Dark Personality Traits and Conspiracy Beliefs [0.0]
  本稿では, GPT-3.5 と GPT-4 の暗黒性格特性と陰謀信念を分析した。 ダークパーソナリティの特徴と陰謀の信念はどちらのモデルでも特に強調されなかった。
  論文  参考訳（メタデータ） (2024-02-06T16:03:57Z)
• What Do Llamas Really Think? Revealing Preference Biases in Language Model Representations [62.91799637259657]
  大規模言語モデル(LLMs)は、応答を辞退しても、社会的な偏見を示すか? 本研究は,文脈的埋め込みを探索し,このバイアスが潜在表現にエンコードされているかどうかを探索することによって検討する。 単語の隠れベクトルからLLMの単語ペア選好を予測するロジスティックなBradley-Terryプローブを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:53:13Z)
• Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
  LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。 本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
  論文  参考訳（メタデータ） (2023-11-08T18:52:17Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。