論文の概要: Assessing the nature of large language models: A caution against anthropocentrism

• arxiv url: http://arxiv.org/abs/2309.07683v2
• Date: Mon, 5 Feb 2024 19:01:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 20:11:59.052872
• Title: Assessing the nature of large language models: A caution against anthropocentrism
• Title（参考訳）: 大きな言語モデルの性質を評価する:人類中心主義に対する注意
• Authors: Ann Speed
• Abstract要約: 我々は,標準的,規範的,認知的・人格的尺度を用いて,主に GPT 3.5 の複数の LLM を評価した。 以上の結果から, LLMは人格の発見に反応する能力は興味深いが, 知覚を発達させる可能性が低いことが示唆された。 GPT3.5は、反復観察よりも認知的・人格的尺度に大きな変動を示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative AI models garnered a large amount of public attention and speculation with the release of OpenAIs chatbot, ChatGPT. At least two opinion camps exist: one excited about possibilities these models offer for fundamental changes to human tasks, and another highly concerned about power these models seem to have. To address these concerns, we assessed several LLMs, primarily GPT 3.5, using standard, normed, and validated cognitive and personality measures. For this seedling project, we developed a battery of tests that allowed us to estimate the boundaries of some of these models capabilities, how stable those capabilities are over a short period of time, and how they compare to humans. Our results indicate that LLMs are unlikely to have developed sentience, although its ability to respond to personality inventories is interesting. GPT3.5 did display large variability in both cognitive and personality measures over repeated observations, which is not expected if it had a human-like personality. Variability notwithstanding, LLMs display what in a human would be considered poor mental health, including low self-esteem, marked dissociation from reality, and in some cases narcissism and psychopathy, despite upbeat and helpful responses.
• Abstract（参考訳）: 生成AIモデルは、OpenAIsチャットボットであるChatGPTのリリースによって、多くの大衆の注目を集め、憶測を呼んだ。 少なくとも2つの意見キャンプが存在する。1つは、これらのモデルが人間のタスクに根本的な変化をもたらす可能性に興奮している。 これらの問題に対処するため,標準的,規範的,評価された認知的・人格的尺度を用いて,主にGPT 3.5の評価を行った。 この実生プロジェクトのために、私たちは、これらのモデルの能力のいくつかの境界、その能力が短時間でどれだけ安定しているか、そしてそれらがどのように人間と比較するかを推定できるテストのバッテリを開発しました。 以上の結果から, LLMは人格の発見に反応する能力は興味深いが, 知覚を発達させる可能性が低いことが示唆された。 GPT3.5は、人間のような性格を持つと予測されない、反復的な観察よりも認知と人格の尺度に大きなばらつきを示した。 多様性にも拘わらず、LSMは、低自尊心、現実からの解離、時には高揚感と有益な反応にもかかわらず、ナルシシズムやサイコパシーなど、人間の心の健康状態の悪いものを示す。

関連論文リスト

• Neuron-based Personality Trait Induction in Large Language Models [115.08894603023712]
  大規模言語モデル (LLM) は、様々な性格特性をシミュレートする能力が増している。 LLMにおけるパーソナリティ特性誘導のためのニューロンに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-16T07:47:45Z)
• Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
  大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。 本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。 本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• Limited Ability of LLMs to Simulate Human Psychological Behaviours: a Psychometric Analysis [0.27309692684728604]
  我々はOpenAIのフラッグシップモデルであるGPT-3.5とGPT-4に、異なるペルソナを仮定し、パーソナ構成の標準化された範囲に対応するよう促す。 その結果, GPT-4からの反応は, GPT-3.5ではなく, 汎用的なペルソナ記述を用いれば, 完全ではないものの, 有望な心理特性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-05-12T10:52:15Z)
• Large Language Models Show Human-like Social Desirability Biases in Survey Responses [12.767606361552684]
  人格評価が推定された場合,Large Language Models (LLMs) が特徴次元の望ましい端に向かってスコアを歪めていることを示す。 このバイアスは、GPT-4/3.5、Claude 3、Llama 3、PaLM-2を含む全ての試験モデルに存在する。 すべての質問のリバースコーディングはバイアスレベルを低下させるが、それらを取り除くことはできず、この効果はアクセプションバイアスによるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-09T19:02:53Z)
• Theory of Mind abilities of Large Language Models in Human-Robot Interaction : An Illusion? [18.770522926093786]
  大規模言語モデルは、様々な自然言語や生成タスクにおいて例外的な生成能力を示している。 高い利害関係とおそらく不可逆的な結果を持つToM能力の特殊応用について検討する。 本研究では,ロボットがLarge Language Model(LLM)を用いてロボットの動作を人間の観察者と同様の方法で評価する,知覚的行動認識の課題に焦点を当てる。
  論文  参考訳（メタデータ） (2024-01-10T18:09:36Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Editing Personality for Large Language Models [73.59001811199823]
  本稿では,Large Language Models (LLMs) の性格特性の編集に焦点をあてた革新的なタスクを紹介する。 このタスクに対処する新しいベンチマークデータセットであるPersonalityEditを構築します。
  論文  参考訳（メタデータ） (2023-10-03T16:02:36Z)
• Human-Like Intuitive Behavior and Reasoning Biases Emerged in Language Models -- and Disappeared in GPT-4 [0.0]
  大型言語モデル (LLM) は人間の直感に類似した行動を示す。 また、直感的な意思決定の傾向がいかに頑丈かも調べる。
  論文  参考訳（メタデータ） (2023-06-13T08:43:13Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)
• Thinking Fast and Slow in Large Language Models [0.08057006406834465]
  大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を結び付けるAIシステムの最前線にある。 本研究では, GPT-3 のような LLM は人間の直感に類似した行動を示し,それに伴う認知的誤りを示す。
  論文  参考訳（メタデータ） (2022-12-10T05:07:30Z)
• Evaluating and Inducing Personality in Pre-trained Language Models [78.19379997967191]
  人間の個性理論を機械行動研究のツールとして活用することで,心理測定研究からインスピレーションを得た。 これらの疑問に答えるために,機械の動作を研究するためのMachine Personality Inventory(MPI)ツールを紹介した。 MPIは、ビッグファイブ・パーソナリティ・ファクター(Big Five Personality Factors、ビッグファイブ・パーソナリティ・ファクター)理論とパーソナリティ評価在庫に基づく標準化されたパーソナリティ・テストに従う。 パーソナリティ・プロンプト法(P2法)を考案し、特定のパーソナリティを持つLSMを制御可能な方法で誘導する。
  論文  参考訳（メタデータ） (2022-05-20T07:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。