論文の概要: PhDGPT: Introducing a psychometric and linguistic dataset about how large language models perceive graduate students and professors in psychology

• arxiv url: http://arxiv.org/abs/2411.10473v1
• Date: Wed, 06 Nov 2024 20:04:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-24 05:05:04.837212
• Title: PhDGPT: Introducing a psychometric and linguistic dataset about how large language models perceive graduate students and professors in psychology
• Title（参考訳）: PhDGPT:大規模言語モデルが大学院生や心理学教授をどう知覚するかに関する心理学的・言語学的データセットの導入
• Authors: Edoardo Sebastiano De Duro, Enrique Taietta, Riccardo Improta, Massimo Stella,
• Abstract要約: この研究は、PhDGPTを紹介している。PhDGPTは、PhD研究者と教授の機械心理学をカプセル化した、プロンプトフレームワークと合成データセットである。 データセットは756,000のデータポイントで構成され、15の学術イベントに300回の反復、生物学的ジェンダー2つ、キャリアレベル2つ、抑うつ、不安、ストレススケール42のユニークな項目応答(DASS-42)を数えている。 ネットワーク・サイコメトリックスと心理言語学的次元を組み合わせることで,人間とLLMデータの類似点と相違点を明らかにした。
• 参考スコア（独自算出の注目度）: 0.3749861135832073
• License:
• Abstract: Machine psychology aims to reconstruct the mindset of Large Language Models (LLMs), i.e. how these artificial intelligences perceive and associate ideas. This work introduces PhDGPT, a prompting framework and synthetic dataset that encapsulates the machine psychology of PhD researchers and professors as perceived by OpenAI's GPT-3.5. The dataset consists of 756,000 datapoints, counting 300 iterations repeated across 15 academic events, 2 biological genders, 2 career levels and 42 unique item responses of the Depression, Anxiety, and Stress Scale (DASS-42). PhDGPT integrates these psychometric scores with their explanations in plain language. This synergy of scores and texts offers a dual, comprehensive perspective on the emotional well-being of simulated academics, e.g. male/female PhD students or professors. By combining network psychometrics and psycholinguistic dimensions, this study identifies several similarities and distinctions between human and LLM data. The psychometric networks of simulated male professors do not differ between physical and emotional anxiety subscales, unlike humans. Other LLMs' personification can reconstruct human DASS factors with a purity up to 80%. Furthemore, LLM-generated personifications across different scenarios are found to elicit explanations lower in concreteness and imageability in items coding for anxiety, in agreement with past studies about human psychology. Our findings indicate an advanced yet incomplete ability for LLMs to reproduce the complexity of human psychometric data, unveiling convenient advantages and limitations in using LLMs to replace human participants. PhDGPT also intriguingly capture the ability for LLMs to adapt and change language patterns according to prompted mental distress contextual features, opening new quantitative opportunities for assessing the machine psychology of these artificial intelligences.
• Abstract（参考訳）: 機械心理学は、Large Language Models(LLM)の考え方を再構築することを目的としている。 この研究は、PhDGPT(PhDGPT)というプロンプトフレームワークと合成データセットを導入し、OpenAIのGPT-3.5で認識されているPhDの研究者や教授の機械心理学をカプセル化した。 データセットは756,000のデータポイントからなり、15の学術イベントに300回のイテレーションが繰り返され、2つの生物学的性別、2つのキャリアレベル、42のDepression, Anxiety, Stress Scale (DASS-42)のユニークなアイテムレスポンスが記録されている。 PhDGPTはこれらの心理測定値と、それらの説明を平易な言語で統合する。 このスコアとテキストのシナジーは、シミュレーションされた学者、例えば男性/女性博士号の学生や教授の感情的幸福に関する双対的、包括的視点を提供する。 ネットワーク・サイコメトリックスと心理言語学的次元を組み合わせることで,人間とLLMデータの類似点と相違点を明らかにした。 シミュレーションされた男性教授の心理測定ネットワークは、人間とは異なり、身体的および感情的な不安のサブスケールに違いはない。 他のLSMの擬人化は、ヒトDASS因子を最大80%の純度で再構成することができる。 さらに、異なるシナリオにまたがるLCM生成の擬人化は、人間の心理学に関する過去の研究と一致して、不安のためにコーディングされた項目の具体性やイメージ可能性の低下を説明できる。 以上の結果から,LSMが人間の心理測定データの複雑さを再現する能力は高度かつ不完全であることが示唆された。 PhDGPTはまた、LLMがメンタル・コンテクストの特徴によって言語パターンを適応し変更する能力を興味深いものに捉え、これらの人工知能の機械心理学を評価するための新たな定量的機会を開く。

関連論文リスト

• Mind Scramble: Unveiling Large Language Model Psychology Via Typoglycemia [27.650551131885152]
  大規模言語モデル(LLM)の研究は、物理世界の複雑なタスクに対処する上で有望であることを示している。 GPT-4のような強力なLDMは、人間のような認知能力を示し始めていることが研究で示唆されている。
  論文  参考訳（メタデータ） (2024-10-02T15:47:25Z)
• Psychomatics -- A Multidisciplinary Framework for Understanding Artificial Minds [0.319565400223685]
  本稿では,認知科学,言語学,コンピュータ科学を橋渡しする心理学を紹介する。 LLMの高レベル機能をよりよく理解することを目的としている。 心理学は、言語の性質、認知、知性に関する変革的な洞察を与える可能性を秘めている。
  論文  参考訳（メタデータ） (2024-07-23T12:53:41Z)
• Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
  大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。 本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。 本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• Measuring Psychological Depth in Language Models [50.48914935872879]
  本稿では,文学理論に根ざした新たな枠組みである心理的深度尺度(PDS)を紹介する。 PDS(0.72 クリッペンドルフのα)に基づいて人間が一貫して物語を評価できることを示し、我々の枠組みを実証的に検証する。 驚いたことに、GPT-4のストーリーはRedditから入手した高評価の人文記事と統計的に区別できない。
  論文  参考訳（メタデータ） (2024-06-18T14:51:54Z)
• Limited Ability of LLMs to Simulate Human Psychological Behaviours: a Psychometric Analysis [0.27309692684728604]
  我々はOpenAIのフラッグシップモデルであるGPT-3.5とGPT-4に、異なるペルソナを仮定し、パーソナ構成の標準化された範囲に対応するよう促す。 その結果, GPT-4からの反応は, GPT-3.5ではなく, 汎用的なペルソナ記述を用いれば, 完全ではないものの, 有望な心理特性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-05-12T10:52:15Z)
• PsychoGAT: A Novel Psychological Measurement Paradigm through Interactive Fiction Games with LLM Agents [68.50571379012621]
  心理的な測定は、精神健康、自己理解、そして個人の発達に不可欠である。 心理学ゲームAgenT(サイコガト)は、信頼性、収束妥当性、差別的妥当性などの心理学的指標において統計的に有意な卓越性を達成している。
  論文  参考訳（メタデータ） (2024-02-19T18:00:30Z)
• PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for Personality Detection [50.66968526809069]
  PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。 実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-10-31T08:23:33Z)
• Large Language Models Can Infer Psychological Dispositions of Social Media Users [1.0923877073891446]
  GPT-3.5とGPT-4は、ゼロショット学習シナリオにおいて、ユーザのFacebookステータス更新からビッグファイブの性格特性を導出できるかどうかを検証する。 その結果, LLM-inferred と self-reported trait score の間には r =.29 (range = [.22,.33]) の相関が認められた。 予測は、いくつかの特徴について、女性と若い個人にとってより正確であることが判明し、基礎となるトレーニングデータやオンライン自己表現の違いから生じる潜在的なバイアスが示唆された。
  論文  参考訳（メタデータ） (2023-09-13T01:27:48Z)
• Unleashing the Emergent Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration [116.09561564489799]
  Solo Performance Promptingは、複数のペルソナと多ターンの自己コラボレーションをすることで、単一のLCMを認知的シナジストに変換する。 認知シナジスト(英: Cognitive Synergist)は、複雑なタスクにおける問題解決を強化するために、複数の心の強みと知識を協調的に結合するインテリジェントエージェントである。 より詳細な分析により,LLMに複数の微粒なペルソナを割り当てることによって,単一あるいは固定数のペルソナに比べて問題解決能力が向上することが示された。
  論文  参考訳（メタデータ） (2023-07-11T14:45:19Z)
• Evaluating and Inducing Personality in Pre-trained Language Models [78.19379997967191]
  人間の個性理論を機械行動研究のツールとして活用することで,心理測定研究からインスピレーションを得た。 これらの疑問に答えるために,機械の動作を研究するためのMachine Personality Inventory(MPI)ツールを紹介した。 MPIは、ビッグファイブ・パーソナリティ・ファクター(Big Five Personality Factors、ビッグファイブ・パーソナリティ・ファクター)理論とパーソナリティ評価在庫に基づく標準化されたパーソナリティ・テストに従う。 パーソナリティ・プロンプト法(P2法)を考案し、特定のパーソナリティを持つLSMを制御可能な方法で誘導する。
  論文  参考訳（メタデータ） (2022-05-20T07:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。