論文の概要: Can AI Understand Human Personality? -- Comparing Human Experts and AI Systems at Predicting Personality Correlations
- arxiv url: http://arxiv.org/abs/2406.08170v1
- Date: Wed, 12 Jun 2024 13:03:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 16:55:44.845381
- Title: Can AI Understand Human Personality? -- Comparing Human Experts and AI Systems at Predicting Personality Correlations
- Title(参考訳): AIは人格を理解できるか?-人格相関の予測における人間専門家とAIシステムの比較
- Authors: Philipp Schoenegger, Spencer Greenberg, Alexander Grishin, Joshua Lewis, Lucius Caviola,
- Abstract要約: パーソナリティマップや GPT-4o や Claude 3 Opus といった一般的な LLM など,特殊なディープニューラルネットワークの能力をテストする。
個々の人間と比較すると、すべてのAIモデルは、普通の人々や学術専門家の大多数よりも優れた予測をします。
- 参考スコア(独自算出の注目度): 41.07853967415879
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We test the abilities of specialised deep neural networks like PersonalityMap as well as general LLMs like GPT-4o and Claude 3 Opus in understanding human personality. Specifically, we compare their ability to predict correlations between personality items to the abilities of lay people and academic experts. We find that when compared with individual humans, all AI models make better predictions than the vast majority of lay people and academic experts. However, when selecting the median prediction for each item, we find a different pattern: Experts and PersonalityMap outperform LLMs and lay people on most measures. Our results suggest that while frontier LLMs' are better than most individual humans at predicting correlations between personality items, specialised models like PersonalityMap continue to match or exceed expert human performance even on some outcome measures where LLMs underperform. This provides evidence both in favour of the general capabilities of large language models and in favour of the continued place for specialised models trained and deployed for specific domains.
- Abstract(参考訳): パーソナリティマップ(PersonalityMap)やGPT-4oやClaude 3 Opus(Claude 3 Opus)といった一般的なLLMの、人間のパーソナリティを理解する能力をテストする。
具体的には,人格項目間の相関関係を予測する能力と,一般人と学術的専門家の能力とを比較した。
個々の人間と比較すると、すべてのAIモデルは、普通の人々や学術専門家の大多数よりも優れた予測をします。
しかし、各項目の中央値予測を選択すると、異なるパターンが見つかる: 専門家とパーソナリティマップは、LSMを上回り、ほとんどの尺度に人々を配置します。
以上の結果から,LLMは人格項目間の相関を推定する上で,ほとんどの人よりも優れているが,PersonalityMapのような専門モデルでは,LLMが劣る結果の指標においても,熟練した人間のパフォーマンスに適合または超え続けていることが示唆された。
これは、大きな言語モデルの一般的な能力を支持する証拠と、特定のドメインのために訓練され、デプロイされた専門モデルのための継続的な場所を支持する証拠を提供する。
関連論文リスト
- BIG5-CHAT: Shaping LLM Personalities Through Training on Human-Grounded Data [28.900987544062257]
BIG5-CHATは、人間がいかに人格をテキストで表現するかのモデルを構築するために設計された10万の対話を含む大規模なデータセットである。
提案手法は,BFIやIPIP-NEOなどの人格評価に優れ,特徴相関は人的データとより密に一致している。
実験の結果,高良性,高良性,低外転,低神経障害を訓練したモデルでは,推論タスクの性能が向上することが判明した。
論文 参考訳(メタデータ) (2024-10-21T20:32:27Z) - Personality Alignment of Large Language Models [26.071445846818914]
大規模言語モデル(LLM)を整列する現在の手法は、一般的に一般的な人間の価値観や振る舞いを反映することを目的としている。
パーソナリティアライメントの概念を紹介する。
このアプローチは、個々のユーザや近縁なグループの特定の嗜好に合うように、LSMの反応と決定を調整します。
論文 参考訳(メタデータ) (2024-08-21T17:09:00Z) - Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。
本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。
本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
論文 参考訳(メタデータ) (2024-06-25T16:09:08Z) - P-Tailor: Customizing Personality Traits for Language Models via Mixture of Specialized LoRA Experts [34.374681921626205]
オープン性,良心性,外向性,同意性,神経症など,さまざまな特徴を表現するために,専門的な LoRA の専門家を学ぶ。
我々は、P-Tailorとパーソナリティ損失専門化を統合し、異なるパーソナリティ特性を専門化する専門家を奨励する。
論文 参考訳(メタデータ) (2024-06-18T12:25:13Z) - LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced
Personality Detection Model [58.887561071010985]
パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。
既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。
本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
論文 参考訳(メタデータ) (2024-03-12T12:10:18Z) - PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for
Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。
実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2023-10-31T08:23:33Z) - Large Language Models Can Infer Psychological Dispositions of Social Media Users [1.0923877073891446]
GPT-3.5とGPT-4は、ゼロショット学習シナリオにおいて、ユーザのFacebookステータス更新からビッグファイブの性格特性を導出できるかどうかを検証する。
その結果, LLM-inferred と self-reported trait score の間には r =.29 (range = [.22,.33]) の相関が認められた。
予測は、いくつかの特徴について、女性と若い個人にとってより正確であることが判明し、基礎となるトレーニングデータやオンライン自己表現の違いから生じる潜在的なバイアスが示唆された。
論文 参考訳(メタデータ) (2023-09-13T01:27:48Z) - PersonaLLM: Investigating the Ability of Large Language Models to Express Personality Traits [30.770525830385637]
本研究では,ビッグファイブ・パーソナリティ・モデルに基づく大規模言語モデル(LLM)の行動について検討する。
その結果, LLMペルソナの自己申告したBFIスコアは, 指定した性格タイプと一致していることがわかった。
人間の評価は、人間は最大80%の精度でいくつかの性格特性を知覚できることを示している。
論文 参考訳(メタデータ) (2023-05-04T04:58:00Z) - Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。
本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-01T06:16:14Z) - Evaluating and Inducing Personality in Pre-trained Language Models [78.19379997967191]
人間の個性理論を機械行動研究のツールとして活用することで,心理測定研究からインスピレーションを得た。
これらの疑問に答えるために,機械の動作を研究するためのMachine Personality Inventory(MPI)ツールを紹介した。
MPIは、ビッグファイブ・パーソナリティ・ファクター(Big Five Personality Factors、ビッグファイブ・パーソナリティ・ファクター)理論とパーソナリティ評価在庫に基づく標準化されたパーソナリティ・テストに従う。
パーソナリティ・プロンプト法(P2法)を考案し、特定のパーソナリティを持つLSMを制御可能な方法で誘導する。
論文 参考訳(メタデータ) (2022-05-20T07:32:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。