論文の概要: Challenging the Validity of Personality Tests for Large Language Models

• arxiv url: http://arxiv.org/abs/2311.05297v2
• Date: Wed, 5 Jun 2024 10:33:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 04:05:59.061247
• Title: Challenging the Validity of Personality Tests for Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるパーソナリティテストの有効性の検証
• Authors: Tom Sühr, Florian E. Dorner, Samira Samadi, Augustin Kelava,
• Abstract要約: 大規模言語モデル(LLM)は、テキストベースのインタラクションにおいて、ますます人間らしく振る舞う。 人格検査に対するLLMの反応は、人間の反応から体系的に逸脱する。
• 参考スコア（独自算出の注目度）: 2.9123921488295768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With large language models (LLMs) like GPT-4 appearing to behave increasingly human-like in text-based interactions, it has become popular to attempt to evaluate personality traits of LLMs using questionnaires originally developed for humans. While reusing measures is a resource-efficient way to evaluate LLMs, careful adaptations are usually required to ensure that assessment results are valid even across human subpopulations. In this work, we provide evidence that LLMs' responses to personality tests systematically deviate from human responses, implying that the results of these tests cannot be interpreted in the same way. Concretely, reverse-coded items ("I am introverted" vs. "I am extraverted") are often both answered affirmatively. Furthermore, variation across prompts designed to "steer" LLMs to simulate particular personality types does not follow the clear separation into five independent personality factors from human samples. In light of these results, we believe that it is important to investigate tests' validity for LLMs before drawing strong conclusions about potentially ill-defined concepts like LLMs' "personality".
• Abstract（参考訳）: GPT-4のような大きな言語モデル(LLM)は、テキストベースのインタラクションにおいて、ますます人間らしく振る舞うように見え、もともと人間のために開発されたアンケートを用いて、LLMの性格特性を評価する試みが盛んに行われている。 再利用対策はLLMを評価するための資源効率のよい方法であるが、人間のサブポピュレーション全体にわたって評価結果が有効であることを確実にするためには、注意深い適応が必要である。 本研究では,人格検査に対するLSMの反応が人間の反応から体系的に逸脱していることを示す。 具体的には、逆コードされたアイテム("I am introverted" 対 "I am extraverted" )はどちらも肯定的に答えられることが多い。 さらに、特定のパーソナリティタイプをシミュレートするためにLLMを「操る」ために設計されたプロンプト間のバリエーションは、人間のサンプルから5つの独立したパーソナリティ要素を明確な分離に従わない。 これらの結果を踏まえ、LLMの「個性」のような潜在的に不明確な概念について強い結論を出す前に、LSMに対する検査の妥当性を検討することが重要であると信じている。

関連論文リスト

• Limited Ability of LLMs to Simulate Human Psychological Behaviours: a Psychometric Analysis [0.27309692684728604]
  我々はOpenAIのフラッグシップモデルであるGPT-3.5とGPT-4に、異なるペルソナを仮定し、パーソナ構成の標準化された範囲に対応するよう促す。 その結果, GPT-4からの反応は, GPT-3.5ではなく, 汎用的なペルソナ記述を用いれば, 完全ではないものの, 有望な心理特性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-05-12T10:52:15Z)
• "I'm Not Sure, But...": Examining the Impact of Large Language Models' Uncertainty Expression on User Reliance and Trust [51.542856739181474]
  不確実性の自然言語表現の違いが、参加者の信頼、信頼、全体的なタスクパフォーマンスにどのように影響するかを示す。 その結果, 一人称表情は, 参加者のシステムに対する信頼度を低下させ, 参加者の正確性を高めつつ, システムの回答に同調する傾向にあることがわかった。 以上の結果から,不確実性の自然言語表現の使用は,LLMの過度な依存を軽減するための効果的なアプローチである可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-01T16:43:55Z)
• LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced Personality Detection Model [58.887561071010985]
  パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。 既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。 本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-12T12:10:18Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Self-Assessment Tests are Unreliable Measures of LLM Personality [2.887477629420772]
  2つの簡単な実験により自己評価人格検査から得られた人格スコアの信頼性を分析した。 これら3つのプロンプトが全く異なるパーソナリティスコアにつながり、これはほとんどのシナリオにおいて、すべての特性に対して統計的に重要な違いである。 自己評価テストの多くは、多重選択質問(MCQ)の形で存在するので、選択肢が提示される順序に対して、スコアも堅牢であるべきだと論じる。
  論文  参考訳（メタデータ） (2023-09-15T05:19:39Z)
• Efficiently Measuring the Cognitive Ability of LLMs: An Adaptive Testing Perspective [63.92197404447808]
  大きな言語モデル(LLM)は、人間のような認知能力を示している。 LLM評価のための適応テストフレームワークを提案する。 このアプローチは、モデルの性能に基づいて、難易度などのテスト問題の特徴を動的に調整する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [66.31055885857062]
  本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。 LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)
• PersonaLLM: Investigating the Ability of Large Language Models to Express Personality Traits [30.770525830385637]
  本研究では,ビッグファイブ・パーソナリティ・モデルに基づく大規模言語モデル(LLM)の行動について検討する。 その結果, LLMペルソナの自己申告したBFIスコアは, 指定した性格タイプと一致していることがわかった。 人間の評価は、人間は最大80%の精度でいくつかの性格特性を知覚できることを示している。
  論文  参考訳（メタデータ） (2023-05-04T04:58:00Z)
• Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
  大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。 本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。