論文の概要: Beyond Self-Reports: Multi-Observer Agents for Personality Assessment in Large Language Models

• arxiv url: http://arxiv.org/abs/2504.08399v2
• Date: Tue, 20 May 2025 12:38:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.032151
• Title: Beyond Self-Reports: Multi-Observer Agents for Personality Assessment in Large Language Models
• Title（参考訳）: 自己報告を超えて:大規模言語モデルにおける個人性評価のためのマルチオブザーバエージェント
• Authors: Yin Jou Huang, Rafik Hadfi,
• Abstract要約: 本稿では,LLMエージェントの性格特性評価のための新しいマルチ・オブザーバ・フレームワークを提案する。 自己評価に頼る代わりに、複数のオブザーバエージェントを採用する。 これらの評価は従来の自己評価よりも人間の判断と密接に一致していることを示す。
• 参考スコア（独自算出の注目度）: 2.7010154811483167
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Self-report questionnaires have long been used to assess LLM personality traits, yet they fail to capture behavioral nuances due to biases and meta-knowledge contamination. This paper proposes a novel multi-observer framework for personality trait assessments in LLM agents that draws on informant-report methods in psychology. Instead of relying on self-assessments, we employ multiple observer agents. Each observer is configured with a specific relational context (e.g., family member, friend, or coworker) and engages the subject LLM in dialogue before evaluating its behavior across the Big Five dimensions. We show that these observer-report ratings align more closely with human judgments than traditional self-reports and reveal systematic biases in LLM self-assessments. We also found that aggregating responses from 5 to 7 observers reduces systematic biases and achieves optimal reliability. Our results highlight the role of relationship context in perceiving personality and demonstrate that a multi-observer paradigm offers a more reliable, context-sensitive approach to evaluating LLM personality traits.
• Abstract（参考訳）: 自己報告のアンケートは、LLMの性格特性を評価するために長い間使われてきたが、バイアスやメタ知識汚染による行動のニュアンスを捉えられなかった。 本稿では,心理学における情報伝達手法を取り入れたLLMエージェントにおける人格特性評価のための新しいマルチオブザーバフレームワークを提案する。 自己評価に頼る代わりに、複数のオブザーバエージェントを採用する。 各オブザーバは、特定の関係状況(例えば、家族、友人、同僚)で構成され、大きな5次元にわたってその振る舞いを評価する前に、対話において主観的LLMと対話する。 これらの評価は従来の自己報告よりも人間の判断と密接に一致し,LLM自己評価の体系的バイアスを明らかにする。 また,5～7人の観察者からの回答を集約することで,系統的バイアスを低減し,最適な信頼性が得られることがわかった。 本研究は,LLMの性格特性を評価する上で,マルチサーバ・パラダイムがより信頼性が高く,文脈に敏感なアプローチを提供することを示すものである。

関連論文リスト

• Exploring the Impact of Personality Traits on Conversational Recommender Systems: A Simulation with Large Language Models [70.180385882195]
  本稿では,対話型レコメンダシステム(CRS)のためのパーソナリティを考慮したユーザシミュレーションを提案する。 ユーザエージェントはカスタマイズ可能な性格特性と嗜好を誘導し、システムエージェントはCRS内の現実的な相互作用をシミュレートする説得能力を有する。 実験により,現在最先端のLCMは,特定の性格特性に適合した多様なユーザ応答を効果的に生成できることが示された。
  論文  参考訳（メタデータ） (2025-04-09T13:21:17Z)
• Can LLM Agents Maintain a Persona in Discourse? [3.286711575862228]
  大規模言語モデル(LLM)は、教育、法律、医学など、様々な分野でその能力を利用する会話エージェントとして広く利用されている。 LLMは、しばしばコンテキストシフトの振る舞いを受け、一貫性と解釈可能なパーソナリティ整合性の相互作用が欠如する。 LLMはパーソナライズされた対話へと導くことができるが、その性格特性を維持する能力はモデルと談話設定の組み合わせによって大きく異なる。
  論文  参考訳（メタデータ） (2025-02-17T14:36:39Z)
• Evaluating Personality Traits in Large Language Models: Insights from Psychological Questionnaires [3.6001840369062386]
  この研究は、多種多様なシナリオにおける大規模言語モデルに心理学的ツールを適用し、パーソナリティプロファイルを生成する。 以上の結果から, LLMは, 同一モデル群においても, 特徴, 特徴, 性格の異なる特徴を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-07T16:12:52Z)
• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。 モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
  大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。 本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。 本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced Personality Detection Model [58.887561071010985]
  パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。 既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。 本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-12T12:10:18Z)
• Is Self-knowledge and Action Consistent or Not: Investigating Large Language Model's Personality [11.660251022962141]
  大規模言語モデル(LLM)の人格特性の把握における従来のパーソナリティアンケートの有効性について検討する。 本研究の目的は, LLM が持つ性格特性と実世界のシナリオにおけるその傾向の一致を評価することである。
  論文  参考訳（メタデータ） (2024-02-22T16:32:08Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)
• PersonaLLM: Investigating the Ability of Large Language Models to Express Personality Traits [30.770525830385637]
  本研究では,ビッグファイブ・パーソナリティ・モデルに基づく大規模言語モデル(LLM)の行動について検討する。 その結果, LLMペルソナの自己申告したBFIスコアは, 指定した性格タイプと一致していることがわかった。 人間の評価は、人間は最大80%の精度でいくつかの性格特性を知覚できることを示している。
  論文  参考訳（メタデータ） (2023-05-04T04:58:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。