論文の概要: Do LLMs Understand Personality? Rethinking Persona Fidelity Evaluation through Structured Behavioral Inference
- arxiv url: http://arxiv.org/abs/2608.26674v1
- Date: Thu, 27 Aug 2026 06:27:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.259233
- Title: Do LLMs Understand Personality? Rethinking Persona Fidelity Evaluation through Structured Behavioral Inference
- Title（参考訳）: LLMはパーソナリティを理解するか? : 構造化行動推論によるパーソナリティ評価の再考
- Abstract要約: PRISM(Persona Reasoning with Inverse SFL-based Modeling)は、ペルソナの忠実度評価を構造化逆推論タスクとして再構成する精神言語学的基盤を持つフレームワークである。
Systemic Functional Linguistics (SFL) にインスパイアされたPRISMは、ペルソナの忠実度を3つの機能次元(タスク・フラーミング、対人スタンス、言語スタイル)に分解する。
実験により、PRISMは従来の全体的判断よりも正確で安定した判断をもたらし、ペルソナの忠実度評価のための信頼性の高い枠組みを提供することが示された。
- 参考スコア（独自算出の注目度）: 21.264274413987575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large language models are increasingly deployed to simulate diverse human characters, ensuring persona fidelity, defined as the extent to which an agent's behavior consistently reflects the psychological and stylistic characteristics of a target persona, has become a critical requirement. However, existing evaluation paradigms primarily rely on either holistic LLM-based judges, which are prone to "holistic appraisal hallucination'', or static psychometric inventories, which fail to capture the context-dependent fidelity required in dynamic dialogue. To address these limitations, we propose PRISM (Persona Reasoning with Inverse SFL-based Modeling), a psycholinguistically grounded framework that reformulates persona fidelity evaluation as a structured inverse inference task. Inspired by Systemic Functional Linguistics (SFL), PRISM decomposes persona fidelity into three functional dimensions: Task Framing, Interpersonal Stance, and Linguistic Style. It estimates dimension-specific evidence over a persona-conditioned label space and aggregates these signals into an interpretable and auditable evaluation process. Experiments show that PRISM yields more accurate and stable judgements than traditional holistic judging, providing a more reliable framework for persona fidelity evaluation.
- Abstract（参考訳）: 多様な人間のキャラクタをシミュレートする大規模言語モデルがますます普及するにつれて、エージェントの行動が対象のペルソナの心理的・スタイリスティックな特徴を常に反映する程度に定義されたペルソナの忠実性を保証することが重要な要件となっている。
しかし、既存の評価パラダイムは、主に「全体論的評価幻覚」の傾向にある総論的LLMに基づく判断と、動的対話で必要とされる文脈依存の忠実さを捉えるのに失敗する静的心理学的発見のいずれかに依存している。
これらの制約に対処するため,PRISM(Persona Reasoning with Inverse SFL-based Modeling)を提案する。
Systemic Functional Linguistics (SFL) にインスパイアされたPRISMは、ペルソナの忠実度を3つの機能次元(タスク・フラーミング、対人スタンス、言語スタイル)に分解する。
ペルソナ条件付きラベル空間上の次元特異的エビデンスを推定し、これらの信号を解釈可能で監査可能な評価プロセスに集約する。
実験により、PRISMは従来の全体的判断よりも正確で安定した判断をもたらし、ペルソナの忠実度評価のための信頼性の高い枠組みを提供することが示された。
関連論文リスト
- Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models [49.45276299939287]
大規模言語モデル(LLM)は、ますます複雑な主観的タスクを扱うようになっている。
LLMは、マイナーな単語変更で予測不能に変動する。
この双対性を解決することは 信頼できるAIアライメントに 不可欠です
論文 参考訳（メタデータ） (2026-09-15T03:35:04Z) - From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。
我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文 参考訳（メタデータ） (2026-06-07T13:34:55Z) - Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。
静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。
実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
論文 参考訳（メタデータ） (2026-05-29T17:00:55Z) - Eval4Sim: An Evaluation Framework for Persona Simulation [9.555170143860694]
Eval4Simは、人間の会話パターンといかに密にシミュレートされた会話を一致させるかを測定する評価フレームワークである。
絶対あるいは最適化指向のメトリクスとは異なり、Eval4Simは人間の会話コーパスを基準ベースラインとして使用し、両方の方向のずれを罰する。
論文 参考訳（メタデータ） (2026-03-03T11:30:50Z) - From Classification to Ranking: Enhancing LLM Reasoning Capabilities for MBTI Personality Detection [25.825456002235967]
パーソナリティ検出は、ソーシャルメディア投稿を通じて個人の性格特性を測定することを目的としている。
既存のアプローチは、Large Language Models (LLMs)を活用してパーソナリティ特性分析を促進する
本稿では,人格検出のための強化学習訓練パラダイムを提案する。
論文 参考訳（メタデータ） (2026-01-26T15:28:43Z) - Persistent Personas? Role-Playing, Instruction Following, and Safety in Extended Interactions [11.415343473837583]
パーソナ指定の大規模言語モデル(LLM)は、教育、医療、社会デマグラフィーシミュレーションなどの領域で使用されている。
本研究では,長期の対話と評価データセットを組み合わせた評価プロトコルを導入し,対話条件付きベンチマークを作成する。
対話の過程でペルソナの忠実度は低下し,特に目標志向の会話では低下することがわかった。
論文 参考訳（メタデータ） (2025-12-14T17:27:02Z) - TwinVoice: A Multi-dimensional Benchmark Towards Digital Twins via LLM Persona Simulation [55.55404595177229]
大型言語モデル(LLM)は、人間のような能力を示す。
TwinVoiceは、さまざまな現実世界のコンテキストにわたるペルソナシミュレーションを評価するためのベンチマークである。
論文 参考訳（メタデータ） (2025-10-29T14:00:42Z) - Spotting Out-of-Character Behavior: Atomic-Level Evaluation of Persona Fidelity in Open-Ended Generation [16.76995815742803]
より微細な粒度でペルソナの忠実度を定量化する原子レベル評価フレームワークを提案する。
私たちの3つの重要な測定基準は、世代間でのペルソナのアライメントと一貫性の度合いを測定します。
多様なタスクやパーソナリティの多様さからペルソナの忠実度を解析することにより,タスク構造とペルソナの嗜好性がモデル適応性にどのように影響するかを明らかにする。
論文 参考訳（メタデータ） (2025-06-24T06:33:10Z) - Evaluating Large Language Models with Psychometrics [59.821829073478376]
本稿では,Large Language Models (LLMs) の心理的構造を定量化するための総合的ベンチマークを提案する。
私たちの研究は、13のデータセットで評価された5つの重要な心理的構成要素、人格、価値観、感情的知性、心の理論、自己効力性を特定します。
LLMの自己報告特性と実際のシナリオにおける応答パターンとの間に大きな相違が発見され,その挙動の複雑さが明らかになった。
論文 参考訳（メタデータ） (2024-06-25T16:09:08Z) - ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。
認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。
本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
論文 参考訳（メタデータ） (2024-05-28T22:45:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。