論文の概要: Spotting Out-of-Character Behavior: Atomic-Level Evaluation of Persona Fidelity in Open-Ended Generation

• arxiv url: http://arxiv.org/abs/2506.19352v1
• Date: Tue, 24 Jun 2025 06:33:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.515054
• Title: Spotting Out-of-Character Behavior: Atomic-Level Evaluation of Persona Fidelity in Open-Ended Generation
• Title（参考訳）: キャラクタ外行動の発見:オープンエンドジェネレーションにおけるペルソナ忠実度の原子レベル評価
• Authors: Jisu Shin, Juhyun Oh, Eunsu Kim, Hoyun Song, Alice Oh,
• Abstract要約: より微細な粒度でペルソナの忠実度を定量化する原子レベル評価フレームワークを提案する。 私たちの3つの重要な測定基準は、世代間でのペルソナのアライメントと一貫性の度合いを測定します。 多様なタスクやパーソナリティの多様さからペルソナの忠実度を解析することにより,タスク構造とペルソナの嗜好性がモデル適応性にどのように影響するかを明らかにする。
• 参考スコア（独自算出の注目度）: 16.76995815742803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring persona fidelity in large language models (LLMs) is essential for maintaining coherent and engaging human-AI interactions. However, LLMs often exhibit Out-of-Character (OOC) behavior, where generated responses deviate from an assigned persona, leading to inconsistencies that affect model reliability. Existing evaluation methods typically assign single scores to entire responses, struggling to capture subtle persona misalignment, particularly in long-form text generation. To address this limitation, we propose an atomic-level evaluation framework that quantifies persona fidelity at a finer granularity. Our three key metrics measure the degree of persona alignment and consistency within and across generations. Our approach enables a more precise and realistic assessment of persona fidelity by identifying subtle deviations that real users would encounter. Through our experiments, we demonstrate that our framework effectively detects persona inconsistencies that prior methods overlook. By analyzing persona fidelity across diverse tasks and personality types, we reveal how task structure and persona desirability influence model adaptability, highlighting challenges in maintaining consistent persona expression.
• Abstract（参考訳）: 大規模言語モデル(LLM)におけるペルソナの忠実性の確保は、一貫性のある人間とAIの相互作用を維持するために不可欠である。 しかし、LCMは、しばしばOOC(Out-of-Character)の振る舞いを示し、そこで生成された応答は、割り当てられたペルソナから逸脱し、モデルの信頼性に影響を与える不整合を引き起こす。 既存の評価手法では、個々のスコアを全応答に割り当て、特に長文生成において微妙なペルソナのミスアライメントを捉えるのに苦労する。 この制限に対処するために、より微細な粒度でペルソナ忠実度を定量化する原子レベル評価フレームワークを提案する。 私たちの3つの重要な測定基準は、世代間のペルソナのアライメントと一貫性の度合いを測定します。 我々のアプローチは、実際のユーザが遭遇する微妙な偏差を識別することで、より正確で現実的なペルソナの忠実さの評価を可能にします。 実験により,従来の手法が見落としているペルソナの不整合を効果的に検出できることが実証された。 多様なタスクや人格タイプにまたがるペルソナの忠実度を解析することにより,タスク構造やペルソナの嗜好性がモデル適応性に与える影響を明らかにし,一貫したペルソナ表現を維持する上での課題を明らかにする。

関連論文リスト

• PersonaFeedback: A Large-scale Human-annotated Benchmark For Personalization [25.45861816665351]
  我々は、パーソナライズされた応答を提供するLLMの能力を直接評価する新しいベンチマークであるPersonaFeedbackを紹介する。 過去のインタラクションから暗黙のユーザペルソナを推論するモデルを必要とする既存のベンチマークとは異なり、PersonaFeedbackはパーソナライゼーションからペルソナ推論を分離する。 PersonaFeedbackは8298人の注釈付きテストケースで構成されており、簡単、中、硬い層に分類される。
  論文  参考訳（メタデータ） (2025-06-15T17:19:19Z)
• IMPersona: Evaluating Individual Level LM Impersonation [28.040025302581366]
  本稿では,特定の個人の書き方や個人の知識を擬人化するためのLM評価フレームワークであるIMPersonaを紹介する。 我々は、Llama-3.1-8B-Instructのような、わずかにサイズのオープンソースモデルでさえ、関連するレベルでの偽造能力を達成することを実証した。
  論文  参考訳（メタデータ） (2025-04-06T02:57:58Z)
• ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
  生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。 認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。 本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
  論文  参考訳（メタデータ） (2024-05-28T22:45:28Z)
• PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for Personality Detection [50.66968526809069]
  PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。 実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-10-31T08:23:33Z)
• Automated Evaluation of Personalized Text Generation using Large Language Models [38.2211640679274]
  生成したテキストの3つの主要な意味的側面(パーソナライズ、品質、関連性)を抽出し、これらの側面を自動的に測定する新しい評価手法であるAuPELを提案する。 既存の評価指標と比較して、AuPELはパーソナライズ能力に基づいてモデルの識別とランク付けを行うだけでなく、このタスクに対する信頼できる一貫性と効率を示す。
  論文  参考訳（メタデータ） (2023-10-17T21:35:06Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Improving Personality Consistency in Conversation by Persona Extending [22.124187337032946]
  本稿では,Persona Retrieval Model(PRM)とPosterior-Scored Transformer(PS-Transformer)の2つのサブコンポーネントからなる新しい検索・予測パラダイムを提案する。 提案モデルでは,自動測定と人的評価の両面で大幅に改善されている。
  論文  参考訳（メタデータ） (2022-08-23T09:00:58Z)
• Improving Factual Consistency Between a Response and Persona Facts [64.30785349238619]
  応答生成のためのニューラルネットワークは、意味論的に妥当であるが、必ずしも話者のペルソナを記述する事実と矛盾しない応答を生成する。 我々は,これらのモデルを強化学習により微調整し,応答とペルソナ事実の一貫性と意味的妥当性を明確に把握する効率的な報酬関数を提案する。
  論文  参考訳（メタデータ） (2020-04-30T18:08:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。