論文の概要: Are Economists Always More Introverted? Analyzing Consistency in Persona-Assigned LLMs

• arxiv url: http://arxiv.org/abs/2506.02659v1
• Date: Tue, 03 Jun 2025 09:12:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.508574
• Title: Are Economists Always More Introverted? Analyzing Consistency in Persona-Assigned LLMs
• Title（参考訳）: エコノミストは常に内向的か? : ペルソナのLLMにおける一貫性の分析
• Authors: Manon Reusens, Bart Baesens, David Jurgens,
• Abstract要約: 我々は、ペルソナに割り当てられたLarge Language Models(LLM)における一貫性を分析するための新しい標準フレームワークを導入する。 本フレームワークは,複数のタスク次元にまたがる4つのカテゴリ(幸福,職業,人格,政治的スタンス)のペルソナを評価する。 この結果から, 与えられたペルソナ, ステレオタイプ, モデル設計選択など, 一貫性は複数の要因に影響されていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 12.780044838203738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalized Large Language Models (LLMs) are increasingly used in diverse applications, where they are assigned a specific persona - such as a happy high school teacher - to guide their responses. While prior research has examined how well LLMs adhere to predefined personas in writing style, a comprehensive analysis of consistency across different personas and task types is lacking. In this paper, we introduce a new standardized framework to analyze consistency in persona-assigned LLMs. We define consistency as the extent to which a model maintains coherent responses when assigned the same persona across different tasks and runs. Our framework evaluates personas across four different categories (happiness, occupation, personality, and political stance) spanning multiple task dimensions (survey writing, essay generation, social media post generation, single turn, and multi-turn conversations). Our findings reveal that consistency is influenced by multiple factors, including the assigned persona, stereotypes, and model design choices. Consistency also varies across tasks, increasing with more structured tasks and additional context. All code is available on GitHub.
• Abstract（参考訳）: パーソナライズされた大規模言語モデル(LLM)は、さまざまなアプリケーションでますます使われており、そこでは、幸せな高校教師のような特定のペルソナが、その応答をガイドするために割り当てられている。 従来の研究では、LCMが事前に定義されたペルソナの書体にどの程度順応するかが検討されているが、異なるペルソナとタスクタイプ間の一貫性の包括的な分析は欠如している。 本稿では,ペルソナに割り当てられたLLMの一貫性を解析するための新しい標準フレームワークを提案する。 一貫性は、モデルが異なるタスクをまたいで同じペルソナを割り当てて実行したときに、コヒーレントな応答を維持できる範囲として定義する。 本フレームワークは,複数のタスク次元(サーベイライティング,エッセイ生成,ソーシャルメディアポストジェネレーション,シングルターン,マルチターン会話)にまたがる4つのカテゴリ(幸福,職業,人格,政治的スタンス)にまたがるペルソナを評価する。 この結果から, 与えられたペルソナ, ステレオタイプ, モデル設計選択など, 一貫性は複数の要因に影響されていることが明らかとなった。 一貫性もタスクによって異なり、より構造化されたタスクと追加のコンテキストで増大する。 すべてのコードはGitHubで入手できる。

関連論文リスト

• A Personalized Conversational Benchmark: Towards Simulating Personalized Conversations [112.81207927088117]
  PersonaConvBenchは、大規模言語モデル(LLM)とのマルチターン会話におけるパーソナライズされた推論と生成を評価するためのベンチマークである。 我々は,複数の商用およびオープンソース LLM を統一的なプロンプト設定でベンチマークし,パーソナライズされた履歴を組み込むことで大幅な性能向上が得られることを観察した。
  論文  参考訳（メタデータ） (2025-05-20T09:13:22Z)
• Can LLM Agents Maintain a Persona in Discourse? [3.286711575862228]
  大規模言語モデル(LLM)は、教育、法律、医学など、様々な分野でその能力を利用する会話エージェントとして広く利用されている。 LLMは、しばしばコンテキストシフトの振る舞いを受け、一貫性と解釈可能なパーソナリティ整合性の相互作用が欠如する。 LLMはパーソナライズされた対話へと導くことができるが、その性格特性を維持する能力はモデルと談話設定の組み合わせによって大きく異なる。
  論文  参考訳（メタデータ） (2025-02-17T14:36:39Z)
• Editing Personality for Large Language Models [73.59001811199823]
  本稿では,Large Language Models (LLMs) の性格特性の編集に焦点をあてた革新的なタスクを紹介する。 このタスクに対処する新しいベンチマークデータセットであるPersonalityEditを構築します。
  論文  参考訳（メタデータ） (2023-10-03T16:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。