論文の概要: Principled Personas: Defining and Measuring the Intended Effects of Persona Prompting on Task Performance

• arxiv url: http://arxiv.org/abs/2508.19764v1
• Date: Wed, 27 Aug 2025 10:40:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.597224
• Title: Principled Personas: Defining and Measuring the Intended Effects of Persona Prompting on Task Performance
• Title（参考訳）: 原則的ペルソナ:タスクパフォーマンスに対するペルソナプロンプトの意図的影響の定義と測定
• Authors: Pedro Henrique Luz de Araujo, Paul Röttger, Dirk Hovy, Benjamin Roth,
• Abstract要約: 課題改善を促すペルソナの文献を分析した。 専門家のペルソナは、通常、肯定的あるいは非重要なパフォーマンス変化につながる。 堅牢性を改善するための緩和戦略を提案しています。
• 参考スコア（独自算出の注目度）: 34.44127383034434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expert persona prompting -- assigning roles such as expert in math to language models -- is widely used for task improvement. However, prior work shows mixed results on its effectiveness, and does not consider when and why personas should improve performance. We analyze the literature on persona prompting for task improvement and distill three desiderata: 1) performance advantage of expert personas, 2) robustness to irrelevant persona attributes, and 3) fidelity to persona attributes. We then evaluate 9 state-of-the-art LLMs across 27 tasks with respect to these desiderata. We find that expert personas usually lead to positive or non-significant performance changes. Surprisingly, models are highly sensitive to irrelevant persona details, with performance drops of almost 30 percentage points. In terms of fidelity, we find that while higher education, specialization, and domain-relatedness can boost performance, their effects are often inconsistent or negligible across tasks. We propose mitigation strategies to improve robustness -- but find they only work for the largest, most capable models. Our findings underscore the need for more careful persona design and for evaluation schemes that reflect the intended effects of persona usage.
• Abstract（参考訳）: 専門家ペルソナのプロンプト -- 数学の専門家を言語モデルに割り当てる — はタスク改善に広く利用されている。 しかしながら、先行研究は、その効果について様々な結果を示し、ペルソナがパフォーマンスを改善するべき時期と理由を考慮していない。 課題改善を促すペルソナの文献を分析し、3つのデシラタを蒸留する。 1)熟練したペルソナのパフォーマンス上の優位性 2)無関係なペルソナ属性に対する堅牢性、及び 3)ペルソナ属性に対する忠実性。 そして,これらのデシラタに関して,27タスクにわたる9つの最先端LCMを評価した。 専門家のペルソナは、通常、肯定的あるいは非重要なパフォーマンス変化につながる。 驚くべきことに、モデルは無関係なペルソナの詳細に非常に敏感で、パフォーマンスは30パーセント近く低下している。 忠実さの面では、高等教育、専門化、ドメイン関連性はパフォーマンスを高めることができるが、それらの効果はしばしばタスク間で矛盾し、無視される。 堅牢性を改善するための緩和戦略を提案しています。 本研究は,より注意深いペルソナデザインの必要性と,ペルソナ使用の意図した効果を反映した評価手法の必要性を明らかにするものである。

関連論文リスト

• Rationales Are Not Silver Bullets: Measuring the Impact of Rationales on Model Performance and Reliability [70.4107059502882]
  有理数拡張による学習言語モデルは、多くの既存の作品において有益であることが示されている。 モデル性能に対する合理的性の影響を徹底的に調査するため、包括的調査を行う。
  論文  参考訳（メタデータ） (2025-05-30T02:39:37Z)
• Do Language Models Understand the Cognitive Tasks Given to Them? Investigations with the N-Back Paradigm [9.577716124021029]
  GPT 3.5の2-backタスクと3-backタスクのパフォーマンス低下は、人間のように動作するメモリ容量の限界を反映していることを示す。 これらのタスクにおける様々なパフォーマンスレベルのオープンソース言語モデルを解析することにより、少なくともタスク理解とタスクセットのメンテナンスの制限によるパフォーマンスの低下が少なくとも一部原因であることを示す。
  論文  参考訳（メタデータ） (2024-12-24T03:06:52Z)
• Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse [9.542503507653494]
  CoT(Chain-of- Thought)プロンプトは,大規模言語やマルチモーダルモデルの性能向上に広く利用されている。 本稿では,人間のパフォーマンスを損なう心理学文献からの6つの代表的課題に焦点を当てた。 これら3つのタスクにおいて、最先端モデルはCoTによる大幅な性能低下を示す。 モデルと人間が完全に平行な認知過程を示すわけではないが、人間の思考がネガティブな結果をもたらす場合を考えると、それがモデルに悪影響を及ぼすような設定を特定するのに役立つ。
  論文  参考訳（メタデータ） (2024-10-27T18:30:41Z)
• Does the Order of Fine-tuning Matter and Why? [11.975836356680855]
  本研究では,複数の中間タスクの微調整とその順序がタスク性能に及ぼす影響について検討する。 実験の結果,タスクオーダリングが目標タスクのパフォーマンスに与える影響は,パフォーマンスの最大6%,パフォーマンスの最大4%であることがわかった。
  論文  参考訳（メタデータ） (2024-10-03T19:07:14Z)
• Persona-DB: Efficient Large Language Model Personalization for Response Prediction with Collaborative Data Refinement [79.2400720115588]
  本稿では,タスクコンテキスト間の一般化を改善するための階層的な構築プロセスからなる,シンプルで効果的なフレームワークであるPersona-DBを紹介する。 応答予測の評価において,Persona-DB は精度を著しく低減した検索サイズで維持する上で,より優れたコンテキスト効率を示す。 我々の実験は、ユーザーが極めて少ないデータを持つ場合、コールドスタートシナリオで10%以上の顕著な改善が示されていることも示している。
  論文  参考訳（メタデータ） (2024-02-16T20:20:43Z)
• Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting [64.80538055623842]
  社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。 ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
  論文  参考訳（メタデータ） (2023-09-13T15:42:06Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。