論文の概要: When Does Persona Prompting Actually Help? A Retrieval and Metric Analysis of Expert Role Injection in LLMs

• arxiv url: http://arxiv.org/abs/2605.29420v1
• Date: Thu, 28 May 2026 06:14:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.844289
• Title: When Does Persona Prompting Actually Help? A Retrieval and Metric Analysis of Expert Role Injection in LLMs
• Title（参考訳）: ペルソナプロンプトは実際いつ役に立つのか? : LLMにおける専門家の役割注入の検索とメトリクス分析
• Authors: Shuai Xiao, Su Liu, Weikai Zhou, Jialun Wu, Xinjie He, Zhiyuan Lin, Qiyang Xie,
• Abstract要約: ペルソナプロンプトは大きな言語モデルを操るために広く用いられているが、その実用的価値は未だ不明である。 我々は、38の専門職と6つのドメインにまたがる1,140のオープンエンド質問の4つのプロンプト条件を比較した。 役割促進は助言的質問や医学や心理学などの分野において最善を尽くす。
• 参考スコア（独自算出の注目度）: 6.180594609315986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Persona prompting is widely used to steer large language models, yet its practical value remains unclear. Prior work often evaluates persona prompting using aggregate scores, making it difficult to determine whether expert-role prompting consistently improves response quality or instead changes responses along different quality dimensions. We study this question through a controlled comparison of four prompting conditions across 1,140 open-ended questions spanning 38 expert roles and six domains: no role prompt, a generic domain-expert prompt, embedding-based role retrieval, and a hybrid retrieval method combining embedding search with LLM-based role selection. Aggregate results show only small overall differences between conditions. However, metric-level analysis reveals a consistent tradeoff that aggregate averages obscure: role prompting systematically increases expertise depth while reducing clarity. These effects are highly conditional rather than universal. Role prompting performs best on advisory questions and in domains such as medicine and psychology, where structured expert framing and risk communication are intrinsically valuable. In contrast, baseline prompting performs better on conceptual and explanatory questions in finance, legal, science, and technology domains, where concise plain-language explanation is more important. We further show that hybrid retrieval significantly improves over embedding-only role selection, although better role retrieval does not eliminate the broader expertise-depth versus clarity tradeoff. Overall, our findings suggest that persona prompting primarily reshapes response characteristics rather than broadly improving capability, and that multi-metric evaluation is necessary for understanding its effects.
• Abstract（参考訳）: ペルソナプロンプトは大きな言語モデルを操るために広く用いられているが、その実用的価値は未定である。 従来の作業では、アグリゲーションスコアを使用したペルソナのプロンプトの評価がしばしば行われており、専門家のロールプロンプトが応答品質を継続的に改善するか、代わりに異なる品質ディメンションに沿って応答を変更するかを判断することは困難である。 本研究は,38の専門職と6つの領域にまたがる1,140のオープンエンド質問に対する4つのプロンプト条件(ロールプロンプト,ジェネリックドメイン-エキスパートプロンプト,埋め込みベースのロール検索,組込み検索とLLMベースのロール選択を組み合わせたハイブリッド検索)を比較検討した。 Aggregateの結果は、条件の全体的差異が小さいだけである。 しかし、メートル法レベルの分析では、平均値が不明瞭な一貫したトレードオフが明らかになっている。 これらの効果は普遍的というよりはむしろ非常に条件的である。 役割促進は助言的質問や、構造化された専門家フレーミングとリスクコミュニケーションが本質的に価値のある医学や心理学などの分野において、最善を尽くす。 対照的に、ベースラインのプロンプトは、より簡潔な平易な説明がより重要である金融、法学、科学、技術分野における概念的および説明的問題において、より良いパフォーマンスを発揮する。 さらに, ハイブリッド検索は, 包括的役割選択よりも有意に向上するが, より優れた役割検索は, より広範な専門知識と明確さのトレードオフを排除しない。 以上の結果から,ペルソナが機能向上よりも応答特性を優先的に評価することが示唆され,その効果を理解するためには多度評価が必要である。

関連論文リスト

• Adaptive Multi-Agent Response Refinement in Conversational Systems [33.2240994465021]
  大規模言語モデル (LLM) は人間のような応答を生成することで会話システムにおいて顕著な成功を収めた。 特にパーソナライズや特定の知識を考慮に入れる必要がある場合、それらは不足する可能性がある。 本稿では,各エージェントが各アスペクトに対して特定の役割を割り当てられるマルチエージェントフレームワークによる応答の精細化を提案する。
  論文  参考訳（メタデータ） (2025-11-11T14:48:34Z)
• Reasoning-enhanced Query Understanding through Decomposition and Interpretation [87.56450566014625]
  ReDIは、分解と解釈によるクエリ理解のための推論強化アプローチである。 我々は,大規模検索エンジンから実世界の複雑なクエリの大規模データセットをコンパイルした。 BRIGHT と BEIR の実験により、ReDI はスパースと密度の高い検索パラダイムの両方において、強いベースラインを一貫して超えることを示した。
  論文  参考訳（メタデータ） (2025-09-08T10:58:42Z)
• Teaching Language Models To Gather Information Proactively [53.85419549904644]
  大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。 本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。 キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。 このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
  論文  参考訳（メタデータ） (2025-07-28T23:50:09Z)
• Contextual Candor: Enhancing LLM Trustworthiness Through Hierarchical Unanswerability Detection [0.0]
  本稿では,大規模言語モデル(LLM)のための新しいハイブリッド学習パラダイムであるReinforced Unanswerability Learning (RUL)を紹介する。 RULは、多段階学習戦略によって導かれるLLMの生成コアに、識別不能な予測ヘッドを統合する。 実験は、RULの優れた性能を示し、文、段落、ランキングレベルにわたる解答不能検出において、はるかに高い精度を達成する。
  論文  参考訳（メタデータ） (2025-06-01T17:59:27Z)
• Exploring the Generalizability of Factual Hallucination Mitigation via Enhancing Precise Knowledge Utilization [49.95746521480879]
  PKUE(Precise Knowledge utilization Enhancement, 精密知識利用促進)を導入し, 正確かつ単純な事実質問に対する自己生成応答のモデルを微調整する。 大規模な実験により、PKUEはLLM全体の性能を著しく改善することが示された。
  論文  参考訳（メタデータ） (2025-02-26T13:34:52Z)
• Ranking Generated Answers: On the Agreement of Retrieval Models with Humans on Consumer Health Questions [25.158868133182025]
  本稿では,生成型大規模言語モデル(LLM)の出力を評価する手法を提案する。 我々は、注釈付き文書コレクションで訓練されたランキングモデルを、明示的な妥当性の代用として用いている。 ユーザ研究において,本手法は人間専門家の嗜好と相関する。
  論文  参考訳（メタデータ） (2024-08-19T09:27:45Z)
• When "A Helpful Assistant" Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models [34.831938712535084]
  商用AIシステムは一般に、システムプロンプトにおけるLarge Language Models(LLM)の役割を定義している。 客観的タスクにおいて、異なるペルソナがモデルのパフォーマンスにどの程度影響するかは、まだ不明である。 6種類の対人関係と8つの専門領域を含む162のロールのリストをキュレートする。
  論文  参考訳（メタデータ） (2023-11-16T17:48:55Z)
• ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
  我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。 我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。 分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
  論文  参考訳（メタデータ） (2023-09-14T16:54:34Z)
• Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting [56.268862325167575]
  マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。 本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。 前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。 後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
  論文  参考訳（メタデータ） (2020-05-05T14:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。