論文の概要: Persistent Personas? Role-Playing, Instruction Following, and Safety in Extended Interactions

• arxiv url: http://arxiv.org/abs/2512.12775v1
• Date: Sun, 14 Dec 2025 17:27:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.432637
• Title: Persistent Personas? Role-Playing, Instruction Following, and Safety in Extended Interactions
• Title（参考訳）: 永続的ペルソナ : 強化インタラクションにおける役割プレーング, 指導フォロー, 安全性
• Authors: Pedro Henrique Luz de Araujo, Michael A. Hedderich, Ali Modarressi, Hinrich Schuetze, Benjamin Roth,
• Abstract要約: パーソナ指定の大規模言語モデル(LLM)は、教育、医療、社会デマグラフィーシミュレーションなどの領域で使用されている。 本研究では,長期の対話と評価データセットを組み合わせた評価プロトコルを導入し,対話条件付きベンチマークを作成する。 対話の過程でペルソナの忠実度は低下し,特に目標志向の会話では低下することがわかった。
• 参考スコア（独自算出の注目度）: 11.415343473837583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Persona-assigned large language models (LLMs) are used in domains such as education, healthcare, and sociodemographic simulation. Yet, they are typically evaluated only in short, single-round settings that do not reflect real-world usage. We introduce an evaluation protocol that combines long persona dialogues (over 100 rounds) and evaluation datasets to create dialogue-conditioned benchmarks that can robustly measure long-context effects. We then investigate the effects of dialogue length on persona fidelity, instruction-following, and safety of seven state-of-the-art open- and closed-weight LLMs. We find that persona fidelity degrades over the course of dialogues, especially in goal-oriented conversations, where models must sustain both persona fidelity and instruction following. We identify a trade-off between fidelity and instruction following, with non-persona baselines initially outperforming persona-assigned models; as dialogues progress and fidelity fades, persona responses become increasingly similar to baseline responses. Our findings highlight the fragility of persona applications in extended interactions and our work provides a protocol to systematically measure such failures.
• Abstract（参考訳）: パーソナ指定の大規模言語モデル(LLM)は、教育、医療、社会デマグラフィーシミュレーションなどの領域で使用されている。 しかし、それらは一般的に、現実世界の使い方を反映しない短いシングルラウンドの設定でのみ評価される。 長文対話(100ラウンド以上)と評価データセットを組み合わせた評価プロトコルを導入し,対話条件付きベンチマークを作成し,長文効果を頑健に測定する。 次に,対話長がペルソナの忠実度,指示追従性,および7つの最先端オープン・アンド・クローズトウェイトLLMの安全性に及ぼす影響について検討した。 対話の過程でペルソナの忠実度は低下し、特に目標指向の会話では、モデルがペルソナの忠実さと指示の両方を維持する必要がある。 対話が進行し、忠実度が低下するにつれて、人格応答はベースライン応答に近づき、非人格ベースラインは当初はペルソナ指定モデルよりも優れていた。 我々の研究は、このような障害を体系的に測定するプロトコルを提供する。

関連論文リスト

• Mem-PAL: Towards Memory-based Personalized Dialogue Assistants for Long-term User-Agent Interaction [55.24448139349266]
  PAL-Benchは、長期ユーザエージェントインタラクションにおけるサービス指向アシスタントのパーソナライズ機能を評価するために設計された新しいベンチマークである。 サービス指向のインタラクションをパーソナライズするために、階層的で異質なメモリフレームワークであるH$2$Memoryを提案する。
  論文  参考訳（メタデータ） (2025-11-17T14:22:32Z)
• Consistently Simulating Human Personas with Multi-Turn Reinforcement Learning [52.07170679746533]
  大規模言語モデル(LLM)は、セラピー、教育、社会的役割プレイといったインタラクティブな環境において、人間のユーザをシミュレートするためにますます使われています。 LLM生成対話におけるペルソナの一貫性の評価と改善のための統一的なフレームワークを提案する。 我々は3つの自動メトリクス、即行一貫性、行間一貫性、Q&A一貫性を定義し、異なるタイプのペルソナドリフトをキャプチャし、それぞれが人間のアノテーションに対して検証する。
  論文  参考訳（メタデータ） (2025-10-31T19:40:41Z)
• Spotting Out-of-Character Behavior: Atomic-Level Evaluation of Persona Fidelity in Open-Ended Generation [16.76995815742803]
  より微細な粒度でペルソナの忠実度を定量化する原子レベル評価フレームワークを提案する。 私たちの3つの重要な測定基準は、世代間でのペルソナのアライメントと一貫性の度合いを測定します。 多様なタスクやパーソナリティの多様さからペルソナの忠実度を解析することにより,タスク構造とペルソナの嗜好性がモデル適応性にどのように影響するかを明らかにする。
  論文  参考訳（メタデータ） (2025-06-24T06:33:10Z)
• REALTALK: A 21-Day Real-World Dataset for Long-Term Conversation [51.97224538045096]
  本稿では、21日間のメッセージアプリ対話のコーパスであるREALTALKを紹介する。 EI属性とペルソナの整合性を比較し,現実世界の対話による課題を理解する。 その結果,モデルでは対話履歴のみからユーザをシミュレートすることが困難であり,特定のユーザチャットの微調整はペルソナのエミュレーションを改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T20:29:01Z)
• Dialogue Language Model with Large-Scale Persona Data Engineering [10.160626284195434]
  PPDSはオープンドメインのペルソナ対話システムであり、ペルソナの一貫性を高めるためにペルソナ対話データセットに広範囲な生成前トレーニングを利用する。 本研究では,自律的かつ高精度な対話データセット生成を目的としたペルソナ抽出モデルを提案する。 また、構築されたデータセットに固有の無効なペルソナバイアスに対処するために、先駆的なペルソナ拡張手法を公表した。
  論文  参考訳（メタデータ） (2024-12-12T07:49:06Z)
• Dialogue Evaluation with Offline Reinforcement Learning [2.580163308334609]
  タスク指向対話システムは,自然言語対話によるユーザ目標達成を目的としている。 これらは、開発フェーズのすべてのイテレーションで達成不可能な、人間のユーザによって理想的に評価されます。 静的コーパスに基づく対話評価のためのオフライン強化学習を提案する。
  論文  参考訳（メタデータ） (2022-09-02T08:32:52Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)
• You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
  認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。 そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
  論文  参考訳（メタデータ） (2020-04-11T12:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。