論文の概要: OSPD: On-Policy Self-Distillation for Persona-Consistent Dialogue

• arxiv url: http://arxiv.org/abs/2609.34418v1
• Date: Mon, 28 Sep 2026 06:34:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 20:51:35.905868
• Title: OSPD: On-Policy Self-Distillation for Persona-Consistent Dialogue
• Title（参考訳）: OSPD:Persona-Consistent Dialogueのためのオンライン自己蒸留
• Abstract要約: 外部教師による非政治的な蒸留は、対話の途中で化合物が転倒する分布ミスマッチを引き起こします。 本研究では、教師と学生の両方が非対称情報の下で同じモデルで機能する、政治上の自己蒸留フレームワークを提案する。 CharacterBench, CharacterEval, SocialBenchの実験から、OSPDは教師付き微調整とマルチターンRLベースラインよりも、ペルソナの一貫性を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 8.565217926065122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Maintaining persona consistency across multi-turn dialogues remains a core challenge for role-playing language models. Off-policy distillation from external teachers incurs distribution mismatch that compounds across dialogue turns, while reinforcement learning struggles with reward ambiguity inherent in subjective persona fidelity. We propose OSPD, an on-policy self-distillation framework where the same model serves as both teacher and student under asymmetric information: the teacher receives a complete character profile while the student sees only a brief summary, and the student generates trajectories from its own policy. We find that teacher confidence in role-playing dialogue exhibits a bimodal structure---sharply peaked at character-critical tokens yet diffuse at generic utterances---and introduce role-aware divergence switching to match this structure. A progressive trait masking curriculum further forces staged internalization of character knowledge along semantic dimensions. Experiments on CharacterBench, CharacterEval, and SocialBench show that OSPD substantially improves persona consistency over supervised fine-tuning and multi-turn RL baselines, without requiring any external teacher or reward model.
• Abstract（参考訳）: マルチターン対話におけるペルソナの一貫性を維持することは、ロールプレイング言語モデルにとって依然として重要な課題である。 外部教師によるオフ・ポリティクスの蒸留は、対話にまたがる化合物の流通ミスマッチを引き起こし、強化学習は主観的ペルソナの忠実性に固有の報酬あいまいさに苦慮する。 我々は,教師が短い要約しか見ていない間,教師は完全な文字プロファイルを受け取り,学生は自作の方針から軌跡を生成するという,教師と学生の両方が非対称な情報の下で同じモデルで機能するオンライン自己蒸留フレームワークであるOSDを提案する。 教師がロールプレイング・ダイアログに自信を持てば,2モーダルな構造が現れることが判明した。 プログレッシブ・トレイト・マスキングのカリキュラムは、意味的な次元に沿って文字知識の内在化をさらに強要する。 CharacterBench, CharacterEval, SocialBenchの実験では、外部教師や報酬モデルを必要とせず、監督された微調整とマルチターンのRLベースラインよりも、OSPDがペルソナの一貫性を大幅に向上することが示された。

関連論文リスト

• Latent On-Policy Self-Distillation [55.57800223145407]
  On-policy Self-distillation (OPSD) は、特権的な自己教育者を用いて、生徒自身の軌跡を集中的に管理することにより、効果的な経路を提供する。 既存の方法はまだデザイナーが指定した特権的アーティファクトに大きく依存している。 本稿では,教師の特権的文脈自体を経験から学習可能なエンド・ツー・エンドにするため,LOPD(Latent On-Policy Self-Distillation)を導入する。
  論文  参考訳（メタデータ） (2026-08-13T10:05:51Z)
• Behavior-Adaptive Conversational Agents: Toward a Fluid Personality Framework [2.1117030125341385]
  大規模言語モデル (LLM) ベースの会話エージェント (CA) がユビキタスになった。 様々な比喩的役割を生かし、個性を投影する能力は、エージェントのペルソナとパーソナをどのようにキャリブレーションするかという設計上の疑問を提起する。 近年のエビデンスでは、(i)適度な人格表現は、(i)目標志向のタスクにおいて、信頼、楽しみ、意図の極度、あるいは高い極度に優れており、(ii)静的なワンノートアシスタントよりもユーザ体験や取り込みにおいて、文脈に適したメタファーが優れていることが示唆されている。 エージェントの比喩的ペルソナ,例えばコーチ,家庭教師を協調的に適応させるFluid Personality Frameworkを提案する。
  論文  参考訳（メタデータ） (2026-07-01T15:03:59Z)
• Improving General Role-Playing Agents via Psychology-Grounded Reasoning and Role-Aware Policy Optimization [62.82109000444373]
  Psy-CoTは、事前応答推論を3つの役割固有のステップに分解する、思考の連鎖フレームワークである。 CoSER, CharacterBench, CharacterEvalの実験は、Psy-CoTが既存のロールプレイングCoTメソッドより優れていることを示した。
  論文  参考訳（メタデータ） (2026-06-25T13:34:47Z)
• Personality, Role, and Expressive Style in Large Language Models: An Interactionist Analysis [0.11666234644810893]
  我々は,人格的特徴,対話的役割,表現的スタイルの3つの要因から,BFT(Big Five traits)表現がどのような影響を受けているかを分析する。 その結果,表現的パーソナリティは,明示的な特徴仕様だけでなく,対話的役割や表現的スタイルによっても形成されていることがわかった。
  論文  参考訳（メタデータ） (2026-05-27T06:40:31Z)
• RoleRMBench & RoleRM: Towards Reward Modeling for Profile-Based Role Play in Dialogue Systems [85.16327248973387]
  継続的インシシット優先(CIP)で訓練された報酬モデルであるRoleRMを開発する。 RoleRMは、オープンソースの強力な報酬モデルとクローズドな報酬モデルを平均で24%以上超えています。 本研究は,人間中心対話システムにおける主観的アライメントの基礎となる,連続的嗜好表現とアノテーションの整合性の重要性を強調した。
  論文  参考訳（メタデータ） (2025-12-11T12:04:46Z)
• SpeechRole: A Large-Scale Dataset and Benchmark for Evaluating Speech Role-Playing Agents [72.79816494079833]
  ロールプレイングエージェントは、パーソナライズされた相互作用と感情共鳴を達成するための有望なパラダイムとして登場した。 既存の研究は主にテキストのモダリティに焦点を当て、現実的な対話的なシナリオにおける音声の重要な次元を無視している。 我々は,98の多様な役割と112kの音声ベースの1ターン・マルチターン会話からなる大規模かつ高品質なデータセットであるSpeechRole-Dataを構築した。
  論文  参考訳（メタデータ） (2025-08-04T03:18:36Z)
• Can LLM Agents Maintain a Persona in Discourse? [3.286711575862228]
  大規模言語モデル(LLM)は、教育、法律、医学など、様々な分野でその能力を利用する会話エージェントとして広く利用されている。 LLMは、しばしばコンテキストシフトの振る舞いを受け、一貫性と解釈可能なパーソナリティ整合性の相互作用が欠如する。 LLMはパーソナライズされた対話へと導くことができるが、その性格特性を維持する能力はモデルと談話設定の組み合わせによって大きく異なる。
  論文  参考訳（メタデータ） (2025-02-17T14:36:39Z)
• Revealing Personality Traits: A New Benchmark Dataset for Explainable Personality Recognition on Dialogues [63.936654900356004]
  パーソナリティ認識は,対話やソーシャルメディア投稿などのユーザデータに含まれる性格特性を識別することを目的としている。 本稿では,人格特性の証拠として推論過程を明らかにすることを目的とした,説明可能な人格認識という新しい課題を提案する。
  論文  参考訳（メタデータ） (2024-09-29T14:41:43Z)
• The Effects of Embodiment and Personality Expression on Learning in LLM-based Educational Agents [0.7499722271664147]
  本研究は,人格表現と体格が,教育的会話エージェントにおける人格認識と学習にどのように影響するかを考察する。 教育アプリケーションに適したLLMベースの会話支援を統合することで、既存のパーソナリティ駆動型会話エージェントフレームワークを拡張した。 1)対話を通して人格を伝達する対話のみのモデル,(2)対話のみで人格を表現するアニメーション人間モデル,(3)対話と身体と顔のアニメーションを通して人格を表現するアニメーション人間モデル,の3つのモデルを評価する。
  論文  参考訳（メタデータ） (2024-06-24T09:38:26Z)
• Will I Sound Like Me? Improving Persona Consistency in Dialogues through Pragmatic Self-Consciousness [62.55060760615656]
  一貫性に対処する最近のモデルは、しばしば追加の自然言語推論(NLI)ラベルでトレーニングするか、あるいは一貫性を維持するためにトレーニングされた追加モジュールを生成エージェントにアタッチする。 社会的認知と実用性に触発されて、私たちは既存の対話エージェントに、想像上のリスナーを通して、公的な自己意識を持たせました。 我々のアプローチは、Rational Speech Actsフレームワークに基づいて、会話エージェントに矛盾の発声を控えるように強制することができる。
  論文  参考訳（メタデータ） (2020-04-13T08:16:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。