論文の概要: Improving General Role-Playing Agents via Psychology-Grounded Reasoning and Role-Aware Policy Optimization

• arxiv url: http://arxiv.org/abs/2606.27025v1
• Date: Thu, 25 Jun 2026 13:34:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.295734
• Title: Improving General Role-Playing Agents via Psychology-Grounded Reasoning and Role-Aware Policy Optimization
• Title（参考訳）: 一般ロールプレイングエージェントの心理学的推論とロールアウェア政策最適化による改善
• Abstract要約: Psy-CoTは、事前応答推論を3つの役割固有のステップに分解する、思考の連鎖フレームワークである。 CoSER, CharacterBench, CharacterEvalの実験は、Psy-CoTが既存のロールプレイングCoTメソッドより優れていることを示した。
• 参考スコア（独自算出の注目度）: 62.82109000444373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building general-purpose role-playing agents that faithfully portray any character from a natural-language profile remains challenging. The dominant paradigm -- supervised fine-tuning -- encourages behavioral mimicry without deep, human-like internal thought processes, resulting in poor out-of-distribution generalization. Therefore, we propose \textbf{Psy-CoT}, a psychology-grounded chain-of-thought framework that decomposes pre-response reasoning into three role-specific steps -- \emph{Interaction Perception}, \emph{Psychological Empathy}, and \emph{Logical Construction} -- so that the model \emph{thinks dynamically} from the profile rather than merely mimicking surface patterns. While structured reasoning provides a foundation, it alone is insufficient; reinforcement learning is essential to further align the model with character fidelity. However, we observe that under LLM-based reward models, both generic phrases that hack the reward model and genuinely role-specific phrases receive identical gradient signals -- this hacking accumulates over training, misleading the model into treating both as equally optimal choices. To address this, we propose \textbf{Role-Aware Policy Optimization (RAPO)}, which uses profile--token mutual information to weight gradients asymmetrically -- amplifying role-specific tokens under positive advantage while attenuating them under negative advantage. Experiments on CoSER, CharacterBench, and CharacterEval demonstrate that Psy-CoT outperforms existing role-playing CoT methods, and RAPO consistently surpasses GRPO across multiple model scales.
• Abstract（参考訳）: 自然言語プロファイルから文字を忠実に表現する汎用的なロールプレイングエージェントの構築は、依然として困難である。 支配的なパラダイム -- 監督された微調整 -- は、深い人間のような内的思考プロセスなしで行動模倣を促進する。 そこで本稿では,プリレスポンス推論を3つの役割特異的なステップ – \emph{Interaction Perception}, \emph{Psychological Empathy}, \emph{Logical Construction} – に分解した心理学的連鎖の枠組みである「textbf{Psy-CoT}」を提案する。 構造的推論は基礎を提供するが、それだけでは不十分であり、モデルとキャラクタの忠実性をさらに整合させるには強化学習が不可欠である。 しかし、LLMベースの報酬モデルでは、報酬モデルをハックする一般的なフレーズと、真にロール固有のフレーズの両方が同一の勾配信号を受け取ります。 これを解決するために,プロファイル・ツーケン相互情報を用いて非対称な勾配を重み付けする「textbf{Role-Aware Policy Optimization (RAPO)」を提案する。 CoSER, CharacterBench, CharacterEvalの実験では、Psy-CoTは既存のロールプレイングCoTよりも優れており、RAPOはGRPOを複数のモデルスケールで一貫して上回っている。

関連論文リスト

• CRPO: Character-centric Group Relative Policy Optimization for Role-aware Reasoning in Role-playing Agents [53.765941044015854]
  本稿では,ロールプレイングタスクで目的を実現するためのフレームワークCRPOを提案する。 CRPOは3つのメカニズムにより、タスクロジックをスタイリスティックな報酬から切り離して勾配競合を解消し、文字複雑性に基づいた最適化制約を動的に適応させ、一般的な応答を負のベースラインとして利用し、モデルが共通の分布に戻すのを防ぐ。
  論文  参考訳（メタデータ） (2026-05-25T07:15:38Z)
• Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges [87.04241991512386]
  本稿では、報酬ハッキングを理解するための統一フレームワークとして、PCH(Proxy Compression hypothesis)を提案する。 この観点では、報酬のハッキングは、客観的圧縮、最適化増幅、評価器-政治共適応の相互作用から生じる。 この視点は、RLHF、RLAIF、RLVR体制をまたいだ経験的現象を統一し、局所的ショートカット学習がより広範な誤認識へと一般化する方法について説明している。
  論文  参考訳（メタデータ） (2026-04-15T08:11:34Z)
• Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
  非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。 BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。 BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-11T08:14:11Z)
• Generative Actor Critic [74.04971271003869]
  Generative Actor Critic (GAC) は、軌道上での関節分布の生成モデル学習として、テキスト政治評価を反映して、シーケンシャルな意思決定を分離する新しいフレームワークである。 Gym-MuJoCoとMaze2Dベンチマークの実験では、GACの強いオフライン性能と、最先端の手法と比較してオフラインからオフラインへの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-12-25T06:31:11Z)
• A First-Order Logic-Based Alternative to Reward Models in RLHF [0.0]
  人間のフィードバックからの強化学習は、大きな言語モデルと人間の価値観と嗜好の整合において重要な役割を果たす。 既存のアプローチは報酬モデルに大きく依存し、言語モデルから人間に沿った行動へと導く。 本稿では,従来の報酬モデルに代わる論理類似性に基づく報酬機構を提案する。
  論文  参考訳（メタデータ） (2025-12-16T05:15:17Z)
• RoleRMBench & RoleRM: Towards Reward Modeling for Profile-Based Role Play in Dialogue Systems [85.16327248973387]
  継続的インシシット優先(CIP)で訓練された報酬モデルであるRoleRMを開発する。 RoleRMは、オープンソースの強力な報酬モデルとクローズドな報酬モデルを平均で24%以上超えています。 本研究は,人間中心対話システムにおける主観的アライメントの基礎となる,連続的嗜好表現とアノテーションの整合性の重要性を強調した。
  論文  参考訳（メタデータ） (2025-12-11T12:04:46Z)
• CogDual: Enhancing Dual Cognition of LLMs via Reinforcement Learning with Implicit Rule-Based Rewards [53.36917093757101]
  ロールプレイング言語エージェント (RPLA) は,Large Language Models (LLM) に対する重要な適用方向として登場した。 テキスト認識対応推論パラダイムを採用した新しいRPLAであるtextbfCogDualを紹介する。 外部状況認識と内部自己認識を共同でモデル化することにより、CagDualは文字整合性と文脈整合性を改善した応答を生成する。
  論文  参考訳（メタデータ） (2025-07-23T02:26:33Z)
• Enhancing Persona Consistency for LLMs' Role-Playing using Persona-Aware Contrastive Learning [7.836439251883518]
  モデルロールプレイング行動を調整するために,textbfunderlinePersona-Aware textbfunderlineContrastive textbfunderlineLearning (PCL) という新しいフレームワークを提案する。 自動評価法と人手による評価では,PCLはバニラLLMよりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-22T06:12:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。