論文の概要: PB-GRPO: Learning Socially Adaptive LLM Agents from Persona-Driven Simulation with Preference-Batched GRPO

• arxiv url: http://arxiv.org/abs/2610.04132v1
• Date: Fri, 02 Oct 2026 23:07:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 19:57:31.479739
• Title: PB-GRPO: Learning Socially Adaptive LLM Agents from Persona-Driven Simulation with Preference-Batched GRPO
• Title（参考訳）: PB-GRPO: Preference-Batched GRPO を用いたペルソナ駆動型シミュレーションによる社会適応型 LLM エージェントの学習
• Abstract要約: 嗜好バッチされたGRPOは、会話レベルのフィードバックから社会的適応的なポリシーを学ぶ。 バニラGRPOと比較すると、PB-GRPOは同様の好みを持つユーザのバケットにまたがる正規化を用いて利点を計算している。
• 参考スコア（独自算出の注目度）: 14.678515490608872
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building LLMs that behave well socially, not merely correctly, requires Building LLMs that behave well socially, not merely correctly, requires more than producing locally helpful responses. A socially competent agent must infer users' unstated goals, respect their preferences, and adapt as the conversation unfolds. These behaviors are inherently multi-turn and social, making them hard to optimize: real interaction data is scarce, and user preferences are typically latent rather than directly observable. To address these challenges, we build on a persona-driven social simulation environment (consisting of a persona library, LLM-based user simulators, and a user-satisfaction scoring system ranging from [0, 1]), to introduce preference-batched GRPO (PB-GRPO), a post-training algorithm that learns socially adaptive policies from conversation-level feedback. Compared to vanilla GRPO, PB-GRPO computes advantages using a normalization estimated across a bucket of users with similar preferences, stabilizing training across a diverse social population. Empirical evidence shows that PB-GRPO improves models' social behavior over strong reinforcement learning baselines in our simulated environment.
• Abstract（参考訳）: 社会的にうまく振る舞うLCMを構築するには、単に正しくではなく、社会的にうまく振る舞うLMを構築する必要があります。 社会的に有能なエージェントは、ユーザの未定目標を推測し、好みを尊重し、会話が広がるにつれて適応しなければならない。 これらの振る舞いは本質的にマルチターンでソーシャルであり、実際のインタラクションデータが不足しており、ユーザの好みは直接観測可能ではなく、一般的に遅れている。 これらの課題に対処するため,ペルソナ主導の社会シミュレーション環境(ペルソナライブラリ,LLMベースのユーザシミュレータ,および[0, 1]からのユーザ満足度スコアリングシステム)を構築し,会話レベルのフィードバックから社会適応政策を学ぶポストトレーニングアルゴリズムであるPB-GRPOを導入する。 バニラGRPOと比較して、PB-GRPOは、同様の嗜好を持つユーザのバケットにまたがる正規化を見積もって利点を計算し、多様な社会集団のトレーニングを安定化させる。 PB-GRPOは, シミュレーション環境における強化学習ベースラインよりも, モデルの社会的行動を改善することを実証的証拠として示している。

関連論文リスト

• Beyond Cooperative Simulators: Generating Realistic User Personas for Robust Evaluation of LLM Agents [28.85410475505536]
  Persona Policies (PPol) は、ユーザシミュレータの現実的な振る舞い変化を誘導するコントロール層である。 PPolはドメイン内のあらゆるタスクに対して、多種多様な人間のようなペルソナを生産する。 PPolで訓練されたエージェントは、挑戦的で非分配的な振る舞いに対してより堅牢であり、既存のシミュレートされたインタラクションのみに関するトレーニングに比べて、タスクの成功率が+17%向上する。
  論文  参考訳（メタデータ） (2026-05-13T02:16:51Z)
• Implicit Behavioral Alignment of Language Agents in High-Stakes Crowd Simulations [3.0112218223206173]
  言語駆動型生成エージェントは、対人訓練からグローバルな政策作成を支援するまで、変革的な利用で社会シミュレーションを可能にした。 近年の研究では、生成的エージェントの行動が、専門家の期待や実世界のデータから逸脱することが多いことが示唆されている。 本稿では,レウィンの行動方程式に基づく分布整合問題として定式化されたPEBA(Persona-Environment Behavioral Alignment)という理論的枠組みを紹介する。 本稿では, エージェントペルソナを反復的に洗練する, LLMに基づく最適化アルゴリズムであるPersonaEvolve(PEvo)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T22:35:13Z)
• Population-Aligned Persona Generation for LLM-based Social Simulation [58.84363795421489]
  本稿では,社会シミュレーションのための高品質な集団対応ペルソナ集合を合成するための体系的枠組みを提案する。 我々のアプローチは、長期のソーシャルメディアデータから物語的ペルソナを生成するために、大きな言語モデルを活用することから始まる。 特定のシミュレーションコンテキストのニーズに対処するために,対象のサブポピュレーションに対してグローバルに整合したペルソナを適応させるタスク固有モジュールを提案する。
  論文  参考訳（メタデータ） (2025-09-12T10:43:47Z)
• LLM-Based Social Simulations Require a Boundary [3.351170542925928]
  大規模言語モデル(LLM)に基づく社会シミュレーションは明確な境界を確立するべきである。 本稿では、アライメント(実世界のパターンにマッチするシミュレーション行動)、一貫性(時間とともに一貫性のあるエージェント動作を維持する)、堅牢性という3つの重要な境界問題について検討する。
  論文  参考訳（メタデータ） (2025-06-24T17:14:47Z)
• SDPO: Segment-Level Direct Preference Optimization for Social Agents [56.970902914217156]
  大規模言語モデル(LLM)を利用した社会エージェントは、人間の社会的振る舞いをシミュレートできるが、複雑な社会対話を扱うには不十分である。 マルチターンエージェントの動作を最適化するために,対話内のキーセグメントを動的に選択するセグメントレベル直接参照最適化(SDPO)を提案する。
  論文  参考訳（メタデータ） (2025-01-03T14:09:46Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• Training Socially Aligned Language Models on Simulated Social Interactions [99.39979111807388]
  AIシステムにおける社会的アライメントは、確立された社会的価値に応じてこれらのモデルが振舞うことを保証することを目的としている。 現在の言語モデル(LM)は、トレーニングコーパスを独立して厳格に複製するように訓練されている。 本研究は,シミュレートされた社会的相互作用からLMを学習することのできる,新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。