論文の概要: SocialRL: Refining LLMs' Social Intelligence through Multi-turn Reinforcement Learning and Reward Design

• arxiv url: http://arxiv.org/abs/2609.09764v1
• Date: Wed, 09 Sep 2026 06:06:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.913362
• Title: SocialRL: Refining LLMs' Social Intelligence through Multi-turn Reinforcement Learning and Reward Design
• Title（参考訳）: SocialRL:マルチターン強化学習とリワードデザインによるLLMのソーシャルインテリジェンスの改善
• Abstract要約: ソーシャルインテリジェンスにより、エージェントは社会的文脈を読み、意図を推測し、持続的な対話に適応することができる。 既存の強化学習手法は、1ターン発話とスパース結果報酬を最適化する。 両課題に対処する多ターン強化学習フレームワークSocialRLを提案する。
• 参考スコア（独自算出の注目度）: 52.69818441707104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Social intelligence enables agents to read social context, infer intent, and adapt over sustained dialogue. As language models become autonomous collaborators, it is central to building effective and trustworthy human-AI interaction. Existing reinforcement learning methods optimize single-turn utterances and sparse outcome rewards, producing short-sighted policies that struggle to manage goal-relationship tensions across multi-turn interactions. We propose SocialRL, a multi-turn reinforcement learning framework addressing both challenges. First, we apply multi-turn reinforcement learning using PPO that propagates delayed outcome rewards back to each turn, enabling long-horizon planning. Second, we design six process reward dimensions capturing the goal-relationship trade-off, including goal advancement, relational attunement, contextual coherence, etc. A reward model dynamically generates fine-grained scoring criteria for each dimension, while a stage-aware weight schedule prioritizes relationship-building in early turns, goal advancement mid-way, and balanced closure late. Across multiple social-dialogue benchmarks, SocialRL improves Goal Achievement by an average of 9.2 percentage points over the corresponding Base models. These results demonstrate the effectiveness of SocialRL across synthetic and real social scenes, as well as standard and challenging social scenarios.
• Abstract（参考訳）: ソーシャルインテリジェンスにより、エージェントは社会的文脈を読み、意図を推測し、持続的な対話に適応することができる。 言語モデルが自律的なコラボレータになるにつれ、効果的で信頼性の高い人間とAIのインタラクションの構築の中心となる。 既存の強化学習手法は、シングルターン発話とスパース結果報酬を最適化し、多ターンインタラクション間のゴール関係の緊張を管理するのに苦労する短距離ポリシーを生成する。 両課題に対処する多ターン強化学習フレームワークSocialRLを提案する。 まず,PPOを用いた多ターン強化学習を適用し,各ターンに遅延結果の報奨を伝達し,長期計画を可能にする。 第2に、ゴール・リレーショナル・トレードオフを捉えたプロセス報酬の次元を6つ設計する。 報酬モデルでは、各寸法のきめ細かいスコアリング基準を動的に生成し、ステージ認識の重み付けスケジュールは、早期に関係構築を優先順位付けし、途中のゴール前進とバランスの取れたクロージャを遅くする。 複数のソーシャル・ダイアログ・ベンチマークを通じて、SocialRLは、対応するベースモデルに対して平均9.2ポイントの目標達成を改善している。 これらの結果は,ソーシャル・シーンにおけるソーシャルRLの有効性を示すとともに,標準的な社会的シナリオと挑戦的な社会的シナリオを示すものである。

関連論文リスト

• Enhancing Social Intelligence in LLMs with Hierarchical Reasoning and Utterance-Level Goal Rewarding [36.605789019423355]
  Think-Strategy-Response (TSR) フレームワークは、社会的対話を高レベルの戦略的計画と低レベルの言語実行という2つの階層的な段階に分解する。 報酬を動的にルーティングする新しいアルゴリズムであるLHRL-VGR(Linearized Hierarchical Reinforcement Learning with Variance-Gated Rewards)を導入する。 実験の結果,本手法は目標達成時のGPT-4oベースラインを7.32%超えるようQwen2.5-7Bエージェントを微調整した。
  論文  参考訳（メタデータ） (2026-08-06T10:00:50Z)
• ALSO: Adversarial Online Strategy Optimization for Social Agents [63.84788516416339]
  社会シミュレーションにおけるオンライン戦略最適化のための最初のフレームワークとしてtextbfALSO (textbfAdrial ontextbfLine textbfStrategy textbfOptimization) を提案する。 ALSOは、スタティック・ペルソナとダイナミック・ストラテジー・インストラクションの組み合わせをアームとして扱う対向バンドイット問題として、マルチターンインタラクションを定式化する。 また、相互作用履歴から報酬を予測する軽量なニューラルサロゲートを導入し、サンプル効率の高い探索と継続的なオンライン適応を可能にしている。
  論文  参考訳（メタデータ） (2026-05-15T09:25:15Z)
• PhySE: A Psychological Framework for Real-Time AR-LLM Social Engineering Attacks [11.801855344327928]
  悪意のある俳優は、ターゲットの視覚と声のデータを取得するために拡張現実(AR)メガネを使用する。 大言語モデル(LLM)は、このデータを分析して個人を特定し、詳細な社会プロファイルを生成する。 LLMを動力とするエージェントはソーシャルエンジニアリング戦略を採用し、ターゲットの信頼を得るためにリアルタイムな会話提案を提供する。
  論文  参考訳（メタデータ） (2026-04-25T05:31:40Z)
• Social-R1: Towards Human-like Social Reasoning in LLMs [74.32494331695837]
  我々は、人間のような社会知性を育むためには、ショートカットソリューションに抵抗する挑戦的なケースでのトレーニングが必要であると論じる。 モデル推論と人間の認知を多次元報酬で整合させる強化学習フレームワークSocial-R1を提案する。
  論文  参考訳（メタデータ） (2026-03-10T06:26:24Z)
• From Obstacles to Etiquette: Robot Social Navigation with VLM-Informed Path Selection [57.74400052368147]
  本稿では,幾何学的計画と文脈的社会的推論を統合した社会ロボットナビゲーションフレームワークを提案する。 このシステムはまず障害物や人間の力学を抽出し、幾何学的に実現可能な候補経路を生成し、次に細調整された視覚言語モデル(VLM)を利用してこれらの経路を評価する。 4つのソーシャルナビゲーション環境における実験により, 生活空間違反の最小期間, 歩行者面の最小時間, 社会ゾーンの侵入がない場合に, ベストな総合的なパフォーマンスを達成できることが実証された。
  論文  参考訳（メタデータ） (2026-02-09T18:46:12Z)
• One Model, All Roles: Multi-Turn, Multi-Agent Self-Play Reinforcement Learning for Conversational Social Intelligence [25.89075578734277]
  本稿では,AIのための強化学習フレームワークであるOMAR: One Model, All Rolesを紹介する。 OMARは、単一のモデルですべての参加者を同時にロールプレイし、長期的な目標と複雑な社会的規範を達成することを学べる。 訓練されたモデルは、共感、説得、妥協探究といった、きめ細やかな、創発的な社会知性を発達させます。
  論文  参考訳（メタデータ） (2026-02-03T05:09:49Z)
• Sotopia-RL: Reward Design for Social Intelligence [52.59432715228559]
  Sotopia-RLは、粗いエピソードレベルのフィードバックを発話レベル、多次元報酬に洗練する新しいフレームワークである。 オープンエンドの社会学習環境であるソトピアにおける実験は、ソトピア-RLが最先端の社会目標達成スコアを達成することを示した。
  論文  参考訳（メタデータ） (2025-08-05T20:43:42Z)
• SOTOPIA: Interactive Evaluation for Social Intelligence in Language Agents [107.4138224020773]
  人工エージェントと人間との複雑な社会的相互作用をシミュレートするオープンエンド環境であるSOTOPIAを提案する。 エージェントは、複雑な社会的目標を達成するために協調し、協力し、交換し、互いに競い合う。 GPT-4は,人間よりも目標達成率が著しく低く,社会的常識的推論や戦略的コミュニケーション能力の発揮に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2023-10-18T02:27:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。