論文の概要: Enhancing Social Intelligence in LLMs with Hierarchical Reasoning and Utterance-Level Goal Rewarding

• arxiv url: http://arxiv.org/abs/2608.05832v1
• Date: Thu, 06 Aug 2026 10:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.884514
• Title: Enhancing Social Intelligence in LLMs with Hierarchical Reasoning and Utterance-Level Goal Rewarding
• Title（参考訳）: 階層推論と発話レベルゴールリワードを用いたLLMにおけるソーシャルインテリジェンス向上
• Abstract要約: Think-Strategy-Response (TSR) フレームワークは、社会的対話を高レベルの戦略的計画と低レベルの言語実行という2つの階層的な段階に分解する。 報酬を動的にルーティングする新しいアルゴリズムであるLHRL-VGR(Linearized Hierarchical Reinforcement Learning with Variance-Gated Rewards)を導入する。 実験の結果,本手法は目標達成時のGPT-4oベースラインを7.32%超えるようQwen2.5-7Bエージェントを微調整した。
• 参考スコア（独自算出の注目度）: 36.605789019423355
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Large language models (LLMs) excel in structured tasks but struggle with dynamic social interactions, where success requires long-term goal coordination and rapid adaptation. Current methods often apply uniform goal-based rewards to every utterance, overlooking the specificity of objectives at each dialogue turn and failing to account for the rationale of potential strategies. Inspired by the Theory of Planned Behavior, we propose the Think-Strategy-Response (TSR) framework, which decomposes social dialogue into two hierarchical stages: high-level strategic planning and low-level linguistic execution. To optimize TSR, we introduce Linearized Hierarchical Reinforcement Learning with Variance-Gated Rewards (LHRL-VGR), a novel algorithm that dynamically routes rewards - balancing goal completion and strategy adherence - based on the variance of goal achievement scores. Experiments on the SOTOPIA benchmark show that our approach fine-tunes a Qwen2.5-7B agent to surpass the GPT-4o baseline by 7.32% in goal completion success, demonstrating state-of-the-art performance in multi-agent social negotiation tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は構造化されたタスクに優れるが、成功には長期的な目標調整と迅速な適応が必要である動的な社会的相互作用に苦慮する。 現在の手法では、各発話に統一的なゴールベースの報酬を適用し、各対話のターンで目的の特異性を見落とし、潜在的な戦略の合理性を説明できない。 計画行動理論に触発されて,社会対話を高レベルの戦略的計画と低レベルの言語実行という2つの階層的な段階に分解する思考-戦略-応答(TSR)フレームワークを提案する。 TSRを最適化するために、ゴール達成スコアの分散に基づいて報酬を動的にルーティングするアルゴリズムであるLHRL-VGRを導入する。 SOTOPIAベンチマーク実験により,本手法は,GPT-4oベースラインを7.32%超えるようにQwen2.5-7Bエージェントを微調整し,マルチエージェント型ソーシャルネゴシエーションタスクにおける最先端性能を示す。

関連論文リスト

• SocialRL: Refining LLMs' Social Intelligence through Multi-turn Reinforcement Learning and Reward Design [52.69818441707104]
  ソーシャルインテリジェンスにより、エージェントは社会的文脈を読み、意図を推測し、持続的な対話に適応することができる。 既存の強化学習手法は、1ターン発話とスパース結果報酬を最適化する。 両課題に対処する多ターン強化学習フレームワークSocialRLを提案する。
  論文  参考訳（メタデータ） (2026-09-09T06:06:34Z)
• ToSCA: Leveraging Hierarchical Reinforcement Learning on Temporal and Strategic Abstractions of Conversational Agents [9.356868740164975]
  対話エージェントのための2段階階層型強化学習フレームワークを提案する。 トークンレベルの応答デコーディングは、発話レベルのアクションに条件付けされる。 本手法は,戦略決定および応答品質において,多目的ベースラインよりも優れる。
  論文  参考訳（メタデータ） (2026-08-22T14:15:56Z)
• ALSO: Adversarial Online Strategy Optimization for Social Agents [63.84788516416339]
  社会シミュレーションにおけるオンライン戦略最適化のための最初のフレームワークとしてtextbfALSO (textbfAdrial ontextbfLine textbfStrategy textbfOptimization) を提案する。 ALSOは、スタティック・ペルソナとダイナミック・ストラテジー・インストラクションの組み合わせをアームとして扱う対向バンドイット問題として、マルチターンインタラクションを定式化する。 また、相互作用履歴から報酬を予測する軽量なニューラルサロゲートを導入し、サンプル効率の高い探索と継続的なオンライン適応を可能にしている。
  論文  参考訳（メタデータ） (2026-05-15T09:25:15Z)
• Reinforcement Learning with Anticipation: A Hierarchical Approach for Long-Horizon Tasks [3.79187263097166]
  長期の目標条件付きタスクの解決は、強化学習において重要な課題である。 Reinforcement Learning with Precipation(RLA)は、これらの制限に対処するために設計された、原則付き、潜在的にスケーラブルなフレームワークです。 RLAの主な特徴は予測モデルのトレーニングであり、これは値の幾何的一貫性の原則によって導かれる。
  論文  参考訳（メタデータ） (2025-09-06T00:10:15Z)
• Emergent Hierarchical Reasoning in LLMs through Reinforcement Learning [56.496001894673235]
  強化学習(RL)は,大規模言語モデル(LLM)の複雑な推論能力の向上に有効であることが証明された。 解析の結果,アハモーメント,長さスケーリング,エントロピーのダイナミクスといったファズリング現象は異なる現象ではなく,創発的推論階層の目印であることがわかった。
  論文  参考訳（メタデータ） (2025-09-03T18:52:49Z)
• SOTOPIA-$Ω$: Dynamic Strategy Injection Learning and Social Instruction Following Evaluation for Social Agents [16.320531397370008]
  本稿では,言語エージェントの社会的能力向上のための枠組みを提案する。 本稿では,ソーシャルインストラクション・フォロー(S-IF)の概念を導入し,新しい2つのS-IF評価指標を提案する。 質の高いコーパスで訓練された複数の7Bモデルが,社会目標達成において,専門家エージェント(GPT-4)をはるかに上回るだけでなく,その達成に寄与することが実証された。
  論文  参考訳（メタデータ） (2025-02-21T15:40:37Z)
• EPO: Explicit Policy Optimization for Strategic Reasoning in LLMs via Reinforcement Learning [69.55982246413046]
  戦略的推論のための明示的なポリシー最適化(EPO)を提案する。 我々は,マルチターン強化学習(RL)による戦略的推論モデルを訓練し,プロセス報酬と反復的な自己プレイを活用する。 本研究は, EPOに出現する様々な協調的推論機構と, 新規戦略の創出における有効性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-02-18T03:15:55Z)
• Retrieval-Augmented Hierarchical in-Context Reinforcement Learning and Hindsight Modular Reflections for Task Planning with LLMs [8.55917897789612]
  本研究では,大規模言語モデルを対象とした検索言語強化学習(RAHL)を提案する。 RAHLはLLMベースの高レベルポリシーを使用して複雑なタスクをサブタスクに分解する。 その結果, RAHLは5エピソードで9%, 42%, 10%のパフォーマンス向上が達成できた。
  論文  参考訳（メタデータ） (2024-08-12T22:40:01Z)
• K-Level Reasoning: Establishing Higher Order Beliefs in Large Language Models for Strategic Reasoning [76.3114831562989]
  マルチエージェント環境で戦略を動的に適応させるためには、LLM(Large Language Model)エージェントが必要である。 我々は,「K-Level Reasoning with Large Language Models (K-R)」という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-02T16:07:05Z)
• Hierarchical and Partially Observable Goal-driven Policy Learning with Goals Relational Graph [21.260858893505183]
  目標グラフ(GRG)を用いた新しい2層階層学習手法を提案する。 我々のGRGはディリクレカテゴリーのプロセスを通じて、ゴール空間におけるすべてのゴールの根底にある関係を捉えます。 実験の結果,我々のアプローチは未発見の環境と新しい目標の両方において優れた一般化を示すことがわかった。
  論文  参考訳（メタデータ） (2021-03-01T23:21:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。