論文の概要: From Passive Delegates to Strategic Negotiators: Reinforcing Social Reasoning in Small Language Models with SocialRL
- arxiv url: http://arxiv.org/abs/2608.13787v1
- Date: Thu, 13 Aug 2026 21:39:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.214919
- Title: From Passive Delegates to Strategic Negotiators: Reinforcing Social Reasoning in Small Language Models with SocialRL
- Title（参考訳）: パッシブ・デリゲートからストラテジック・ネゴシエーターへ:社会RLを用いた小言語モデルにおける社会的推論の強化
- Abstract要約: SocialRLは、社会的推論を直接訓練する一般的なレシピである。
これは、Deal-or-No-Deal、CaSiNo、Craigslist、Job Interview、Calendar、Marketplaceの6つのドメインにわたる4Bモデルに適用される。
各ドメインは同じレシピでドメイン内でトレーニングされ、すべてのポリシは6つすべてで評価されます。
- 参考スコア（独自算出の注目度）: 33.93710310700364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents increasingly act on their users' behalf, handling tasks such as scheduling meetings, comparing offers, and haggling over prices. These principal-driven tasks routinely place the agent across from a counterpart (another user's agent, a seller, a recruiter) whose goals may conflict with its principal's. Yet the dispositions that make an assistant pleasant can make it a poor delegate: a friendly, helpful frontier model may disclose its principal's private information unprompted and concede at the first sign of resistance. We present SocialRL, a general recipe that trains social reasoning directly, and apply it to a 4B model across six domains: Deal-or-No-Deal, CaSiNo, Craigslist, Job Interview, Calendar, and Marketplace. Every domain is trained in-domain under the same recipe, and every policy is evaluated on all six. We find that (1) in-domain training reaches the frontier: on held-out scenarios the 4B matches or exceeds the GPT-5 family per domain, closing 73-122% of the baseline-to-frontier gap on the negotiation games, with 78% of buyer openings anchoring below target versus 3% untrained; (2) cross-domain transfer follows game structure: structurally paired games lift each other, a broad multi-issue donor lifts nearly all domains, and structurally isolated games transfer nothing; (3) guided by this transfer structure, two strategies, cascade RL and multi-teacher on-policy distillation (OPD), consolidate the per-domain specialists into a single unified 4B that reaches 0.627 average utility across all six environments, matching or exceeding GPT-4.1 (0.625), GPT-5.1 (0.619), and GPT-5.2 (0.613); (4) an explicit theory-of-mind scaffold helps only through training: distilling the ToM trace, rather than actions alone, lifts utility on every environment and generalizes better across them, and of the two ToM skills, only next-action prediction predicts negotiation outcomes.
- Abstract（参考訳）: AIエージェントはますますユーザに代わって行動し、ミーティングのスケジューリングやオファーの比較、価格のハグといったタスクに対処する。
これらのプリンシパル駆動のタスクは、目標がプリンシパルと矛盾する可能性がある相手(他のユーザーのエージェント、売り手、リクルーター)にエージェントを配置する。
フレンドリーで有益なフロンティアモデルが、そのプリンシパルの個人情報を公開し、抵抗の最初の兆候を認識させるかもしれない。
ソーシャル推論を直接訓練する一般的なレシピであるSocialRLを紹介し、それを6つのドメイン(Deal-or-No-Deal、CaSiNo、Craigslist、Job Interview、Calendar、Marketplace)にわたる4Bモデルに適用する。
各ドメインは同じレシピでドメイン内でトレーニングされ、すべてのポリシは6つすべてで評価されます。
1)ドメイン内トレーニングがフロンティアに到達すると,(1)ドメインごとのGPT-5ファミリーに一致するか,あるいはドメインごとのGPT-5ファミリーを超えるか,交渉ゲームにおけるベースライン間ギャップの73-122%を終了し,78%のバイヤーオープニングがターゲット以下で3%の未訓練で終了すること,(2)クロスドメイントランスファーはゲーム構造に従うこと,(2) 構造的にペアリングされたゲームが互いに持ち上げられ,広いマルチイシュードナーがほぼすべてのドメインを持ち上げること,(3) この移行構造でガイドされた2つの戦略,2つのカスケードRLとマルチティーチンガー・オン・ポリシー蒸留(OPD)により,ドメインごとのスペシャリストを,GPT-4(0.0.0.6.6.6.6.6.6.6.6.6.6.6.5.6.5.5.5.5.5.5.6.6.6.6.6.6.5.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6 .6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6 .6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.4.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6 .6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6 .6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.4.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6 .6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6 .6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.4,
関連論文リスト
- Privacy-Preserving Topology-Guided Safety for LLM-Based Multi-Agent Systems via Federated Graph Learning [67.04448659688579]
FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
フェデレーションはオプションではなく、オフ・ザ・シェルフ・トランスファーは流通シフトによって崩壊する。
Live FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
論文 参考訳（メタデータ） (2026-09-02T07:57:12Z) - IB-RL: Isolated Bilateral Reinforcement Learning for Strategic Dialogue Agents [7.9227321734048495]
強化学習(Reinforcement Learning, RL)は、数学的推論やコード実行など、定常的で検証可能な報酬を持つタスクにおいて、大きな言語モデル(LLM)を改善する上で大きな成果を上げている。
このようなインタラクティブな性質にもかかわらず、現在のRLアプローチは通常、固定されたエージェントやシミュレータに対してターゲットエージェントを訓練する。
この訓練パラダイムは、政策が相互に共通する戦略を学習するよりも、相補的な正規性を活用することを奨励している。
本稿では,両ロールが共同ロールアウトを通じて共進化し,各ロールが完全に独立したアドバンテージ,アクションマスクを通じて自身の報酬を最適化する,分離型バイラテラル強化学習(IB-RL)を提案する。
論文 参考訳（メタデータ） (2026-08-07T02:59:53Z) - Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent [98.33217711280383]
本稿では,エージェント水平線をスケーリングすることで,パラメータレベルの性能を1兆倍に向上する35B混在エージェントモデルであるAgens-A1を紹介する。
我々は、外部の知識、行動、観察、検証結果を接続する長期の知識-行動基盤を構築します。
Agents-A1は、ロングホライゾンエージェントベンチマークに対して強力で幅広いパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-06-29T17:50:54Z) - SkillDAG: Self-Evolving Typed Skill Graphs for LLM Skill Selection at Scale [54.70985426016736]
本稿では,スキル間関係を型付き有向グラフとしてモデル化したSkillDAGを提案する。
各検索はベクトルマッチング、型付きエッジ隣人、競合信号を返す。
ALFWorldとSkillsBench with MiniMax-M2.7では、SkillDAGは67.1%の成功と27.3%の報酬を得た。
論文 参考訳（メタデータ） (2026-06-02T02:45:21Z) - Prism: Policy Reuse via Interpretable Strategy Mapping in Reinforcement Learning [0.0]
PRISMは、強化学習エージェントの判断を、個別かつ因果的に検証された概念に基礎付けるフレームワークである。
PRISMは各エージェントのエンコーダをK-means経由で$K$のコンセプトにクラスタする。
概念は戦略を因果的にエンコードするので、最適な二部マッチングを通じてそれらを整列させることは戦略的知識をゼロショットにする。
論文 参考訳（メタデータ） (2026-03-04T22:51:22Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - MortgageLLM: Domain-Adaptive Pretraining with Residual Instruction Transfer, Alignment Tuning, and Task-Specific Routing [0.7367330074083941]
ドメイン固有の新しい大規模言語モデルであるMortgageLLMを提案する。
シングルベースモデルからデュアルトラックの特殊化フレームワークを用いて開発されている。
我々は,(1)高度に専門化された住宅ローン金融分野へのこの残留手法の適用,(2)対話型Q&Aモデルと,分類と要約のための構造化タスクモデルを組み合わせたデュアルエキスパートアーキテクチャ,(3)エキスパートモデル自体が行う少数ショット分類を用いたインテリジェントタスクルーティング機構を提案する。
論文 参考訳（メタデータ） (2025-11-26T06:37:57Z) - Agoran: An Agentic Open Marketplace for 6G RAN Automation [16.056731387111725]
Agoranはエージェント型のマーケットプレースで、利害関係者を直接運用ループに持ち込む。
古代ギリシアのアダラに触発され、アゴランは3つの自律的なAI部門に権限を分配した。
ライブデモが公開されています。
論文 参考訳（メタデータ） (2025-08-05T12:17:03Z) - OWL: Optimized Workforce Learning for General Multi-Agent Assistance in Real-World Task Automation [65.15955645757705]
専門的な実行から戦略的計画を切り離す階層的なマルチエージェントフレームワークであるWorkforceを紹介します。
推論中、Workforceはワーカーエージェントの追加や修正によって新しいドメインにシームレスに適応する。
トレーニングには、ドメイン間の一般化を改善する最適化されたワークフォース学習(OWL)を導入する。
論文 参考訳（メタデータ） (2025-05-29T17:51:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。