論文の概要: Playing social deduction games with reinforcement fine-tuned large language models

• arxiv url: http://arxiv.org/abs/2610.04261v1
• Date: Sat, 03 Oct 2026 03:37:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 12:11:19.185539
• Title: Playing social deduction games with reinforcement fine-tuned large language models
• Title（参考訳）: 強化微調整大言語モデルを用いたソーシャル推論ゲーム
• Abstract要約: 強化微調整(Reinforcement fine-tuning, RFT)は、大規模な言語モデルが人間や他のエージェントと相互作用するアプリケーションにおいて、ますます使われている。 我々は、RFTが大規模言語モデルの社会行動をどのように変化させるかを研究するために、社会的推論ゲームを使用します。
• 参考スコア（独自算出の注目度）: 64.06016482055172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement fine-tuning (RFT) is increasingly used in applications where large language models (LLMs) interact with humans and other agents. Here we use social deduction games to study how RFT changes LLMs' social behaviour. We let fine-tuned and base LLM agents play hidden-role games that require hidden-state inference, social reading and vote steering. Our results show that LLM agents do not reliably acquire social-deduction ability by directly optimizing terminal win--loss outcomes, suggesting that final game results provide a sparse and noisy signal for socially interactive learning. However, RFT is particularly effective at improving social reading, including tasks that require agents to infer hidden roles from public discussion, update beliefs over time and predict other agents' future decisions. We further show that RFT can also improve social influence, including tasks that require agents to steer votes, team approvals and collective decisions, although these gains depend more strongly on behaviourally specific rewards and structured interaction settings. Finally, we show that LLMs' ability to play social deduction games can be further improved through multi-agent social-cognitive reinforcement fine-tuning, which combines social-reading and social-influence signals during same-side multi-agent training. These learned behaviours also receive more favourable human evaluations of strategic competence, persuasiveness and social usefulness. Together, these results enrich our understanding of how RFT changes LLMs' social behaviour and provide a step toward a behavioural learning theory for machine social intelligence.
• Abstract（参考訳）: 強化微調整(Reinforcement fine-tuning, RFT)は、大規模言語モデル(LLM)が人間や他のエージェントと相互作用するアプリケーションにおいて、ますます使われている。 ここでは、社会的推論ゲームを用いて、RTTがLLMの社会的振る舞いをどのように変化させるかを研究する。 我々は,隠れ状態の推論,社会的読書,投票操作を必要とする隠れロールゲームを,微調整およびベースLLMエージェントに行わせる。 以上の結果から, LLMエージェントは端末の勝利-損失結果を直接最適化することにより, ソーシャル・ダクション能力を確実に獲得できないことが示唆され, ソーシャル・インタラクティブな学習において, 最終ゲーム結果が疎結合でノイズの多い信号となることが示唆された。 しかし、RFTは社会的読解を改善するのに特に効果的であり、例えば、エージェントは公共の議論から隠された役割を推測し、時間をかけて信念を更新し、他のエージェントの将来の決定を予測することを要求する。 さらに、RTTは、行動特異的報酬や構造化された相互作用設定に強く依存するが、投票やチーム承認、集団決定をエージェントに要求するタスクなど、社会的影響も改善できることを示す。 最後に,マルチエージェント・マルチエージェント・トレーニングにおいて,ソーシャル・リーディングとソーシャル・インフルエンス・シグナルを組み合わせたマルチエージェント・ソーシャル認知強化微調整により,LLMのソーシャル・デダクション・ゲームプレイ能力をさらに向上させることができることを示す。 これらの学習行動はまた、戦略的能力、説得力、社会的有用性のより好ましい評価を受ける。 これらの結果は、RTTがLLMの社会行動をどのように変えるかについての理解を深め、機械社会知能のための行動学習理論へのステップを提供する。

関連論文リスト

• Social Gym and SPaRTan: Benchmarking and Improving LLM Social Reasoning via Multi-Agent Game Tournaments [33.6358292917346]
  ソーシャルギム(Social Gym)は、ゲーム間リーダーボードを備えた21のマルチエージェントソーシャルゲーム環境である。 次に、トレーニング不要な自己改善ループであるSPaRTanを提案する。 以上の結果から,SPaRTanのプレイブックはGPT-5-miniエージェントの能力向上に有効であるが,Qwen3-32Bの性能向上には至らなかった。
  論文  参考訳（メタデータ） (2026-08-10T05:12:56Z)
• Communicate-Predict-Act: Evaluating Social Intelligence of Agents [15.575081867336529]
  我々は,大規模言語モデル(LLM)のソーシャルインテリジェンスを研究するために,複合協調型および競争型ソーシャルゲームのマルチプレイヤーアリーナを導入する。 ゲームプレイのトレースを分析し,行動予測,コミュニケーション的影響,戦略的推論,競合する利益の下でのトレードオフを捉えた社会認知的指標を抽出する。
  論文  参考訳（メタデータ） (2026-04-09T19:40:15Z)
• SOTOPIA-$π$: Interactive Learning of Socially Intelligent Language Agents [73.35393511272791]
  本稿では,対話型学習手法であるSOTOPIA-$pi$を提案する。 この手法は,大規模言語モデル(LLM)の評価に基づいて,フィルタリングされた社会的相互作用データに対する行動クローニングと自己強化トレーニングを活用する。
  論文  参考訳（メタデータ） (2024-03-13T17:17:48Z)
• LLM-Based Agent Society Investigation: Collaboration and Confrontation in Avalon Gameplay [55.12945794835791]
  Avalon をテストベッドとして使用し,システムプロンプトを用いてゲームプレイにおける LLM エージェントの誘導を行う。 本稿では,Avalonに適した新しいフレームワークを提案し,効率的なコミュニケーションと対話を容易にするマルチエージェントシステムを提案する。 その結果、適応エージェントの作成におけるフレームワークの有効性を確認し、動的社会的相互作用をナビゲートするLLMベースのエージェントの可能性を提案する。
  論文  参考訳（メタデータ） (2023-10-23T14:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。