Fugu-MT 論文翻訳(概要): Strat-Reasoner: Reinforcing Strategic Reasoning of LLMs in Multi-Agent Games

論文の概要: Strat-Reasoner: Reinforcing Strategic Reasoning of LLMs in Multi-Agent Games

arxiv url: http://arxiv.org/abs/2605.04906v1
Date: Wed, 06 May 2026 13:35:14 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-07 18:41:07.843644
Title: Strat-Reasoner: Reinforcing Strategic Reasoning of LLMs in Multi-Agent Games
Title（参考訳）: Strat-Reasoner:マルチエージェントゲームにおけるLSMの戦略的推論の強化
Abstract要約: 大規模言語モデルは、最終結果が全てのエージェントのジョイント戦略に依存するマルチエージェントゲームで苦労する。既存の単エージェント強化学習アプローチとそのマルチエージェント拡張は、これらの課題に対処することができない。マルチエージェントゲームにおけるLSMの戦略的推論能力を向上させる新しいRLベースのフレームワークであるStrat-Reasonerを提案する。
参考スコア（独自算出の注目度）: 21.17910455412377
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While Large Language Models (LLMs) excel in certain reasoning tasks, they struggle in multi-agent games where the final outcome depends on the joint strategies of all agents. In multi-agent games, the non-stationarity of other agents brings significant challenges on the evaluation of the reasoning process and the credit assignment over multiple reasoning steps. Existing single-agent reinforcement learning (RL) approaches and their multi-agent extensions fail to address these challenges as they do not incorporate other agents in the reasoning process. In this work, we propose Strat-Reasoner, a novel RL-based framework that improves LLMs' strategic reasoning ability in multi-agent games. We introduce a novel recursive reasoning paradigm where an agent's reasoning also integrates other agents' reasoning processes. To provide effective reward signals for the intermediate reasoning sequences, we employ a centralized Chain-of-Thought (CoT) comparison module to evaluate the reasoning quality. Finally, we compute an accurate hybrid advantage and develop a group-relative RL approach to optimize the LLM policy. Experimental results show that Strat-Reasoner substantially improves strategic abilities of underlying LLMs, achieving 22.1\% average performance improvements across various multi-agent games.
Abstract（参考訳）: LLM(Large Language Models)は特定の推論タスクに優れていますが、最終的な結果がすべてのエージェントのジョイント戦略に依存するマルチエージェントゲームでは苦労します。マルチエージェントゲームでは、他のエージェントの非定常性は、推論プロセスの評価と複数の推論ステップに対するクレジット割り当てに重大な課題をもたらす。既存の単エージェント強化学習(RL)アプローチとそのマルチエージェント拡張は、推論プロセスに他のエージェントを組み込まないため、これらの課題に対処できない。本研究では,マルチエージェントゲームにおけるLSMの戦略的推論能力を向上させる新しいRLベースのフレームワークであるStrat-Reasonerを提案する。本稿では,エージェントの推論を他のエージェントの推論プロセスに統合する,新たな再帰的推論パラダイムを提案する。中間推論シーケンスに対して効果的な報酬信号を提供するため,我々は中央集権的なChain-of-Thought(CoT)比較モジュールを用いて推論品質を評価する。最後に,LLM ポリシーを最適化するグループ相対的 RL アプローチを開発した。実験の結果,Strat-ReasonerはLLMの戦略的能力を大幅に向上し,マルチエージェントゲームの平均性能は22.1%向上した。

関連論文リスト

Multimodal Reinforcement Learning with Agentic Verifier for AI Agents [131.46008226323423]
Argosは、エージェントタスクの推論モデルをトレーニングするための、原則化されたマルチモーダル報酬エージェントである。エージェント検証をSFTデータとRLトレーニングの両方で活用することにより、我々のモデルは最先端の結果を得ることができる。
論文参考訳（メタデータ） (2025-12-03T04:42:47Z)
DRAFT-RL: Multi-Agent Chain-of-Draft Reasoning for Reinforcement Learning-Enhanced LLMs [8.532777609640268]
DRAFT-RLは、Chain-of-Draft(CoD)推論をマルチエージェントRLトレーニングに統合する新しいフレームワークである。我々は、コード合成、記号数学、知識集約型QAを含む複雑な推論タスクについて評価する。
論文参考訳（メタデータ） (2025-11-25T16:33:42Z)
OPTAGENT: Optimizing Multi-Agent LLM Interactions Through Verbal Reinforcement Learning for Enhanced Reasoning [14.105640933123325]
大規模言語モデル(LLM)は、数学的および科学的タスクにおいて顕著な推論能力を示している。複雑な推論を強化するため、LLMエージェントの集合的知性を活用するためにマルチエージェントシステムが提案されている。複数エージェントの協調構造を動的に構築・洗練する多エージェント言語強化学習アルゴリズムである$ours$を提案する。
論文参考訳（メタデータ） (2025-10-20T19:07:51Z)
MARS: Reinforcing Multi-Agent Reasoning of LLMs through Self-Play in Strategic Games [30.876486250077956]
我々は、協調ゲームと競争ゲームの両方において、セルフプレイを通じてLLMのマルチエージェント推論を動機付けるエンドツーエンドのRLフレームワークであるMARSを紹介する。 LLMにおける汎用マルチエージェント推論機能を開発するための強力なアプローチとして,戦略ゲームにおけるセルフプレイによるエンドツーエンドのRLトレーニングを確立した。
論文参考訳（メタデータ） (2025-10-17T08:08:06Z)
ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning [53.817538122688944]
Reinforced Meta-thinking Agents (ReMA) を導入し,Large Language Models (LLMs) の推論からメタ思考行動を求める。 ReMAは、推論プロセスを2つの階層的なエージェントに分解する。戦略上の監視と計画を生成するハイレベルなメタ思考エージェントと、詳細な実行のための低レベルな推論エージェントである。単ターン実験による実験結果から、ReMAは複雑な推論タスクにおいて単エージェントRLベースラインよりも優れることが示された。
論文参考訳（メタデータ） (2025-03-12T16:05:31Z)
Approximating Human Strategic Reasoning with LLM-Enhanced Recursive Reasoners Leveraging Multi-agent Hypergames [3.5083201638203154]
我々は、洗練された推論者に適したロールベースのマルチエージェント戦略相互作用フレームワークを実装した。我々は,最新のLCMの推論能力を評価するために,ワンショット2プレーヤ美容コンテストを用いた。実験の結果,人間行動の近似と最適解への到達の両面で,人工推論がベースラインモデルより優れていることがわかった。
論文参考訳（メタデータ） (2025-02-11T10:37:20Z)
From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文参考訳（メタデータ） (2024-11-06T10:35:11Z)
Textualized Agent-Style Reasoning for Complex Tasks by Multiple Round LLM Generation [49.27250832754313]
我々は、llmベースの自律エージェントフレームワークであるAgentCOTを紹介する。それぞれのステップで、AgentCOTはアクションを選択し、それを実行して、証拠を裏付ける中間結果を得る。エージェントCOTの性能を高めるための2つの新しい戦略を導入する。
論文参考訳（メタデータ） (2024-09-19T02:20:06Z)
Improving LLM Reasoning with Multi-Agent Tree-of-Thought Validator Agent [9.439315294704368]
Tree of Thoughts (ToT) 法は複雑な質問応答タスクの推論を改善する可能性を示している。マルチエージェント推論における重要な制限は、'Reasoner'エージェントによる推論経路の浅い探索である。 ToTをベースとしたReasonerエージェントとThought Validatorエージェントを組み合わせた新しいアプローチを提案する。提案手法は,GSM8Kデータセットを用いた場合,既存の手法と比較して優れた性能を示す。
論文参考訳（メタデータ） (2024-09-17T19:54:37Z)
Toward Optimal LLM Alignments Using Two-Player Games [86.39338084862324]
本稿では,対戦相手と防御エージェントの反復的相互作用を含む2エージェントゲームのレンズによるアライメントについて検討する。この反復的強化学習最適化がエージェントによって誘導されるゲームに対するナッシュ平衡に収束することを理論的に実証する。安全シナリオにおける実験結果から、このような競争環境下での学習は、完全に訓練するエージェントだけでなく、敵エージェントと防御エージェントの両方に対する一般化能力の向上したポリシーにつながることが示されている。
論文参考訳（メタデータ） (2024-06-16T15:24:50Z)
Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic [54.2180984002807]
マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-02-24T20:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。