論文の概要: Strategy-Augmented Planning for Large Language Models via Opponent Exploitation
- arxiv url: http://arxiv.org/abs/2505.08459v2
- Date: Sun, 01 Jun 2025 11:53:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-03 16:22:43.36889
- Title: Strategy-Augmented Planning for Large Language Models via Opponent Exploitation
- Title（参考訳）: 対物爆発による大規模言語モデルの戦略強化計画
- Authors: Shuai Xu, Sijia Cui, Yanna Wang, Bo Xu, Qi Wang,
- Abstract要約: LLMエージェントの攻撃的利用能力を大幅に向上させる2段階戦略拡張計画(SAP)フレームワークを提案する。
オフラインの段階では、明示的な戦略空間を構築し、その後戦略評価ネットワーク(SEN)をトレーニングするための戦略アウトカムペアデータを収集する。
オンラインフェーズでは、SAPは相手の戦略を動的に認識し、よく訓練されたSEN上で最良のレスポンス戦略を探索することにより、それらを強引に活用する。
- 参考スコア（独自算出の注目度）: 11.840105106884543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficiently modeling and exploiting opponents is a long-standing challenge in adversarial domains. Large Language Models (LLMs) trained on extensive textual data have recently demonstrated outstanding performance in general tasks, introducing new research directions for opponent modeling. Some studies primarily focus on directly using LLMs to generate decisions based on the elaborate prompt context that incorporates opponent descriptions, while these approaches are limited to scenarios where LLMs possess adequate domain expertise. To address that, we introduce a two-stage Strategy-Augmented Planning (SAP) framework that significantly enhances the opponent exploitation capabilities of LLM-based agents by utilizing a critical component, the Strategy Evaluation Network (SEN). Specifically, in the offline stage, we construct an explicit strategy space and subsequently collect strategy-outcome pair data for training the SEN network. During the online phase, SAP dynamically recognizes the opponent's strategies and greedily exploits them by searching best response strategy on the well-trained SEN, finally translating strategy to a course of actions by carefully designed prompts. Experimental results show that SAP exhibits robust generalization capabilities, allowing it to perform effectively not only against previously encountered opponent strategies but also against novel, unseen strategies. In the MicroRTS environment, SAP achieves a $85.35\%$ performance improvement over baseline methods and matches the competitiveness of reinforcement learning approaches against state-of-the-art (SOTA) rule-based AI. Our code is available at https://github.com/hsushuai/SAP.
- Abstract（参考訳）: 敵ドメインを効果的にモデリングし、悪用することは、敵ドメインにおける長年の課題である。
大規模言語モデル (LLM) は、最近、対向モデリングのための新たな研究方向を導入し、一般的なタスクにおいて顕著な性能を示した。
いくつかの研究は、LLMを直接使用して、対立する記述を包含する精巧なプロンプトコンテキストに基づいて決定を生成することに重点を置いているが、これらのアプローチは、LLMが適切なドメイン知識を持つシナリオに限定されている。
そこで本研究では,重要なコンポーネントである戦略評価ネットワーク(SEN)を活用して,LLMエージェントの攻撃的利用能力を著しく向上する2段階戦略拡張計画(SAP)フレームワークを提案する。
具体的には、オフラインの段階で、明示的な戦略空間を構築し、その後、SENネットワークのトレーニングのためのストラテジーアウトカムペアデータを収集する。
オンラインフェーズでは、SAPは相手の戦略を動的に認識し、十分に訓練されたSEN上で最良のレスポンス戦略を探索し、最後に慎重に設計されたプロンプトによって戦略を行動のコースに翻訳することで、それらを強引に活用する。
実験の結果,SAPは頑健な一般化能力を示し,これまで遭遇していた相手戦略だけでなく,新規で目に見えない戦略にも効果的に対応できることが示唆された。
MicroRTS環境では、SAPはベースラインメソッドよりも85.35ドル%のパフォーマンス向上を実現し、最新技術(SOTA)ルールベースのAIに対する強化学習アプローチの競争力に匹敵する。
私たちのコードはhttps://github.com/hsushuai/SAP.comで公開されています。
関連論文リスト
- Analyzing Mitigation Strategies for Catastrophic Forgetting in End-to-End Training of Spoken Language Models [79.90523648823522]
多段階連続学習は破滅的な忘れを招きかねない。
本稿では, 3つの緩和戦略, モデルマージ, LoRAスケーリング係数の割引, 経験リプレイについて検討する。
その結果,経験的リプレイが最も効果的であることが示され,他の手法と組み合わせることでさらに効果が得られた。
論文 参考訳（メタデータ） (2025-05-23T05:50:14Z) - DYSTIL: Dynamic Strategy Induction with Large Language Models for Reinforcement Learning [27.336254612018404]
専門家によるデモンストレーションからの強化学習は、長い間、困難な研究課題のままである。
行動クローニングとRLトレーニングを併用した既存の最先端手法は、一般化の貧弱さ、サンプル効率の低さ、モデルの解釈可能性の低さに悩まされることが多い。
本稿では,これらの制約を克服するために,大規模言語モデル (LLM) と統合された新たな戦略に基づく強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-06T05:53:09Z) - Reinforcement Learning Environment with LLM-Controlled Adversary in D&D 5th Edition Combat [0.0]
この研究では、より小さなエージェントにDeep Q-Networks(DQN)を採用し、戦略的AI開発のためのテストベッドを作成している。
高度な言語モデルをRLフレームワークに統合し、戦略的意思決定プロセスの強化に成功しました。
論文 参考訳（メタデータ） (2025-03-19T22:48:20Z) - EPO: Explicit Policy Optimization for Strategic Reasoning in LLMs via Reinforcement Learning [69.55982246413046]
戦略的推論のための明示的なポリシー最適化(EPO)を提案する。
EPOはオープンなアクション空間で戦略を提供し、任意のLLMエージェントにプラグインすることで、ゴール指向の振る舞いを動機付けることができる。
社会的および物理的領域にわたる実験は、EPOの長期的なゴールアライメント能力を示す。
論文 参考訳（メタデータ） (2025-02-18T03:15:55Z) - Towards a Unified View of Preference Learning for Large Language Models: A Survey [88.66719962576005]
大きな言語モデル(LLM)は、非常に強力な能力を示す。
成功するための重要な要因の1つは、LLMの出力を人間の好みに合わせることである。
選好学習のすべての戦略を、モデル、データ、フィードバック、アルゴリズムの4つの構成要素に分解する。
論文 参考訳（メタデータ） (2024-09-04T15:11:55Z) - Strategist: Self-improvement of LLM Decision Making via Bi-Level Tree Search [32.657454056329875]
大規模言語モデル(LLM)は、強力な一般化とゼロショット能力を示すが、詳細な計画と意思決定を必要とするタスクに苦労する。
両手法の長所を統合する新しいアプローチであるSTRATEGISTを紹介する。
本研究では,部分情報を持つ競合型マルチターンゲームのための最適戦略学習におけるSTRATEGISTの有効性を実証する。
論文 参考訳（メタデータ） (2024-08-20T08:22:04Z) - LLM as a Mastermind: A Survey of Strategic Reasoning with Large Language Models [75.89014602596673]
戦略推論は、戦略を調整しながら、マルチエージェント設定における敵の行動を理解し、予測する必要がある。
大規模言語モデルを用いた戦略的推論に関連するスコープ,アプリケーション,方法論,評価指標について検討する。
戦略的推論を重要な認知能力として重要視し、将来の研究の方向性や潜在的な改善に関する洞察を提供する。
論文 参考訳（メタデータ） (2024-04-01T16:50:54Z) - K-Level Reasoning: Establishing Higher Order Beliefs in Large Language Models for Strategic Reasoning [76.3114831562989]
マルチエージェント環境で戦略を動的に適応させるためには、LLM(Large Language Model)エージェントが必要である。
我々は,「K-Level Reasoning with Large Language Models (K-R)」という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-02T16:07:05Z) - Strategic Reasoning with Language Models [35.63300060111918]
戦略的推論は、エージェントが様々な状況において他のエージェントと協力し、コミュニケーションし、競合することを可能にする。
既存の戦略ゲームに対するアプローチは、広範なトレーニングに依存しており、再訓練なしに新しいシナリオやゲームに一般化しない戦略を生み出している。
本稿では,AIエージェントの戦略的推論を可能にするために,事前訓練された大規模言語モデルと数発の連鎖例を用いたアプローチを提案する。
論文 参考訳（メタデータ） (2023-05-30T16:09:19Z) - LAS-AT: Adversarial Training with Learnable Attack Strategy [82.88724890186094]
LAS-ATと呼ばれる「学習可能な攻撃戦略」は、モデル堅牢性を改善するための攻撃戦略を自動生成することを学ぶ。
当社のフレームワークは,強靭性向上のためのトレーニングにAEを使用するターゲットネットワークと,AE生成を制御するための攻撃戦略を生成する戦略ネットワークで構成されている。
論文 参考訳（メタデータ） (2022-03-13T10:21:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。