論文の概要: Style-Preserving Policy Optimization for Game Agents

• arxiv url: http://arxiv.org/abs/2506.16995v2
• Date: Thu, 07 Aug 2025 16:00:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 21:11:55.584311
• Title: Style-Preserving Policy Optimization for Game Agents
• Title（参考訳）: ゲームエージェントのスタイル保存ポリシー最適化
• Authors: Lingfeng Li, Yunlong Lu, Yongyi Wang, Wenxin Li,
• Abstract要約: MMPPO(Mixed Proximal Policy Optimization)は、異なるスタイルを維持しながら、既存の準最適エージェントの能力を向上させるように設計されている。 MPPOは、デモ参加者のプレイスタイルを保ちながら、純粋なオンラインアルゴリズムに匹敵する、あるいはそれより優れている熟練度を達成している。
• 参考スコア（独自算出の注目度）: 0.8678250057211367
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Proficient game agents with diverse play styles enrich the gaming experience and enhance the replay value of games. However, recent advancements in game AI based on reinforcement learning have predominantly focused on improving proficiency, whereas methods based on evolution algorithms generate agents with diverse play styles but exhibit subpar performance compared to RL methods. To address this gap, this paper proposes Mixed Proximal Policy Optimization (MPPO), a method designed to improve the proficiency of existing suboptimal agents while retaining their distinct styles. MPPO unifies loss objectives for both online and offline samples and introduces an implicit constraint to approximate demonstrator policies by adjusting the empirical distribution of samples. Empirical results across environments of varying scales demonstrate that MPPO achieves proficiency levels comparable to, or even superior to, pure online algorithms while preserving demonstrators' play styles. This work presents an effective approach for generating highly proficient and diverse game agents, ultimately contributing to more engaging gameplay experiences.
• Abstract（参考訳）: 多様なプレイスタイルを持つ熟練したゲームエージェントは、ゲーム体験を豊かにし、ゲームのリプレイ価値を高める。 しかし、強化学習に基づくゲームAIの最近の進歩は、習熟度の向上に重点を置いているのに対し、進化アルゴリズムに基づく手法は、多種多様なプレイスタイルを持つエージェントを生成するが、RL法と比較してサブパーパフォーマンスを示す。 このギャップに対処するため,本論文では,既存の最適エージェントの能力を向上させるために,異なるスタイルを維持しながらMPPO(Mixed Proximal Policy Optimization)を提案する。 MPPOは、オンラインとオフラインの両方のサンプルの損失目標を統一し、サンプルの実験的分布を調整することで、実証者のポリシーを近似する暗黙の制約を導入する。 様々なスケールの環境にまたがる実証的な結果から、MPPOはデモ参加者のプレイスタイルを保ちながら、純粋なオンラインアルゴリズムに匹敵する、あるいはそれ以上の熟練度を達成していることがわかる。 この研究は、高度に熟練した多様なゲームエージェントを生成するための効果的なアプローチを示し、最終的にはより魅力的なゲームプレイ体験に寄与する。

関連論文リスト

• Mxplainer: Explain and Learn Insights by Imitating Mahjong Agents [0.8088999193162028]
  本稿では,ブラックボックスエージェントのパラメータを学習するために,等価ニューラルネットワークに変換可能なパラメータ化探索アルゴリズムであるMxplainerを紹介する。 AIと人間プレイヤーのデータを用いて行われた実験は、学習されたパラメータがエージェントの特性やプレイスタイルに対する人間の理解可能な洞察を提供することを示した。
  論文  参考訳（メタデータ） (2025-06-17T07:07:13Z)
• Preference-based opponent shaping in differentiable games [3.373994463906893]
  そこで我々は,エージェントの嗜好を協調に向けて形作ることによって,戦略学習プロセスを強化するためのPBOS法を提案する。 様々な異なるゲームにおいてPBOSアルゴリズムの性能を検証する。
  論文  参考訳（メタデータ） (2024-12-04T06:49:21Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Toward Optimal LLM Alignments Using Two-Player Games [86.39338084862324]
  本稿では,対戦相手と防御エージェントの反復的相互作用を含む2エージェントゲームのレンズによるアライメントについて検討する。 この反復的強化学習最適化がエージェントによって誘導されるゲームに対するナッシュ平衡に収束することを理論的に実証する。 安全シナリオにおける実験結果から、このような競争環境下での学習は、完全に訓練するエージェントだけでなく、敵エージェントと防御エージェントの両方に対する一般化能力の向上したポリシーにつながることが示されている。
  論文  参考訳（メタデータ） (2024-06-16T15:24:50Z)
• Reinforcement Learning for High-Level Strategic Control in Tower Defense Games [47.618236610219554]
  戦略ゲームにおいて、ゲームデザインの最も重要な側面の1つは、プレイヤーにとっての挑戦の感覚を維持することである。 従来のスクリプティング手法と強化学習を組み合わせた自動手法を提案する。 その結果、強化学習のような学習アプローチとスクリプトAIを組み合わせることで、AIのみを使用するよりも高性能で堅牢なエージェントが生まれることが示された。
  論文  参考訳（メタデータ） (2024-06-12T08:06:31Z)
• Best Response Shaping [1.0874100424278175]
  LOLAとPOLAのエージェントは、相手のルックアヘッド最適化ステップを通じて、相互性に基づく協調政策を区別することで学習する。 彼らはいくつかの最適化ステップを考慮するので、そのリターンを最適化するために多くのステップを踏む学習相手がそれらを活用できるかもしれない。 そこで本研究では,Best Response Shaping (BRS) という新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-04-05T22:03:35Z)
• DanZero+: Dominating the GuanDan Game through Reinforcement Learning [95.90682269990705]
  我々は、GuanDanという、非常に複雑で人気のあるカードゲームのためのAIプログラムを開発した。 私たちはまず、DanZeroという名のAIプログラムをこのゲームのために提案しました。 AIの能力をさらに強化するために、政策に基づく強化学習アルゴリズムをGuanDanに適用する。
  論文  参考訳（メタデータ） (2023-12-05T08:07:32Z)
• Learning Diverse Risk Preferences in Population-based Self-play [23.07952140353786]
  現在のセルフプレイアルゴリズムはエージェントを最適化し、現在のコピーや歴史的なコピーに対して期待される勝利率を最大化する。 我々は,不確実性に直面したエージェントが多様なリスク嗜好を持つという観点から,多様性を導入する。 本手法は,競技ゲームにおいて,同等あるいは優れた性能を達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-19T06:56:02Z)
• Building a 3-Player Mahjong AI using Deep Reinforcement Learning [9.603486077267693]
  我々は,深層強化学習を用いたサンマのAIであるMeowjongを紹介する。 Meowjongのモデルは、4人のMahjongのAIに匹敵するテスト精度を達成する。 Sanmaで最初のAIである私たちは、Meowjongがこのゲームの最先端技術であると主張している。
  論文  参考訳（メタデータ） (2022-02-25T17:41:43Z)
• A Ranking Game for Imitation Learning [22.028680861819215]
  模倣を、$textitpolicy$と$textitreward$関数の間の2プレイヤーランキングベースのStackelbergゲームとして扱う。 このゲームは、オフラインの好みから学習する逆強化学習(IRL)法と方法の両方の多くのサブセットを含んでいる。 本研究では,均衡条件下での準最適模倣学習を容易にするために,政策性能のランク付けに使用される損失関数の要件を理論的に分析する。
  論文  参考訳（メタデータ） (2022-02-07T19:38:22Z)
• Learning Meta Representations for Agents in Multi-Agent Reinforcement Learning [12.170248966278281]
  多エージェント強化学習では、エージェントが1つのマルコフゲーム(MG)で学習する振る舞いは、通常、与えられたエージェント番号に制限される。 本研究は,人口変動型MGを対象とするエージェントの創出に焦点をあてる。 一元的なポリシーを学ぶ代わりに、各エージェントは、様々なゲームにまたがる効果的な戦略を構成するポリシーセットを学ぶ。
  論文  参考訳（メタデータ） (2021-08-30T04:30:53Z)
• Semi-On-Policy Training for Sample Efficient Multi-Agent Policy Gradients [51.749831824106046]
  本稿では,オンライン政策グラデーション手法のサンプル非効率性に効果的かつ効率的な手法として,セミ・オン・ポリティ(SOP)トレーニングを導入する。 提案手法は,様々なSMACタスクにおいて,最先端の値ベース手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-04-27T19:37:01Z)
• Policy Fusion for Adaptive and Customizable Reinforcement Learning Agents [137.86426963572214]
  異なる行動政策を結合して有意義な「融合」政策を得る方法を示す。 事前学習されたポリシーを組み合わせるための4つの異なるポリシー融合手法を提案する。 これらの手法がゲーム制作や設計に実際どのように役立つのか,実例とユースケースをいくつか紹介する。
  論文  参考訳（メタデータ） (2021-04-21T16:08:44Z)
• Portfolio Search and Optimization for General Strategy Game-Playing [58.896302717975445]
  ローリングホライズン進化アルゴリズムに基づく最適化とアクション選択のための新しいアルゴリズムを提案する。 エージェントのパラメータとポートフォリオセットの最適化について,N-tuple Bandit Evolutionary Algorithmを用いて検討する。 エージェントの性能分析により,提案手法はすべてのゲームモードによく一般化し,他のポートフォリオ手法よりも優れることが示された。
  論文  参考訳（メタデータ） (2021-04-21T09:28:28Z)
• Generating Diverse and Competitive Play-Styles for Strategy Games [58.896302717975445]
  ターン型戦略ゲーム(Tribes)のためのプログレッシブアンプランによるPortfolio Monte Carlo Tree Searchを提案する。 品質分散アルゴリズム(MAP-Elites)を使用して異なるプレイスタイルを実現し、競争レベルを維持しながらパラメータ化する方法を示します。 その結果,このアルゴリズムは,トレーニングに用いるレベルを超えて,幅広いゲームレベルにおいても,これらの目標を達成できることが示された。
  論文  参考訳（メタデータ） (2021-04-17T20:33:24Z)
• On the Power of Refined Skat Selection [1.3706331473063877]
  Skatは魅力的なカードゲームで、現代のAIシステムの本質的な課題の多くを示しています。 洗練されたskat評価機能に基づくハードエキスパートルールとスコアリング関数を提案する。 実験では、精巧なskat pingアルゴリズムがボットの演奏性能に与える影響を強調した。
  論文  参考訳（メタデータ） (2021-04-07T08:54:58Z)
• Forgetful Experience Replay in Hierarchical Reinforcement Learning from Demonstrations [55.41644538483948]
  本稿では,複雑な視覚環境において,エージェントが低品質な実演を行えるようにするためのアプローチの組み合わせを提案する。 提案した目標指向のリプレイバッファ構築により,エージェントはデモにおいて複雑な階層的タスクを解くためのサブゴールを自動的に強調することができる。 私たちのアルゴリズムに基づくこのソリューションは、有名なMineRLコンペティションのすべてのソリューションを破り、エージェントがMinecraft環境でダイヤモンドをマイニングすることを可能にする。
  論文  参考訳（メタデータ） (2020-06-17T15:38:40Z)
• Enhanced Rolling Horizon Evolution Algorithm with Opponent Model Learning: Results for the Fighting Game AI Competition [9.75720700239984]
  本稿では,RHEA(Rolling Horizon Evolution Algorithm)と対向モデル学習を組み合わせた新しいアルゴリズムを提案する。 2019年の競争で上位5つのボットのうち、モンテカルロツリーサーチ(MCTS)を使用しないボットは、ポリシーグラディエントベースの対戦モデルによるボットのみである。
  論文  参考訳（メタデータ） (2020-03-31T04:44:33Z)
• Suphx: Mastering Mahjong with Deep Reinforcement Learning [114.68233321904623]
  我々は、新たに導入されたいくつかの技術を用いた深層強化学習に基づいて、Suphxという名のマフジョンのためのAIを設計する。 Suphxは、安定したランクの点で、ほとんどのトップの人間プレイヤーよりも強いパフォーマンスを示している。 コンピュータプログラムがマヒョンで最上位の人間プレイヤーを上回るのは、これが初めてである。
  論文  参考訳（メタデータ） (2020-03-30T16:18:16Z)
• Efficient exploration of zero-sum stochastic games [83.28949556413717]
  ゲームプレイを通じて,ゲームの記述を明示せず,託宣のみにアクセス可能な,重要で一般的なゲーム解決環境について検討する。 限られたデュレーション学習フェーズにおいて、アルゴリズムは両方のプレイヤーのアクションを制御し、ゲームを学習し、それをうまくプレイする方法を学習する。 私たちのモチベーションは、クエリされた戦略プロファイルの支払いを評価するのにコストがかかる状況において、利用可能性の低い戦略を迅速に学習することにあります。
  論文  参考訳（メタデータ） (2020-02-24T20:30:38Z)
• Provable Self-Play Algorithms for Competitive Reinforcement Learning [48.12602400021397]
  我々はマルコフゲームの設定の下で、競争力強化学習における自己プレイについて研究する。 自己再生アルゴリズムは、ゲームのT$ステップをプレイした後、後悔の$tildemathcalO(sqrtT)$を達成する。 また, 最悪の場合においても, 時間内に実行可能であることを保証し, 若干悪い後悔を招き, エクスプロイトスタイルのアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-02-10T18:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。