論文の概要: Stack more levels: how to get general and human-like Mario playing
- arxiv url: http://arxiv.org/abs/2611.16175v1
- Date: Thu, 12 Nov 2026 02:06:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.300333
- Title: Stack more levels: how to get general and human-like Mario playing
- Title(参考訳): より高レベルなスタック:マリオを一般人でも遊べる方法
- Abstract要約: Super Mario Bros.はゲームAIやプロシージャコンテンツ生成(PCG)で広く使われている。
我々は,PCG生成のマリオレベルが増大する中で,PPOエージェントを訓練する。
我々は、有能なPPOポリシーを3つのゲームプレイアーチタイプ - ランナー、キラー、コレクター - に形作る。
- 参考スコア(独自算出の注目度): 5.720697251016051
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Super Mario Bros. is widely used in game AI and procedural content generation (PCG), yet it remains unclear whether a model-free agent can reliably win unseen levels. To address this question, we train Proximal Policy Optimization (PPO) agents on increasingly large sets of PCG-generated Mario levels and evaluate their generalization on 1000 held-out test levels. We then shape competent PPO policies into three gameplay archetypes---runner, killer, and collector. Finally, we fine-tune these PPO policies using Diffusion-Reward Adversarial Imitation Learning (DRAIL) with human gameplay demonstrations. We find that increasing the number of distinct PCG-generated training levels generally improves unseen-level performance, and that fine-tuning PPO policies with DRAIL increases action-level human-likeness while preserving much of the persona induced by PPO pretraining.
- Abstract(参考訳): Super Mario Bros.はゲームAIやプロシージャコンテンツ生成(PCG)で広く使われているが、モデルフリーエージェントが不審なレベルを確実に獲得できるかどうかは不明だ。
この問題に対処するため,PCG生成のマリオレベルが増大する中で,PPOエージェントを訓練し,1000のホールドアウトテストレベルにおけるそれらの一般化を評価する。
次に、有能なPPOポリシーを3つのゲームプレイアーチタイプ – ランナー、キラー、コレクタ – に形成します。
最後に,DRAIL(Diffusion-Reward Adversarial Imitation Learning)を用いてPPOポリシーを微調整する。
DRAILによる微調整によるPPOポリシーは,PPO事前訓練によって引き起こされるペルソナの多くを保存しながら,行動レベルの人間ライクさを増大させる。
関連論文リスト
- IPPO Learns the Game, Not the Team: A Study on Generalization in Heterogeneous Agent Teams [0.0]
マルチエージェント強化学習(MARL、Multi-Agent Reinforcement Learning)は、エージェントが均質なチームメイトとセルフプレイでトレーニングされる設定に一般的にデプロイされる。
本稿では,自己プレイ型PPOエージェントが,トレーニングパートナーの行動に過度に適合することと比較して,基礎となるゲームに根ざした一般的なコーディネーション戦略をどの程度学習するかを検討する。
論文 参考訳(メタデータ) (2025-12-09T18:10:17Z) - Style-Preserving Policy Optimization for Game Agents [3.9039720954900243]
MMPPO(Mixed Proximal Policy Optimization)は、異なるスタイルを維持しながら、既存の準最適エージェントの能力を向上させるように設計されている。
MPPOは、デモ参加者のプレイスタイルを保ちながら、純粋なオンラインアルゴリズムに匹敵する、あるいはそれより優れている熟練度を達成している。
論文 参考訳(メタデータ) (2025-06-20T13:46:06Z) - From $r$ to $Q^*$: Your Language Model is Secretly a Q-Function [50.812404038684505]
我々は,ベルマン方程式を満たす一般逆Q-ラーニングアルゴリズムとして,トークンレベルMDPのDPOを導出できることを示す。
本稿では,マルチターン対話における情報活用,推論,エージェント応用,マルチモデルシステムのエンドツーエンドトレーニングなど,我々の研究の応用について論じる。
論文 参考訳(メタデータ) (2024-04-18T17:37:02Z) - Reward Scale Robustness for Proximal Policy Optimization via DreamerV3
Tricks [27.64248367463575]
この研究はDreamerV3のトリックをPPOに適用し、オリジナルの作品以外の実験的な研究としては初めてである。
本稿では,Arcade Learning EnvironmentとDeepMind Control Suiteの合計1万時間以上のアブレーション研究について紹介する。
これらのトリックによるPPOは、アタリゲーム上でPPOに比較可能であり、報奨クリッピングを伴わずにPPOを著しく上回る。
論文 参考訳(メタデータ) (2023-10-26T22:40:30Z) - Estimating player completion rate in mobile puzzle games using
reinforcement learning [0.0]
我々はRLエージェントを訓練し、レベルを達成するために必要な移動数を測定する。
すると、これは実際のプレイヤーの大量のサンプルのレベル完了率と比較される。
プレイヤー完了率の最も高い予測器は、与えられたレベルにおけるエージェントの5%のベストランのレベルを達成するために取られた動きの数である。
論文 参考訳(メタデータ) (2023-06-26T12:00:05Z) - Can Agents Run Relay Race with Strangers? Generalization of RL to
Out-of-Distribution Trajectories [88.08381083207449]
異種エージェントの制御可能な状態に対する一般化失敗の有病率を示す。
本稿では,学習中のQ関数に従って環境をエージェントの旧状態にリセットする,STA(Self-Trajectory Augmentation)という新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-26T10:12:12Z) - RPM: Generalizable Behaviors for Multi-Agent Reinforcement Learning [90.43925357575543]
本稿では,MARLポリシーを総合性良く訓練するための多様なマルチエージェントトラジェクトリを収集するために,ランク付けされたポリシーメモリ(RPM)を提案する。
RPMにより、マルチエージェントの一般化評価シナリオと完全なタスクにおいて、MARLエージェントが未確認エージェントと対話することが可能になり、平均402%のパフォーマンスが大幅に向上する。
論文 参考訳(メタデータ) (2022-10-18T07:32:43Z) - Mastering the Game of No-Press Diplomacy via Human-Regularized
Reinforcement Learning and Planning [95.78031053296513]
ノープレス外交(No-press Diplomacy)は、協力と競争の両方を含む複雑な戦略ゲームである。
我々は、人間の模倣学習ポリシーに対する報酬最大化ポリシーを規則化する、DiL-piKLと呼ばれる計画アルゴリズムを導入する。
RL-DiL-piKLと呼ばれる自己再生強化学習アルゴリズムに拡張可能であることを示す。
論文 参考訳(メタデータ) (2022-10-11T14:47:35Z) - On Proximal Policy Optimization's Heavy-tailed Gradients [150.08522793940708]
近位政策最適化による報酬関数の勾配の重み付き性質について検討した。
本稿では,標準的なppoクリッピングの効果について検討し,グラデーションの重み付けを相殺する効果があることを示した。
3つのクリッピングトリックの代替として,高次元ロバストな推定器であるGMOMをPPOに組み込むことを提案する。
論文 参考訳(メタデータ) (2021-02-20T05:51:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。