論文の概要: Reinforcement Learning for the Game of Balatro: A Fast Simulator and Two-Policy Training Approach

• arxiv url: http://arxiv.org/abs/2610.39049v1
• Date: Wed, 28 Oct 2026 23:24:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.433515
• Title: Reinforcement Learning for the Game of Balatro: A Fast Simulator and Two-Policy Training Approach
• Title（参考訳）: バラトロゲームのための強化学習--高速シミュレータと2段階学習アプローチ
• Abstract要約: 2024年のローグ風のデッキビルダーであるバラトロは、歴史的に強化学習手法を脱線させた3つの難題を提示している。 本研究では, (i) (i) (i) (i) (i) (i) (i)) (i) (ii) (ii) 法的移動の動的ステップごとのマスキングを伴う凝縮された観察-アクションインターフェース, (iii) プレイを戦術的な盲点ポリシーと戦略的なショップポリシーに分解するマルチエージェントPPOアーキテクチャからなるエンドツーエンドパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Balatro, a 2024 roguelike deckbuilder, presents three difficulties that have historically derailed reinforcement learning methods: a 3,000-action state-dependent action space, horizons of several hundred decisions with sparse rewards, and pervasive stochasticity in both card draws and shop generation. Published RL results on the game remain scarce. We introduce an end-to-end pipeline comprising (i) a high-throughput Rust simulator that is automatically state-diffed against the live game client via BalatroBot, (ii) a condensed observation-action interface with dynamic per-step masking of legal moves, and (iii) a multi-agent PPO architecture that decomposes play into a tactical blind policy and a strategic shop policy that share the full game state but act in disjoint phases. Long-horizon credit assignment is partially addressed by per-agent reward routing with explicit cross-agent credit. On the main joint run, training metrics show a sharp phase transition in which the first-blind clear rate converges above 99% and mean episode return increases by roughly an order of magnitude, plateauing at a mean maximum ante of 3 out of 8; single-agent baselines under identical rewards oscillated between greedy and hoarding failure modes and did not stably clear the first blind. These results establish the two-policy decomposition as a strong reactive baseline for Balatro and localise the remaining gap to long-horizon strategic planning rather than tactical blind play.
• Abstract（参考訳）: 2024年のローグのようなデッキビルダーであるバラトロは、歴史的に強化学習手法を脱線させた3つの困難を提示している。 ゲーム上でのRLの結果は乏しい。 エンド・ツー・エンドのパイプラインを導入します。 i) BalatroBotを介して、ライブゲームクライアントに対して自動的に状態差分される高スループットのRustシミュレータ。 二 法的動きの動的段差マスキングによる凝縮された観察-行動インターフェース 三 プレイを分解したマルチエージェントのPPOアーキテクチャで、戦術的なブラインドポリシーと、ゲーム状態を完全に共有するが、相違する状態に作用する戦略的なショップポリシーに分解する。 ロングホライゾンクレジットの割り当ては、部分的には、明示的なクロスエージェントクレジットを持つアジェント単位の報酬ルーティングによって対処される。 メインジョイントランでは,第1盲目クリアレートが99%以上収束し,第1盲目クリアレートが約1桁増加し,平均最大アントが8点中3点まで上昇する急激な位相遷移を示す。 これらの結果は、バラトロの強力な反応性ベースラインとして二国政治の分解を確立し、戦術的なブラインドプレイではなく、長期戦略計画への残りのギャップをローカライズする。

関連論文リスト

• RoXDrive: Closed-Loop Reinforcement Learning for End-to-End Autonomous Driving via Action-Faithful Rollouts [98.41251854883184]
  強化学習(RL)ポストトレーニングは、現在のアプローチに代わる有望な代替手段を提供する。 ビデオワールドモデルは、現実的な多段階の将来のロールアウトを生成する能力を示したが、アクション条件を忠実に反映しないかもしれない。 本稿では,信頼性の高いポリシ最適化を実現するプラグイン・アンド・プレイクローズドループRLフレームワークであるRoXDriveを紹介する。
  論文  参考訳（メタデータ） (2026-09-29T06:59:50Z)
• CounterPlay: Counterfactual Post-Training for Self-Play Driving Policies [16.371893719042827]
  本稿では,反実的自己学習型ポストトレーニング手法であるCounterPlayを提案する。 CounterPlayは失敗したタスクからバックトラックを取得し、別のドライブスタイルでリトライする。 BehaviorBenchでは、CounterPlayはInteractiveとRandomの2つの分割で最先端のスコアを得る。
  論文  参考訳（メタデータ） (2026-09-18T11:00:14Z)
• Hierarchical Belief Modeling for Zero-Shot Opponent Adaptation in Partially Observable Multi-Agent Navigation [9.529619955597216]
  Lux AI 第3シーズンでは、エージェントは部分観測可能性、ランダム化されたエピソードレベルのダイナミクス、そして戦術実行と迅速な適応の両方に報酬を与える5つのマッチ構造の下で行動する必要がある。 本稿では,対称性を意識した空間認識,二重メモリの信念追跡,中心的な残差グラフの注目,情報ゲイン駆動探索,および反対条件付き政策混合を組み合わせた階層型エージェントであるHoriZONを提案する。
  論文  参考訳（メタデータ） (2026-09-11T04:17:38Z)
• SAGA: Scene-Aware, Goal-Evolving Agents for Long-Horizon CivRealm Strategy Planning [17.107639191978496]
  複雑な戦略ゲームにおける長期戦略計画では、不完全な情報とまばらな報酬の下での同時推論が要求される。 本稿では,1種類の障害を直接対象とする3つのメカニズムを持つLLMマルチエージェントフレームワークであるSAGAについて述べる。 2つの最強の基準線よりも低いばらつきで、環境の唯一の希薄な客観的報酬である文明の最高点に達する。
  論文  参考訳（メタデータ） (2026-06-29T08:07:35Z)
• MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs [54.81359054218573]
  大規模言語モデル(LLM)のためのマルチゲームアリーナと評価プラットフォームであるMindgamesを紹介する。 Mindgamesは、統合されたインタラクションインターフェース、TrueSkillベースの評価、および4つのゲーム環境にわたる完全な軌跡ログを提供する。 我々は,決定論的オフライントーナメントプロトコルMG-Refとともに,ターンレベルの観察,アクション,報酬を含む29,571個のマルチエージェントゲームを分析した。
  論文  参考訳（メタデータ） (2026-05-28T07:33:47Z)
• MindGames Arena Generalization Track: In2AI Solution with Delayed Per-Step Reward Attribution [45.957713330643934]
  マルチエージェント戦略相互作用のための言語モデルエージェントの訓練は、中核的な困難をもたらす。 標準的な強化学習では、報酬は各ステップで割り当てられると仮定しているが、この仮定は時間とエージェントの間で結果が絡み合っている環境では失敗する。 我々は,段階ごとの報酬帰属の遅れに,適度ゲーティング,エピソードライフサイクル,後処理パイプラインを導入している。
  論文  参考訳（メタデータ） (2026-04-13T23:59:03Z)
• RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
  対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
  論文  参考訳（メタデータ） (2025-04-24T17:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。