論文の概要: Reproducing AlphaZero on Tablut: Self-Play RL for an Asymmetric Board Game
- arxiv url: http://arxiv.org/abs/2604.05476v1
- Date: Tue, 07 Apr 2026 06:16:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.655036
- Title: Reproducing AlphaZero on Tablut: Self-Play RL for an Asymmetric Board Game
- Title（参考訳）: Tablut上でAlphaZeroを再現する - 非対称ボードゲームのためのセルフプレイRL
- Abstract要約: 非対称な歴史的ボードゲームであるTablutへのAlphaZero強化学習アルゴリズムの適用について検討する。
100回以上のセルフプレイが実施され、改良されたモデルは着実に改善され、ベイズエロの格付けは1235となった。
実験の結果、AlphaZeroのセルフプレイフレームワークが高度に非対称なゲームに移行できることが確認された。
- 参考スコア（独自算出の注目度）: 0.6574517227976925
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work investigates the adaptation of the AlphaZero reinforcement learning algorithm to Tablut, an asymmetric historical board game featuring unequal piece counts and distinct player objectives (king capture versus king escape). While the original AlphaZero architecture successfully leverages a single policy and value head for symmetric games, applying it to asymmetric environments forces the network to learn two conflicting evaluation functions, which can hinder learning efficiency and performance. To address this, the core architecture is modified to use separate policy and value heads for each player role, while maintaining a shared residual trunk to learn common board features. During training, the asymmetric structure introduced training instabilities, notably catastrophic forgetting between the attacker and defender roles. These issues were mitigated by applying C4 data augmentation, increasing the replay buffer size, and having the model play 25 percent of training games against randomly sampled past checkpoints. Over 100 self-play iterations, the modified model demonstrated steady improvement, achieving a BayesElo rating of 1235 relative to a randomly initialized baseline. Training metrics also showed a significant decrease in policy entropy and average remaining pieces, reflecting increasingly focused and decisive play. Ultimately, the experiments confirm that AlphaZero's self-play framework can transfer to highly asymmetric games, provided that distinct policy/value heads and robust stabilization techniques are employed.
- Abstract（参考訳）: 本研究は,AlphaZero強化学習アルゴリズムを非対称な歴史的ボードゲームであるTablutに適応させることを検討した。
オリジナルのAlphaZeroアーキテクチャは、対称ゲームのための単一のポリシーと値ヘッドをうまく活用するが、それを非対称環境に適用すると、ネットワークは2つの競合する評価関数を学習せざるを得なくなり、学習効率と性能を損なう。
これを解決するため、コアアーキテクチャは、共通のボード機能を学ぶために共有された残留トランクを維持しながら、各プレーヤの役割ごとに別々のポリシーとバリューヘッドを使用するように変更される。
訓練中、非対称構造は訓練不安定性を導入し、特に攻撃者と守備者の役割を忘れてしまった。
これらの問題は、C4データ拡張を適用し、リプレイバッファのサイズを拡大し、ランダムにサンプリングされた過去のチェックポイントに対してトレーニングゲームの25%をプレイすることで緩和された。
100回以上のセルフプレイのイテレーションにおいて、修正されたモデルは安定した改善を示し、ランダムに初期化されたベースラインに対してベイズエロの1235の格付けを達成した。
トレーニング指標はまた、政策のエントロピーと平均的な残り部品の大幅な減少を示し、集中的かつ決定的な役割を反映している。
実験の結果、AlphaZeroの自己プレイフレームワークが高度に非対称なゲームに移行できることが確認された。
関連論文リスト
- Parametric Open Source Games [78.29352305480285]
プログラム平衡の連続的な類似であるパラメトリックオープンソースゲームを導入する。
対称な2時間2ドルゲームにおける利己的な勾配上昇が、欠陥から協調へと切り替わる正確な結合閾値を導出する。
我々は、クロスプレイヤーとセルフプレイヤーの感度の比で一階協調条件が支配されるニューラルネットワークのセマンティクスクラスにフレームワークを拡張した。
論文 参考訳（メタデータ） (2026-06-25T14:14:24Z) - The Attacker in the Mirror: Breaking Self-Consistency in Safety via Anchored Bipolicy Self-Play [16.696570190611112]
セルフプレイレッドチームは、AIの安全性を改善するための確立したアプローチである。
凍結ベースモデル上でロール固有のLoRAアダプタを訓練するAnchored Bipolicy Self-Playを提案する。
パラメータ効率は, 自動調整モデルと比較して, ファインチューニングよりも100倍向上し, 安全性も一貫した改善が得られた。
論文 参考訳（メタデータ） (2026-05-08T19:41:59Z) - MindGames Arena Generalization Track: In2AI Solution with Delayed Per-Step Reward Attribution [45.957713330643934]
マルチエージェント戦略相互作用のための言語モデルエージェントの訓練は、中核的な困難をもたらす。
標準的な強化学習では、報酬は各ステップで割り当てられると仮定しているが、この仮定は時間とエージェントの間で結果が絡み合っている環境では失敗する。
我々は,段階ごとの報酬帰属の遅れに,適度ゲーティング,エピソードライフサイクル,後処理パイプラインを導入している。
論文 参考訳（メタデータ） (2026-04-13T23:59:03Z) - Actor-Curator: Co-adaptive Curriculum Learning via Policy-Improvement Bandits for RL Post-Training [63.34044358216334]
ACTOR-CURATORは、大規模言語モデルの強化学習のためのスケーラブルで完全に自動化されたカリキュラム学習フレームワークである。
経験的に、ACTOR-CURATORは一貫して一様サンプリングと強力なカリキュラムベースラインを上回っている。
論文 参考訳（メタデータ） (2026-02-24T04:19:48Z) - Learning Tennis Strategy Through Curriculum-Based Dueling Double Deep Q-Networks [0.3181222613501246]
テニス戦略最適化は、階層的スコアリング、結果、長期クレジット割り当て、身体的疲労、相手スキルへの適応を含む、挑戦的な意思決定問題である。
本稿では,カリキュラム学習を用いて学習したDueling Double Deep Q-Networkと,独自のテニスシミュレーション環境を統合した強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-20T04:22:07Z) - Yahtzee: Reinforcement Learning Techniques for Stochastic Combinatorial Games [0.0]
我々はMarkov Decision Process (MDP) 法を用いてソリティアのYahtzeeに対して最適なポリシーを定式化する。
我々は様々なポリシー勾配法を用いてセルフプレイエージェントを訓練する。
すべてのモデルは、上位のボーナス戦略を学ぶのに苦労し、4人組でオーバーインデックスします。
論文 参考訳（メタデータ） (2025-12-18T20:03:32Z) - Aspiration-based Perturbed Learning Automata in Games with Noisy Utility Measurements. Part A: Stochastic Stability in Non-zero-Sum Games [0.0]
本稿では,分散最適化のためのペイオフベース学習方式,すなわちアスピレーションベース学習オートマトン(APLA)を提案する。
雑音下での多人数能動ゲームにおけるAPLAの安定性解析を行った。
論文 参考訳（メタデータ） (2025-10-31T18:17:38Z) - Beyond Pass@1: Self-Play with Variational Problem Synthesis Sustains RLVR [110.90317717368264]
RLVRトレーニングのためのオンライン変分問題合成(SvS)戦略を提案する。
この戦略は、トレーニング中のポリシーのエントロピーを効果的に維持し、標準のRLVRと比較してPass@kを大幅に改善する。
論文 参考訳（メタデータ） (2025-08-19T17:42:45Z) - Actor-Critic for Continuous Action Chunks: A Reinforcement Learning Framework for Long-Horizon Robotic Manipulation with Sparse Reward [85.84943447589511]
本稿では,高次元連続行動系列を生成するための新しいRLフレームワークであるAC3(Actor-Critic for Continuous Chunks)を紹介する。
この学習プロセスを安定させ、データ効率を高めるため、AC3はアクターと批評家の両方に目標安定化機構を組み込む。
論文 参考訳（メタデータ） (2025-08-15T01:27:15Z) - SPIRAL: Self-Play on Zero-Sum Games Incentivizes Reasoning via Multi-Agent Multi-Turn Reinforcement Learning [27.20778530252474]
SPIRALは、モデルをマルチターン、ゼロサムゲームで学習し、自身のバージョンを継続的に改善するセルフプレイフレームワークである。
SPIRALを用いることで、ゼロサムゲーム上でのセルフプレイは、広く移動する推論能力を生み出す。
分析により, この伝達は, 系統的分解, 期待値計算, ケース・バイ・ケース分析という3つの認知的パターンを通じて起こることが明らかとなった。
論文 参考訳（メタデータ） (2025-06-30T17:58:13Z) - Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models [64.47869632167284]
従来の言語モデル(LM)の安全性アライメントは、リアクティブで非結合な手順に依存している。
このシーケンシャルなアプローチはミスマッチを生み出し、攻撃者は時代遅れの防御に過度に適合する一方、守備側は出現する脅威に常に遅れをとどめている。
我々は,攻撃者と防御エージェントが継続的なインタラクションを通じて共進化するオンラインセルフプレイ強化学習アルゴリズムであるSelf-RedTeamを提案する。
論文 参考訳（メタデータ） (2025-06-09T06:35:12Z) - Robust Reinforcement Learning using Adversarial Populations [118.73193330231163]
強化学習(Reinforcement Learning, RL)は、コントローラ設計に有効なツールであるが、堅牢性の問題に対処できる。
一つの逆数を使うことは、逆数の標準的なパラメトリゼーションの下での動的変動に一貫して堅牢性をもたらすわけではないことを示す。
本稿では,ロバスト RL の定式化に対する人口ベース増進法を提案する。
論文 参考訳（メタデータ） (2020-08-04T20:57:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。