論文の概要: GameSmith: Scaling Zero-Sum Self-Play with Synthesised Games

• arxiv url: http://arxiv.org/abs/2610.13995v1
• Date: Sat, 26 Sep 2026 23:07:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.451158
• Title: GameSmith: Scaling Zero-Sum Self-Play with Synthesised Games
• Title（参考訳）: GameSmith: ゲーム合成によるゼロサムセルフプレイのスケーリング
• Abstract要約: 2人のプレイヤーによるゼロサムゲームでの学習後の大規模言語モデル(LLM)は、検証可能な報酬を提供する。 本稿では,大容量コーパス制限スケーリングにおけるゲーム供給と有利な推定の両方をスケールするGameSmithを提案する。
• 参考スコア（独自算出の注目度）: 44.22485477391687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training large language models (LLMs) on two-player zero-sum games provides a verifiable reward, and the gains have been shown to transfer to general reasoning. Existing pipelines, however, rely on a handful of hand-written games and on advantage estimators tied to them, so both the supply of games and the advantage estimate on a large corpus limit scaling. We present GameSmith, which scales both. An LLM synthesises games inside templates whose reward, observation, and hidden-information code is fixed. Each game is verified by seed-paired replay and by an independent re-implementation of its specification, then expanded into encoding, rule, and size variants, giving 26 new games in 29 families and 336 verified variants from the three SPIRAL templates. The model is distilled from the self-play of a larger teacher (Qwen3-32B) on these games and then trained by self-play reinforcement learning with CRAB, an advantage estimator that credits each decision against a shrinkage estimate of the expected return of its position and is defined on every variant. On Qwen3-4B-Base, distillation raises the 13-benchmark mean pass@1 from 45.5 to 62.5, above the three SPIRAL games at the same budget, and self-play with CRAB reaches 64.9. The ordering holds across models, and transfer grows with the number of game families.
• Abstract（参考訳）: 2プレイヤーゼロサムゲームにおける学習後の大言語モデル(LLM)は、検証可能な報酬を与え、その利益は一般的な推論に移行することが示されている。 しかし、既存のパイプラインは少数の手書きゲームとそれらに結びついた有利な推定器に頼っているため、ゲームの供給と大きなコーパス制限スケーリングの利点の見積の両方が当てはまる。 両方をスケールするGameSmithを紹介します。 LLMは、報酬、観察、隠された情報コードが固定されたテンプレート内のゲームを合成する。 各ゲームはシードペアのリプレイと仕様の再実装によって検証され、その後エンコーディング、ルール、サイズに拡張され、3つのSPIRALテンプレートから26の新たなゲーム、29のファミリー、336のバリデーションが提供される。 モデルは、これらのゲーム上のより大きな教師(Qwen3-32B)の自己プレイから抽出され、次にCRABを用いて自己プレイ強化学習によって訓練される。 Qwen3-4Bベースでは、蒸留により13ベンチマーク平均パス@1が45.5から62.5に上昇し、同じ予算で3つのSPIralゲームよりも高くなり、CRABによるセルフプレイは64.9に達した。 注文はモデルにまたがって行われ、ゲームファミリの数に応じて転送が増加する。

関連論文リスト

• Game2Real-Bench: Do Toy Games Reveal and Transfer to Real-World Visual Reasoning? [49.15607533200217]
  本研究では,玩具ゲームで測定された能力が実世界の視覚的推論と一致しているか,ゲーム事例が移動を支援するかを検討する。 プロシージャで生成した1000個のゲームサンプルを実行可能検証し,400個の実世界のサンプルを共有推論要求に従ってキュレートする。 Pearson と Spearman の相関は 0.935 である。
  論文  参考訳（メタデータ） (2026-10-13T17:55:10Z)
• Towards Improving Sequential Decision-Making in LLM Agents via Experience Memory [3.4935179780034242]
  大規模言語モデルは単発推論タスクで大幅に改善されているが、シーケンシャルな意思決定における性能はよく理解されていない。 本研究では,完全観測可能な2プレイヤーゼロサムゲームについて検討する。 ゲーム後リフレクションとルール抽出は, モデル重みを変更することなく, tic-tac-toeに対して測定可能な改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-08-04T10:12:12Z)
• Chess-World-Model: A 10M-Game Benchmark for Exact State Tracking from Chess Move Sequences [2.7214777196418645]
  我々は1000万の実際のチェスゲームから構築された大規模ステートトラッキングベンチマークであるChess-World-Modelを紹介した。 我々は、負の固有値を持つ因果変換器、ブロック対角SLiCE、Mamba-3、Gated DeltaNetをベンチマークする。 リアルゲームのパフォーマンスは1800万以上のパラメータで飽和するが、ランダムな一様分割は最大4000万まで差別的であり、それ以外はスケールによって隠された失敗を露呈する。
  論文  参考訳（メタデータ） (2026-05-28T15:43:31Z)
• Reproducing AlphaZero on Tablut: Self-Play RL for an Asymmetric Board Game [0.6574517227976925]
  非対称な歴史的ボードゲームであるTablutへのAlphaZero強化学習アルゴリズムの適用について検討する。 100回以上のセルフプレイが実施され、改良されたモデルは着実に改善され、ベイズエロの格付けは1235となった。 実験の結果、AlphaZeroのセルフプレイフレームワークが高度に非対称なゲームに移行できることが確認された。
  論文  参考訳（メタデータ） (2026-04-07T06:16:19Z)
• NitroGen: An Open Foundation Model for Generalist Gaming Agents [101.41866522979548]
  NitroGenは、ジェネラリストゲームエージェントのためのビジョンアクション基盤モデルである。 1000以上のゲームで4万時間のゲームプレイビデオでトレーニングされている。
  論文  参考訳（メタデータ） (2026-01-04T16:24:50Z)
• Game-TARS: Pretrained Foundation Models for Scalable Generalist Multimodal Game Agents [56.25101378553328]
  本稿では,汎用ゲームエージェントであるGame-TARSについて紹介する。 Game-TARSは500B以上のトークンで事前トレーニングされており、様々な軌跡とマルチモーダルデータがある。 実験により、Game-TARSは、オープンワールドMinecraftタスクにおける以前のソータモデルの約2倍の成功率を達成することが示された。
  論文  参考訳（メタデータ） (2025-10-27T17:43:51Z)
• lmgame-Bench: How Good are LLMs at Playing Games? [60.01834131847881]
  本稿では,現代の大規模言語モデル (LLM) エージェントを評価するために,人気ゲームを使用する上での大きな課題について検討する。 我々はlmgame-Benchを導入し、ゲームを信頼性評価に変換する。
  論文  参考訳（メタデータ） (2025-05-21T06:02:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。