論文の概要: A Gold-Standard Study of What Makes a Lightweight Game-Playing Agent Strong
- arxiv url: http://arxiv.org/abs/2607.06854v1
- Date: Tue, 07 Jul 2026 23:11:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.236624
- Title: A Gold-Standard Study of What Makes a Lightweight Game-Playing Agent Strong
- Title（参考訳）: 軽量ゲームエージェントを強力にする金本位制の研究
- Abstract要約: 不完全な情報カードゲームのための強化学習エージェントは、彼らが訓練する相手と同じくらい強い。
私たちはGin Rummyのために強力な、固定されたルールベースのエキスパートを構築し、それをヤードスティックとしてのみ使用し、トレーニングには使用しません。
100ラン以上にわたって、軽量エージェントを強くする要因を分離します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning agents for imperfect-information card games are only as strong as the opponents they train against, and they are hard to grade, since they beat a random opponent over 99 percent of the time and only tie copies of themselves. So we build a strong, fixed, rule-based expert for Gin Rummy and use it only as a yardstick, never for training. It beats every agent we trained 70 to 99 percent of the time. Across more than a hundred runs, we isolate what makes a lightweight agent stronger. Trust region updates, a well-aimed reward, a curriculum of tougher opponents, warm starting, and keeping the best checkpoint all help, and stacking them lifts a self-play champion from about 30 to 36 percent against the expert. Several ideas did not pay off. Short-term and longer-term reward shaping, learned state embeddings, imitation and DAgger, and a live large language model opponent were each unhelpful, too slow, or too heavy to train at scale. Comparing MLP, convolutional, set-based, attention, and recurrent encoders shows that extra capacity does little to break the ceiling, suggesting the limit is information rather than network size. We add standard baselines (neural fictitious self-play and information set Monte Carlo search) and confirm the approach carries over to Leduc Hold'em, where the optimum is computable. The result is a lightweight, game-agnostic recipe that trains competitive agents without training on the expert, for any game a small model can handle, reported with robust statistics and released as a reusable package.
- Abstract（参考訳）: 不完全な情報カードゲームのための強化学習エージェントは、彼らが訓練する相手と同等に強く、99%の確率でランダムな相手を打ち負かし、自分自身のコピーのみを結び付けるため、格付けが難しい。
そこで私たちは、Gin Rummyのために強力な、固定されたルールベースのエキスパートを構築し、それをヤードスティックとしてのみ使用し、トレーニングには使用しません。
訓練したエージェントの70～99%を上回ります。
100ラン以上にわたって、軽量エージェントを強くする要因を分離します。
信頼できる地域のアップデート、十分な報酬、タフな相手のカリキュラム、ウォームスタート、最高のチェックポイントの維持、そしてそれらを積み重ねることで、自己プレイのチャンピオンを、エキスパートに対して約30%から36%まで引き上げる。
いくつかのアイデアは実現しなかった。
短期的、長期的な報酬形成、学習された状態埋め込み、模倣、DAgger、そしてライブの大規模言語モデルの対戦相手は、それぞれが無力、遅すぎる、あるいは大規模にトレーニングするには重すぎるものだった。
MLP、畳み込み、セットベース、注意、および繰り返しエンコーダを比較すると、余剰容量が天井を壊すことはほとんどなく、限界はネットワークサイズではなく情報であることを示唆している。
我々は、標準的なベースライン(ニューロンの架空の自己表現とモンテカルロ探索の情報セット)を追加し、そのアプローチが最適解が計算可能なLeduc Hold'emへと引き継がれることを確認します。
その結果は軽量でゲームに依存しないレシピで、専門家を訓練せずに競争エージェントを訓練し、小さなモデルならどんなゲームでも扱えるようにし、堅牢な統計で報告し、再利用可能なパッケージとしてリリースする。
関連論文リスト
- Balance, Imbalance, and Rebalance: Understanding Robust Overfitting from
a Minimax Game Perspective [80.51463286812314]
敵対的訓練(AT)はおそらく、頑健な特徴を抽出するための最先端のアルゴリズムである。
ATは、特に学習率(LR)が崩壊した後、深刻な強固な過適合問題に悩まされる。
我々は, LR崩壊が, より強い記憶能力でトレーナーに力を与えることにより, ミニマックスゲーム間のバランスを損なうことを示す。
論文 参考訳（メタデータ） (2023-10-30T09:00:11Z) - All by Myself: Learning Individualized Competitive Behaviour with a
Contrastive Reinforcement Learning optimization [57.615269148301515]
競争ゲームのシナリオでは、エージェントのセットは、彼らの目標を最大化し、敵の目標を同時に最小化する決定を学習する必要があります。
本稿では,競争ゲームの表現を学習し,特定の相手の戦略をどうマップするか,それらを破壊するかを学習する3つのニューラルネットワーク層からなる新しいモデルを提案する。
我々の実験は、オフライン、オンライン、競争特化モデル、特に同じ対戦相手と複数回対戦した場合に、我々のモデルがより良いパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2023-10-02T08:11:07Z) - Population-based Evaluation in Repeated Rock-Paper-Scissors as a
Benchmark for Multiagent Reinforcement Learning [14.37986882249142]
簡単なゲームRock, Paper, Scissorsの繰り返しプレイに基づくマルチエージェント学習のためのベンチマークを提案する。
平均リターンとエクスプロイラビリティの両方に基づいて,エージェントの品質を測定するための指標について述べる。
論文 参考訳（メタデータ） (2023-03-02T15:06:52Z) - Mastering the Game of No-Press Diplomacy via Human-Regularized
Reinforcement Learning and Planning [95.78031053296513]
ノープレス外交(No-press Diplomacy)は、協力と競争の両方を含む複雑な戦略ゲームである。
我々は、人間の模倣学習ポリシーに対する報酬最大化ポリシーを規則化する、DiL-piKLと呼ばれる計画アルゴリズムを導入する。
RL-DiL-piKLと呼ばれる自己再生強化学習アルゴリズムに拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-10-11T14:47:35Z) - Supervised and Reinforcement Learning from Observations in
Reconnaissance Blind Chess [0.0]
本研究では,オリジナルのAlphaGoシステムにインスパイアされたトレーニングアプローチを適用し,リコネッサンス・ブラインドチェスの不完全な情報ゲームをプレイする。
ゲーム状態の完全な記述ではなく,観察のみを用いて,一般に利用可能なゲームレコードの教師エージェントを訓練する。
次に、政治強化学習アルゴリズムであるPhysmal Policy Optimizationを用いて、エージェントの自己プレイによりエージェントの性能を向上させる。
論文 参考訳（メタデータ） (2022-08-03T12:50:19Z) - Reinforcement Learning Agents in Colonel Blotto [0.0]
エージェントベースモデルの特定の例に着目し、強化学習(RL)を用いてエージェントの環境における行動の訓練を行う。
我々はRLエージェントが1つの対戦相手を手動で打ち負かし、対戦相手の数が増えると依然として非常によく機能することを示した。
また、RLエージェントを解析し、最も高いQ値と低いQ値を与えるアクションを見て、どのような戦略が到達したかを調べる。
論文 参考訳（メタデータ） (2022-04-04T16:18:01Z) - Does DQN really learn? Exploring adversarial training schemes in Pong [1.0323063834827415]
筆者らは,チェナーとプールという2つのセルフプレイトレーニングスキームについて検討し,アタリポンのエージェント性能の向上につながることを示す。
また,Chainer や Pool を用いたトレーニングエージェントにより,より予測力の高いネットワークアクティベーションが実現し,重要なゲーム状態の特徴を推定できることを示す。
論文 参考訳（メタデータ） (2022-03-20T18:12:55Z) - L2E: Learning to Exploit Your Opponent [66.66334543946672]
本稿では,暗黙的対向モデリングのための新しい学習フレームワークを提案する。
L2Eは、トレーニング中に異なる相手との対話によって、相手を悪用する能力を取得する。
本稿では, 対戦相手を自動的に生成する新しい対戦相手戦略生成アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-18T14:27:59Z) - Multi-Agent Collaboration via Reward Attribution Decomposition [75.36911959491228]
本稿では,StarCraftのマルチエージェントチャレンジにおいて,最先端のパフォーマンスを実現するコラボレーション型Q-ラーニング(CollaQ)を提案する。
CollaQは様々なStarCraft属性マップで評価され、既存の最先端技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-10-16T17:42:11Z) - Deep Reinforcement Learning for FlipIt Security Game [2.0624765454705654]
本稿では,エージェントが対戦者の異なるクラスに適応し,最適な対ストラテジーを学習する深層学習モデルについて述べる。
FlipItは、プレイヤー、攻撃者、ディフェンダーの双方が共有リソースの所有権を競う2人プレイのセキュリティゲームです。
我々のモデルは、Qラーニングと組み合わせたディープニューラルネットワークであり、リソースの所有時間の最大化のために訓練されている。
論文 参考訳（メタデータ） (2020-02-28T18:26:24Z) - Provable Self-Play Algorithms for Competitive Reinforcement Learning [48.12602400021397]
我々はマルコフゲームの設定の下で、競争力強化学習における自己プレイについて研究する。
自己再生アルゴリズムは、ゲームのT$ステップをプレイした後、後悔の$tildemathcalO(sqrtT)$を達成する。
また, 最悪の場合においても, 時間内に実行可能であることを保証し, 若干悪い後悔を招き, エクスプロイトスタイルのアルゴリズムも導入する。
論文 参考訳（メタデータ） (2020-02-10T18:44:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。