論文の概要: Chess on Ice: Curling Tactical Decision-Making via Backward Induction and Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.02379v1
- Date: Mon, 03 Aug 2026 15:23:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.624154
- Title: Chess on Ice: Curling Tactical Decision-Making via Backward Induction and Deep Reinforcement Learning
- Title(参考訳): 氷のチェス:後方誘導と深部強化学習による戦術的意思決定
- Abstract要約: カーリングにおける選択肢を定量的に評価・比較できる強化学習フレームワークを提案する。
我々は、ゲームにおける有限水平構造を利用するために、Deep Deterministic Policy Gradient actor-criticアルゴリズムを用いる。
実効的なカーリング戦略は人手による注釈付きデータなしで完全に自己管理的に得ることができることを示す。
- 参考スコア(独自算出の注目度): 10.932188857276605
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Curling is often referred to as "Chess on Ice", owing to the tactical complexity of its decision-making process. Yet unlike chess, curling remains largely underexplored from a machine learning perspective, with prior work confined mainly to statistical approaches. We propose a reinforcement learning framework capable of quantitatively evaluating and comparing tactical options in curling. The game poses several modeling challenges: continuous state and action spaces, stochastic action outcomes reflecting player skill variability, and state transitions that are highly sensitive to small perturbations in the executed action. To address them, we employ the Deep Deterministic Policy Gradient actor-critic algorithm, adapted to exploit the finite-horizon structure of the game. Our experiments show that effective curling strategies can be acquired in a fully self-supervised manner, without any human-annotated data: on a reduced four-rock variant, the learned agent matches a hand-crafted expert heuristic in a regime where that heuristic is close to optimal, a parity we quantify against the intrinsic hammer advantage of the variant. Beyond the resulting policy, the learned critic provides a dense value estimate over the entire continuous action space, enabling the quantitative comparison of tactical alternatives for applications such as post-game performance analysis and decision support during athlete preparation.
- Abstract(参考訳): カーリングは、その意思決定過程の戦術的な複雑さのため、しばしば「氷のチェス」と呼ばれる。
しかし、チェスとは異なり、カーリングは機械学習の観点からほとんど探索されていないままであり、以前の作業は主に統計的アプローチに限られていた。
カーリングにおける戦術的選択肢を定量的に評価・比較できる強化学習フレームワークを提案する。
このゲームは、連続状態とアクション空間、プレイヤーのスキルの変動を反映する確率的なアクション結果、実行されたアクションの小さな摂動に非常に敏感な状態遷移など、いくつかのモデリング上の課題を提起する。
これらの問題に対処するために、ゲーム内の有限水平構造を利用するように適応したDeep Deterministic Policy Gradient actor-criticアルゴリズムを用いる。
実効的なカーリング戦略は,人間に注釈を付けることなく,完全に自己管理された方法で取得できることが実験により示された。4岩版では,学習エージェントは,ヒューリスティックが最適に近い状況下で手作りのエキスパートヒューリスティックと一致し,本質的なハンマーの利点に対して定量化できる。
結果として得られたポリシーの他に、学習した批評家は、連続的なアクション空間全体に対して密度の高い値の推定を提供し、競技後のパフォーマンス分析やアスリートの準備中の意思決定支援といった応用のための戦術的選択肢の定量的比較を可能にする。
関連論文リスト
- GenTac: Generative Modeling and Forecasting of Soccer Tactics [66.35532694378146]
GenTacはサッカーの戦術を、連続したマルチプレイヤーの軌跡と個別の意味的な出来事のプロセスとして概念化している。
対戦行動、特定のチームやリーグプレースタイル、戦略的目的など、リッチなコンテキスト条件付けをサポートする。
バスケットボール、アメリカンフットボール、アイスホッケーなど、他のダイナミックチームスポーツへの一般化をうまく訓練することができる。
論文 参考訳(メタデータ) (2026-04-13T17:53:49Z) - Oracle-Guided Soft Shielding for Safe Move Prediction in Chess [2.731293010500297]
チェスのような環境に対する既存の強化学習アプローチでは、何十万ものエピソードとかなりの計算資源を集約する必要がある。
我々は、より安全な意思決定のためのシンプルで効果的なフレームワークであるOracle-Guided Soft Shielding (OGSS)を提案する。
以上の結果から,OGSSの変種は,エージェントの探索比が増大しても,低いブラダーレートを維持していることが明らかとなった。
論文 参考訳(メタデータ) (2026-03-09T15:40:01Z) - How Far Are LLMs from Professional Poker Players? Revisiting Game-Theoretic Reasoning with Agentic Tool Use [52.394999779049606]
大規模言語モデル(LLMs)は、ハイテイクなドメインにますます適用されています。
LLMは従来のアルゴリズムと競合しない。
ツール統合推論フレームワークであるToolPokerを提案する。
論文 参考訳(メタデータ) (2026-01-31T05:45:25Z) - Expandable Decision-Making States for Multi-Agent Deep Reinforcement Learning in Soccer Tactical Analysis [6.8055385768376615]
サッカーなどの侵入チームスポーツは、多くの選手が共有フィールドで相互作用するときに、高次元で強く結合された状態空間を作り出す。
従来のルールに基づく分析は直感的であるが、現代の予測機械学習モデルは明示的なエージェント表現なしでパターンマッチングを行うことが多い。
本稿では,関係変数による原位置と速度を増大させる意味的にリッチな状態表現である拡張可能意思決定状態(EDMS)を提案する。
論文 参考訳(メタデータ) (2025-10-01T04:01:51Z) - Aspect-based Sentiment Evaluation of Chess Moves (ASSESS): an NLP-based Method for Evaluating Chess Strategies from Textbooks [3.652509571098292]
本研究は, テキストに基づくチェスの動きを評価する手段として, 修正感情分析法の適用可能性について検討する。
移動行動句から洞察を抽出することにより,よりきめ細やかで文脈的に認識されたチェスの動きに基づく感情分類を提供することが目的である。
論文 参考訳(メタデータ) (2024-05-10T14:23:43Z) - A Minimaximalist Approach to Reinforcement Learning from Human Feedback [49.45285664482369]
人間のフィードバックから強化学習を行うアルゴリズムとして,SPO(Self-Play Preference Optimization)を提案する。
我々のアプローチは、報酬モデルや不安定な敵の訓練を必要としないという点で最小主義である。
我々は,一連の継続的制御タスクにおいて,報酬モデルに基づくアプローチよりもはるかに効率的に学習できることを実証した。
論文 参考訳(メタデータ) (2024-01-08T17:55:02Z) - Finding mixed-strategy equilibria of continuous-action games without
gradients using randomized policy networks [83.28949556413717]
グラデーションへのアクセスを伴わない連続アクションゲームのナッシュ平衡を近似的に計算する問題について検討する。
ニューラルネットワークを用いてプレイヤーの戦略をモデル化する。
本論文は、制約のない混合戦略と勾配情報のない一般的な連続アクションゲームを解決する最初の方法である。
論文 参考訳(メタデータ) (2022-11-29T05:16:41Z) - Learning to Play Sequential Games versus Unknown Opponents [93.8672371143881]
学習者が最初にプレーするゲームと、選択した行動に反応する相手との連続的なゲームについて考察する。
対戦相手の対戦相手列と対戦する際,学習者に対して新しいアルゴリズムを提案する。
我々の結果には、相手の反応の正則性に依存するアルゴリズムの後悔の保証が含まれている。
論文 参考訳(メタデータ) (2020-07-10T09:33:05Z) - Efficient Use of heuristics for accelerating XCS-based Policy Learning
in Markov Games [9.038065438586065]
ゲームでは、学習能力を持つ非定常的な対戦相手と対戦することは、強化学習エージェントにとって依然として困難である。
本稿では,協調学習者と対戦する際の政策学習を高速化するために,粗い論文を効果的に活用することを提案する。
論文 参考訳(メタデータ) (2020-05-26T07:47:27Z) - Efficient exploration of zero-sum stochastic games [83.28949556413717]
ゲームプレイを通じて,ゲームの記述を明示せず,託宣のみにアクセス可能な,重要で一般的なゲーム解決環境について検討する。
限られたデュレーション学習フェーズにおいて、アルゴリズムは両方のプレイヤーのアクションを制御し、ゲームを学習し、それをうまくプレイする方法を学習する。
私たちのモチベーションは、クエリされた戦略プロファイルの支払いを評価するのにコストがかかる状況において、利用可能性の低い戦略を迅速に学習することにあります。
論文 参考訳(メタデータ) (2020-02-24T20:30:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。