論文の概要: Strategic Multi-Agent Learning for Interpretable Action Valuation of All Players in Football
- arxiv url: http://arxiv.org/abs/2610.05961v1
- Date: Mon, 05 Oct 2026 08:13:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:50:48.624759
- Title: Strategic Multi-Agent Learning for Interpretable Action Valuation of All Players in Football
- Title(参考訳): サッカーにおける全ての選手の解釈可能な行動評価のための戦略的マルチエージェント学習
- Abstract要約: 本研究ではマルコフ完全平衡(MPE)にインスパイアされた行動評価フレームワークを提案する。
J1リーグ95試合の追跡とイベントデータを用いて、提案した定式化と独立した強化学習ベースラインを比較した。
- 参考スコア(独自算出の注目度): 6.8055385768376615
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Valuing player actions in football requires accounting for strategic interactions among 22 players, including off-ball movements and defensive positioning. Existing reinforcement-learning-based methods commonly aggregate decisions at the team level or estimate player values independently, leaving strategic interdependence among players insufficiently represented. This study proposes an action valuation framework inspired by Markov perfect equilibrium (MPE) for all players. Each possession is modeled as a finite-horizon dynamic game, with each player represented as an autonomous agent whose policy depends on the current game state. MPE is used as a motivating solution concept rather than an exact equilibrium. To improve interpretability, we use Expandable Decision-Making States (EDMS) and decompose the Q-value into a successor-feature basis and a linear reward-weight vector. The value basis is estimated by linear TD initialization followed by nonlinear refinement. Using tracking and event data from 95 J1 League matches, we compare the proposed formulation with an independent reinforcement learning baseline. Because the two formulations define TD errors in different target spaces, TD MSE is used only for within-formulation consistency. With EDMS fixed, the independent baseline assigns the highest value to forward movement in 99.21% of evaluated off-ball states, whereas the most frequent direction under the proposed formulation accounts for 17.63%. Team-level average Q-values show a negative association with season-level expected goals for the baseline and a weakly positive association for the proposed formulation. Qualitative analyses illustrate context-dependent valuations of off-ball movements and defensive positioning. Overall, the proposed formulation produces more context-sensitive action rankings, although the comparison does not isolate the MPE-inspired component.
- Abstract(参考訳): フットボールにおける選手の行動を評価するには、オフボールの動きや守備位置などを含む22人の選手間の戦略的相互作用を考慮する必要がある。
既存の強化学習ベースの手法は、通常、チームレベルで決定を集約したり、プレイヤーの価値を個別に見積り、プレイヤー間の戦略的相互依存が不十分なまま残される。
本研究ではマルコフ完全平衡(MPE)にインスパイアされた行動評価フレームワークを提案する。
それぞれの保有物は有限水平ダイナミックゲームとしてモデル化され、各プレイヤーは現在のゲーム状態に依存する自律エージェントとして表現される。
MPEは正確な平衡ではなく、モチベーションソリューションの概念として用いられる。
解釈性を向上させるために,拡張可能意思決定状態(EDMS)を用いて,Q値を後継機能基底と線形報酬重みベクトルに分解する。
値基底は線形TD初期化と非線形精製によって推定される。
J1リーグ95試合の追跡とイベントデータを用いて、提案した定式化と独立した強化学習ベースラインを比較した。
2つの定式化は異なる対象空間におけるTD誤差を定義するため、TD MSEは内部整合性にのみ使用される。
EDMSの修正により、独立ベースラインは、評価されたオフボール状態の99.21%でフォワード運動に最も高い値を割り当てる一方、提案された定式化の下で最も頻繁な方向は17.63%である。
チームレベルの平均Q値は、ベースラインの季節レベルの期待目標と負の相関を示し、提案された定式化には弱い正の相関を示す。
質的な分析は、オフボールの動きと防御位置の文脈依存的な評価を説明する。
全体としては、提案した定式化は、より文脈に敏感なアクションランキングを生成するが、比較は、MPEにインスパイアされたコンポーネントを分離しない。
関連論文リスト
- SportD: Can VLMs Physically Strategize? [3.6356011518439684]
SportDは、2022年のFIFAワールドカップにおける478の判定結果からなるベンチマークである。
それぞれのモデル選択は、攻撃チームの得点率を最も高めるアクションを推定する所有価値モデルに対して評価される。
3つのフロンティアVLMで、最多は31.4%のイベントで、プロの選手は38.9%だった。
論文 参考訳(メタデータ) (2026-07-16T06:30:26Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳(メタデータ) (2026-06-09T17:16:03Z) - MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs [54.81359054218573]
大規模言語モデル(LLM)のためのマルチゲームアリーナと評価プラットフォームであるMindgamesを紹介する。
Mindgamesは、統合されたインタラクションインターフェース、TrueSkillベースの評価、および4つのゲーム環境にわたる完全な軌跡ログを提供する。
我々は,決定論的オフライントーナメントプロトコルMG-Refとともに,ターンレベルの観察,アクション,報酬を含む29,571個のマルチエージェントゲームを分析した。
論文 参考訳(メタデータ) (2026-05-28T07:33:47Z) - MindGames Arena Generalization Track: In2AI Solution with Delayed Per-Step Reward Attribution [45.957713330643934]
マルチエージェント戦略相互作用のための言語モデルエージェントの訓練は、中核的な困難をもたらす。
標準的な強化学習では、報酬は各ステップで割り当てられると仮定しているが、この仮定は時間とエージェントの間で結果が絡み合っている環境では失敗する。
我々は,段階ごとの報酬帰属の遅れに,適度ゲーティング,エピソードライフサイクル,後処理パイプラインを導入している。
論文 参考訳(メタデータ) (2026-04-13T23:59:03Z) - GenTac: Generative Modeling and Forecasting of Soccer Tactics [66.35532694378146]
GenTacはサッカーの戦術を、連続したマルチプレイヤーの軌跡と個別の意味的な出来事のプロセスとして概念化している。
対戦行動、特定のチームやリーグプレースタイル、戦略的目的など、リッチなコンテキスト条件付けをサポートする。
バスケットボール、アメリカンフットボール、アイスホッケーなど、他のダイナミックチームスポーツへの一般化をうまく訓練することができる。
論文 参考訳(メタデータ) (2026-04-13T17:53:49Z) - Expandable Decision-Making States for Multi-Agent Deep Reinforcement Learning in Soccer Tactical Analysis [6.8055385768376615]
サッカーなどの侵入チームスポーツは、多くの選手が共有フィールドで相互作用するときに、高次元で強く結合された状態空間を作り出す。
従来のルールに基づく分析は直感的であるが、現代の予測機械学習モデルは明示的なエージェント表現なしでパターンマッチングを行うことが多い。
本稿では,関係変数による原位置と速度を増大させる意味的にリッチな状態表現である拡張可能意思決定状態(EDMS)を提案する。
論文 参考訳(メタデータ) (2025-10-01T04:01:51Z) - Who is a Better Player: LLM against LLM [53.46608216197315]
本稿では,大規模言語モデル (LLM) の総合的な性能を評価するための対戦型ベンチマークフレームワークを提案する。
広範にプレイされている5つのゲームをサポートし,20のLDMを駆使したプレーヤーを対象とする,特別な評価プラットフォームであるQi Townを紹介した。
論文 参考訳(メタデータ) (2025-08-05T06:41:47Z) - Independent Policy Gradient Methods for Competitive Reinforcement
Learning [62.91197073795261]
2つのエージェントによる競争強化学習環境における独立学習アルゴリズムに対するグローバル・非漸近収束保証を得る。
本研究は,両選手がタンデムで政策勾配法を実行すると,学習率を2回ルールに従えば,その政策はゲームの最小均衡に収束することを示す。
論文 参考訳(メタデータ) (2021-01-11T23:20:42Z) - Equilibria for Games with Combined Qualitative and Quantitative
Objectives [15.590197778287616]
我々は,各プレイヤーが独立して戦略的に行動することが想定されるプロセスである並行ゲームについて研究する。
我々の主な結果は、そのようなゲームにおける厳密なエプシロン・ナッシュ均衡の存在を決定することは2ExpTime完全であるということである。
論文 参考訳(メタデータ) (2020-08-13T01:56:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。