論文の概要: Policy Optimization and Statistical Inference for Online Contextual Matrix Games
- arxiv url: http://arxiv.org/abs/2608.17173v1
- Date: Mon, 17 Aug 2026 22:16:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.154258
- Title: Policy Optimization and Statistical Inference for Online Contextual Matrix Games
- Title（参考訳）: オンライン文脈行列ゲームのためのポリシー最適化と統計的推論
- Abstract要約: オンラインゲームにコンテキスト情報を統合するために,エンフォリンコンテキスト行列ゲームを導入する。
また,オンライン学習アルゴリズムであるemphOnGameLearnを提案する。
OnGameLearnは、戦略的かつ文脈的な意思決定の課題を効果的にナビゲートする。
- 参考スコア（独自算出の注目度）: 33.65008472736867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Online decision making often requires navigating a landscape shaped by both dynamic contexts and strategic interactions. In competitive pricing, for example, hotels must account for both dynamic contextual factors and rivals' strategic responses. Existing approaches address only part of this challenge: contextual bandits optimize single-agent decisions using observable features but ignore multi-player interactions, while online matrix games capture strategic behavior through Nash equilibrium but assume fixed payoffs, ignoring contextual information. How should agents act then when strategic payoffs evolve with contextual signals? We introduce \emph{online contextual matrix games} to integrate contextual information into multi-player online games. We further propose \emph{OnGameLearn}, an online learning algorithm that efficiently balances exploration and exploitation across both player actions and contexts. This approach comes with statistical guarantees: tail bounds for the estimated payoff matrix, the convergence of the estimated Nash equilibrium, the asymptotic normality of the parameter estimators, and the sublinear regret bound. We also develop the notion of \emph{policy value} in matrix games and develop a doubly robust, $\sqrt{T}$-consistent estimator for it. Across simulated studies and a real-world hotel pricing application, we find that OnGameLearn effectively navigates the intertwined challenges of strategic and contextual decision-making.
- Abstract（参考訳）: オンライン意思決定は、動的コンテキストと戦略的相互作用の両方によって形成されたランドスケープをナビゲートする必要があることが多い。
例えば、競争価格では、ホテルは動的文脈要因とライバルの戦略的反応の両方を考慮しなければならない。
既存のアプローチは、この課題の一部にのみ対処する: コンテキストブレイディットは、観測可能な特徴を使って単一エージェントの決定を最適化するが、マルチプレイヤーの相互作用を無視する。
戦略的なペイオフがコンテキスト信号で進化する時、エージェントはどのように振る舞うべきか?
コンテクスト情報をマルチプレイヤーオンラインゲームに統合するために,<emph{online contextual matrix game}を導入する。
さらに,オンライン学習アルゴリズムである \emph{OnGameLearn} を提案する。
このアプローチは、推定されたペイオフ行列のテール境界、推定されたナッシュ均衡の収束、パラメータ推定器の漸近正規性、および部分線型後悔境界といった統計的保証を伴っている。
また、行列ゲームにおける \emph{policy value} の概念を開発し、それに対して2つの頑健な$\sqrt{T}$-consistent estimator を開発する。
OnGameLearnは、シミュレーションされた研究と実世界のホテル価格アプリケーションを通じて、戦略的かつ文脈的な意思決定の課題を効果的にナビゲートする。
関連論文リスト
- A Hybrid Sampling-Based Trajectory Planner with Game-Theoretic Guidance for Autonomous Racing [41.40585589054522]
本稿では,ゲーム理論推論をサンプリングベースモーションプランナに統合するハイブリッドアーキテクチャを提案する。
本手法は,フルダイナミックゲームソルバの計算負担を伴わずにブロッキングなどの防御動作を誘導する。
論文 参考訳（メタデータ） (2026-07-15T00:27:36Z) - Conservative Equilibrium Discovery in Offline Game-Theoretic Multiagent Reinforcement Learning [6.299504742623642]
この問題は,オフライン学習制約下でのゲーム解決を目標とする混在型マルチエージェント環境において考慮する。
我々は、ゲーム力学の不確実性を定量化することによって、オンラインゲーム解決アプローチであるポリシー空間応答オラクル(PSRO)を拡張した。
我々は,PSROにおける戦略探索のガイドとなる,オフライン設定に適した新しいメタ戦略解法を提案する。
論文 参考訳（メタデータ） (2026-02-27T23:24:02Z) - Ranking Joint Policies in Dynamic Games using Evolutionary Dynamics [0.0]
単純な2プレイヤーゲームでもエージェントの相互作用のダイナミクスはナッシュ平衡に達することができないことが示されている。
我々のゴールは、安定した行動をもたらすエージェントの合同戦略を特定し、変化に抵抗すると同時に、エージェントの支払いも考慮することである。
論文 参考訳（メタデータ） (2025-02-20T16:50:38Z) - Multi-Step Alignment as Markov Games: An Optimistic Online Gradient Descent Approach with Convergence Guarantees [91.88803125231189]
Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデルと人間の好みを合わせることに成功している。
DPOのような一般的な手法は高い性能を示してきたが、彼らは言語モデルとの相互作用を帯域幅の問題として捉えている。
本稿では,アライメント問題を2プレイヤー定数マルコフゲームとしてモデル化することで,これらの課題に対処する。
論文 参考訳（メタデータ） (2025-02-18T09:33:48Z) - Blending Data-Driven Priors in Dynamic Games [9.085463548798366]
Kullback-Leibler (KL) 正規化による非協調的ダイナミックゲームの解法を定式化する。
我々は,KLGameのNash平衡戦略を,マルチモーダル近似フィードバックをリアルタイムに計算するための効率的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-21T23:22:32Z) - Finding mixed-strategy equilibria of continuous-action games without
gradients using randomized policy networks [83.28949556413717]
グラデーションへのアクセスを伴わない連続アクションゲームのナッシュ平衡を近似的に計算する問題について検討する。
ニューラルネットワークを用いてプレイヤーの戦略をモデル化する。
本論文は、制約のない混合戦略と勾配情報のない一般的な連続アクションゲームを解決する最初の方法である。
論文 参考訳（メタデータ） (2022-11-29T05:16:41Z) - Provably Efficient Fictitious Play Policy Optimization for Zero-Sum
Markov Games with Structured Transitions [145.54544979467872]
本研究では,ゼロサムマルコフゲームに対して,構造的だが未知の遷移を伴う架空のプレイポリシー最適化アルゴリズムを提案し,解析する。
我々は、2年制の競争ゲームシナリオで、$K$のエピソードに続き、$widetildemathcalO(sqrtK)$ regret boundsを証明した。
提案アルゴリズムは,アッパー信頼境界(UCB)型最適化と,同時政策最適化の範囲内での架空のプレイの組み合わせを特徴とする。
論文 参考訳（メタデータ） (2022-07-25T18:29:16Z) - Decentralized Optimistic Hyperpolicy Mirror Descent: Provably No-Regret
Learning in Markov Games [95.10091348976779]
我々はマルコフゲームにおいて、非定常的でおそらく敵対的な相手と遊べる単一のエージェントを制御する分散ポリシー学習について研究する。
我々は、新しいアルゴリズム、アンダーラインデ集中型アンダーラインハイプラインRpolicy munderlineIrror deunderlineScent (DORIS)を提案する。
DORISは、一般的な関数近似の文脈で$sqrtK$-regretを達成する。
論文 参考訳（メタデータ） (2022-06-03T14:18:05Z) - Efficient Competitive Self-Play Policy Optimization [20.023522000925094]
対戦型ゼロサムゲームにおける対戦型自己演奏強化学習のための新しいアルゴリズムフレームワークを提案する。
本手法は,複数のエージェントを同時に訓練し,単純な対戦ルールに基づいて知的に互いに相手として取り合う。
我々は,このアルゴリズムが凸凹ゲームにおいて高い確率で近似平衡に収束することを理論的に証明する。
論文 参考訳（メタデータ） (2020-09-13T21:01:38Z) - Learning Zero-Sum Simultaneous-Move Markov Games Using Function
Approximation and Correlated Equilibrium [116.56359444619441]
両プレイヤーのゼロサム有限ホライゾンマルコフゲームに対する効率の良い強化学習アルゴリズムを開発した。
オフライン環境では、両プレイヤーを制御し、双対性ギャップを最小化してナッシュ平衡を求める。
オンライン環境では、任意の相手と対戦する1人のプレイヤーを制御し、後悔を最小限に抑える。
論文 参考訳（メタデータ） (2020-02-17T17:04:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。