論文の概要: Pessimistic Minimax Learning for Public-Private Information Games under Unilateral Coverage
- arxiv url: http://arxiv.org/abs/2610.04997v1
- Date: Sun, 04 Oct 2026 06:36:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 07:12:05.636456
- Title: Pessimistic Minimax Learning for Public-Private Information Games under Unilateral Coverage
- Title(参考訳): 片側被覆下における公開情報ゲームのための悲観的ミニマックス学習
- Abstract要約: 2人のプレイヤーによるゼロサムコンテキストゲームにおけるオフライン学習について,公開情報とプライベート情報を用いて検討する。
我々は一方的な規範的集中性を導入し、非対称な情報がその平衡挙動に与える影響を通してオフラインのカバレッジを変化させることができることを示す。
- 参考スコア(独自算出の注目度): 21.138503895152045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study offline learning in two-player zero-sum contextual games with public and private information, motivated by strategic settings such as auctions and negotiations with private valuations. We introduce unilateral prescriptive concentrability and show that asymmetric information can change offline coverage through its effect on equilibrium behavior. For finite state-action spaces, we develop a pessimistic algorithm with an $\tilde{O}(1/\sqrt{n})$ exploitability rate, matching the standard sample-size dependence for fully observed minimax games. We further develop a pessimistic policy mirror descent framework, PPA-PMD, for general function approximation and obtain a unified $\tilde{O}(1/\sqrt{n} + 1/\sqrt{T})$ exploitability rate with no-regret actor updates. Together, these results provide the first theoretical framework for offline equilibrium learning under public-private information constraints.
- Abstract(参考訳): 我々は,2人のプレイヤーによるゼロサム・コンテクストゲームにおけるオフライン学習について,公開情報とプライベート情報を用いて検討し,オークションやプライベートバリュエーションとの交渉といった戦略的設定を動機とした。
我々は一方的な規範的集中性を導入し、非対称な情報がその平衡挙動に与える影響を通してオフラインのカバレッジを変化させることができることを示す。
有限状態作用空間に対しては、完全に観察されたミニマックスゲームに対する標準サンプルサイズ依存性に一致する$\tilde{O}(1/\sqrt{n})$ exploitability rate の悲観的アルゴリズムを開発する。
さらに、一般関数近似のための悲観的ポリシーミラー降下フレームワークであるPPA-PMDを開発し、1/\sqrt{n} + 1/\sqrt{T})$ exploitability rate with no-regret actor update。
これらの結果は、公的な情報制約の下でのオフライン平衡学習のための最初の理論的枠組みを提供する。
関連論文リスト
- Theoretical Foundations and Effective Algorithms for Policy-Aware Simulator Learning [65.62918039166772]
本稿では,モデルプレイヤと逆ポリシープレイヤのゼロサムミニマックスゲームを提案する。
提案手法は,戦略的に重要な領域における予測誤差を1.5$-$2.2times$に減らし,シミュレーションで純粋に訓練されたポリシーを最適に近い実世界の性能に適合させることができることを示す。
論文 参考訳(メタデータ) (2026-05-27T19:31:37Z) - Pessimism-Free Offline Learning in General-Sum Games via KL Regularization [17.179117375703566]
GANE(General-sum Anchored Nash Equilibrium)は、正規化されたナッシュリビアを加速統計速度で回復する。
GAMD(General-sum Anchored Mirror Descent)は、標準レートで粗相関平衡に収束する。
これらの結果は、悲観的なオフライン学習のためのスタンドアロンメカニズムとしてKL正規化を確立する。
論文 参考訳(メタデータ) (2026-04-30T21:58:16Z) - Beyond Pessimism: Offline Learning in KL-regularized Games [20.08179140215738]
KL規則化された2プレイヤーゼロサムゲームにおけるオフライン学習について検討し、KL制約の下でポリシーを固定参照ポリシーに最適化する。
我々は、KL正規化ベストレスポンスの滑らかさと、スキュー対称性によって誘導されるナッシュ平衡の安定性に基づいて、KL正規化ゲームのための新しい悲観的フリーアルゴリズムと解析的フレームワークを開発する。
論文 参考訳(メタデータ) (2026-04-08T07:00:54Z) - Optimal Rates for Feasible Payoff Set Estimation in Games [19.616985668606695]
ゲーム逆理論は、観察された行動と整合した支払の集合全体を特定することを目的としている。
我々は、ハースドルフ計量上で、高い確率と最大精度で実現可能なペイオフの集合を推定する問題に焦点をあてる。
この結果は,マルチエージェント環境における設定値のペイオフ推論のための学習理論の基礎を提供する。
論文 参考訳(メタデータ) (2026-02-04T10:27:11Z) - Improving LLM General Preference Alignment via Optimistic Online Mirror Descent [57.622821649679786]
人間からのフィードバックからの強化学習(RLHF)は、大きな言語モデル(LLM)と人間の嗜好の整合において顕著な効果を示した。
本稿では,Bradley-Terry (BT) モデル仮定を廃止し,汎用ゲームとして定式化された LLM のアライメントについて検討する。
提案手法は双対性ギャップ上の$O(T-1)$バウンドを達成し、以前の$O(T-1/2)$の結果を改善することを示す。
論文 参考訳(メタデータ) (2025-02-24T05:24:52Z) - Beyond Covariance Matrix: The Statistical Complexity of Private Linear Regression [66.93988594607842]
プライバシー制約の下では、プライベート線形回帰の複雑さは通常の共分散行列によって捉えられる。
最適率を達成するための情報重み付け回帰手法を提案する。
特に、我々の結果は、共同プライバシーは追加費用がほとんどないことを示している。
論文 参考訳(メタデータ) (2025-02-18T18:35:24Z) - Offline Learning in Markov Games with General Function Approximation [22.2472618685325]
マルコフゲームにおけるオフラインマルチエージェント強化学習(RL)について検討する。
マルコフゲームにおけるサンプル効率のよいオフライン学習のための最初のフレームワークを提供する。
論文 参考訳(メタデータ) (2023-02-06T05:22:27Z) - Provably Efficient Fictitious Play Policy Optimization for Zero-Sum
Markov Games with Structured Transitions [145.54544979467872]
本研究では,ゼロサムマルコフゲームに対して,構造的だが未知の遷移を伴う架空のプレイポリシー最適化アルゴリズムを提案し,解析する。
我々は、2年制の競争ゲームシナリオで、$K$のエピソードに続き、$widetildemathcalO(sqrtK)$ regret boundsを証明した。
提案アルゴリズムは,アッパー信頼境界(UCB)型最適化と,同時政策最適化の範囲内での架空のプレイの組み合わせを特徴とする。
論文 参考訳(メタデータ) (2022-07-25T18:29:16Z) - Decentralized Optimistic Hyperpolicy Mirror Descent: Provably No-Regret
Learning in Markov Games [95.10091348976779]
我々はマルコフゲームにおいて、非定常的でおそらく敵対的な相手と遊べる単一のエージェントを制御する分散ポリシー学習について研究する。
我々は、新しいアルゴリズム、アンダーラインデ集中型アンダーラインハイプラインRpolicy munderlineIrror deunderlineScent (DORIS)を提案する。
DORISは、一般的な関数近似の文脈で$sqrtK$-regretを達成する。
論文 参考訳(メタデータ) (2022-06-03T14:18:05Z) - Pessimistic Minimax Value Iteration: Provably Efficient Equilibrium
Learning from Offline Datasets [101.5329678997916]
両プレイヤーゼロサムマルコフゲーム(MG)をオフライン環境で研究する。
目標は、事前収集されたデータセットに基づいて、近似的なナッシュ均衡(NE)ポリシーペアを見つけることである。
論文 参考訳(メタデータ) (2022-02-15T15:39:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。