論文の概要: Efficient Nash Equilibrium Computation for Cybersecurity Games
- arxiv url: http://arxiv.org/abs/2609.19399v1
- Date: Wed, 16 Sep 2026 20:29:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.999801
- Title: Efficient Nash Equilibrium Computation for Cybersecurity Games
- Title(参考訳): サイバーセキュリティゲームのための効率的なナッシュ平衡計算
- Abstract要約: Regret-Weighted Payoff Smpling (RWPS) は、平衡に敏感な細胞のみをシミュレートする予算推定器である。
RWPSは, 最小回帰探索, 情報ゲイン探索, プログレッシブサンプリングよりも, 一致した予算で利用しやすさが低い。
- 参考スコア(独自算出の注目度): 22.27527497326564
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computing Nash equilibria of simulation-based cybersecurity games with policy-space response oracles (PSRO) is bottlenecked by payoff estimation: every payoff-matrix entry costs Monte-Carlo rollouts of a slow simulator, while policies and restricted-game solves are cheap. We introduce Regret-Weighted Payoff Sampling (RWPS), a budgeted estimator that simulates only the cells an equilibrium is sensitive to and fills the rest with a surrogate trained on every entry simulated earlier in the run. The sup-norm error bound cannot evaluate such an estimator, because it is set by the cells left deliberately inaccurate. We prove an instance-dependent bound that weights error by the opponent's equilibrium mixture, a certificate computable from simulation data alone, and a coverage result showing that once the deviation-relevant set is simulated, surrogate error cannot affect either player's regret. On three 21x21 general-sum games, two synthetic and an asymmetric Colonel Blotto, the refined bounds are four to six times tighter on the estimator's own output, and the coverage result predicts in advance which games are cheap: 18% of the matrix for small-support games against 82% for Blotto. In growing-pool PSRO, RWPS reaches lower exploitability than minimum-regret-first search, information-gain search, and progressive sampling at a matched budget, and on the CyGym and ANSG cyber simulators it is lowest at the smallest budgets.
- Abstract(参考訳): シミュレーションベースのサイバーセキュリティゲームとポリシー空間応答オラクル(PSRO)の平衡計算は、すべてのペイオフ行列エントリコストが遅いシミュレータのモンテカルロロールアウトに費やされ、ポリシーと制限されたゲーム解決は安価である。
RWPS(Regret-Weighted Payoff Smpling)は、平衡が敏感な細胞のみをシミュレートし、残りを実行時にシミュレートされた全てのエントリでトレーニングされたサロゲートで満たす予算推定器である。
sup-normエラー境界は、故意に不正確な細胞によって設定されるため、そのような推定器を評価することはできない。
本稿では、相手の平衡混合による誤差を重み付けするインスタンス依存境界、シミュレーションデータのみから計算可能な証明書、および偏差関連集合がシミュレートされると、サロゲート誤差がどちらのプレイヤーの後悔にも影響しないことを示すカバレッジ結果を示す。
21×21の一般サムゲーム3種、合成ゲーム2種、非対称ゲーム1種において、洗練された境界は推定器の出力の4倍から6倍強く、カバー結果は前もってどのゲームが安いかを予測し、Blottoの82%に対して、小規模サポートゲームの行列の18%はBlottoの82%である。
成長プールPSROにおいて、RWPSは最小回帰探索、情報ゲイン探索、プログレッシブサンプリングを一致した予算で達成し、CyGymとANSGのサイバーシミュレータでは最小の予算で最小となる。
関連論文リスト
- Phi-Actor-Critic: Steering General-Sum Games to Pareto-Efficient Correlated Equilibria [3.061219970798378]
現実世界のマルチエージェントシステムは、個々のインセンティブが集団福祉と矛盾する一般的なサムゲームとしてモデル化されることが多い。
標準深層マルチエージェント強化学習法(MARL)はこの問題に対処する。
提案する$-Actor-Critic($-AC)は,スワップリミスの最小化を利用して,高次相関均衡に向けて学習を行うフレームワークである。
論文 参考訳(メタデータ) (2026-06-09T16:40:26Z) - Theoretical Foundations and Effective Algorithms for Policy-Aware Simulator Learning [65.62918039166772]
本稿では,モデルプレイヤと逆ポリシープレイヤのゼロサムミニマックスゲームを提案する。
提案手法は,戦略的に重要な領域における予測誤差を1.5$-$2.2times$に減らし,シミュレーションで純粋に訓練されたポリシーを最適に近い実世界の性能に適合させることができることを示す。
論文 参考訳(メタデータ) (2026-05-27T19:31:37Z) - Generalized Distributional Alignment Games for Unbiased Answer-Level Fine-Tuning [49.24876001249647]
分散アライメントゲームフレームワークは、Answer-Level Fine-Tuning(ALFT)の強力な変分的視点を提供する
これらのゲームの標準的なアルゴリズムは、小さなバッチから対数報酬を推定することに依存しており、ジェンセンの不等式により訓練を不安定にできる体系的なバイアスが生じる。
我々は、アライメントゲームを任意のブレグマン発散に一般化し、報酬を誘導する幾何の族に対して、証明可能な正確で偏りのない推定器を構築することができることを示す。
論文 参考訳(メタデータ) (2026-05-04T10:34:42Z) - Optimal Rates for Feasible Payoff Set Estimation in Games [19.616985668606695]
ゲーム逆理論は、観察された行動と整合した支払の集合全体を特定することを目的としている。
我々は、ハースドルフ計量上で、高い確率と最大精度で実現可能なペイオフの集合を推定する問題に焦点をあてる。
この結果は,マルチエージェント環境における設定値のペイオフ推論のための学習理論の基礎を提供する。
論文 参考訳(メタデータ) (2026-02-04T10:27:11Z) - MF-OML: Online Mean-Field Reinforcement Learning with Occupation Measures for Large Population Games [3.179831861897336]
本稿では,シーケンシャルゲームのナッシュ平衡計算のためのオンライン平均場強化学習アルゴリズムを提案する。
MFOMLは、ナッシュ平衡を実証的に解くための、最初の完全近似マルチエージェント強化学習アルゴリズムである。
副生成物として、モノトーン平均場ゲームの近似計算のための最初のトラクタブル大域収束計算も得られる。
論文 参考訳(メタデータ) (2024-05-01T02:19:31Z) - On Tractable $Φ$-Equilibria in Non-Concave Games [53.212133025684224]
非コンケーブゲームにおいて、抽出可能な$Phi$-equilibriaについて検討する。
Phi$が有限であるとき、対応する$Phi$-equilibriaに収束する効率的な非結合学習アルゴリズムが存在することを示す。
論文 参考訳(メタデータ) (2024-03-13T01:51:30Z) - Provably Efficient Fictitious Play Policy Optimization for Zero-Sum
Markov Games with Structured Transitions [145.54544979467872]
本研究では,ゼロサムマルコフゲームに対して,構造的だが未知の遷移を伴う架空のプレイポリシー最適化アルゴリズムを提案し,解析する。
我々は、2年制の競争ゲームシナリオで、$K$のエピソードに続き、$widetildemathcalO(sqrtK)$ regret boundsを証明した。
提案アルゴリズムは,アッパー信頼境界(UCB)型最適化と,同時政策最適化の範囲内での架空のプレイの組み合わせを特徴とする。
論文 参考訳(メタデータ) (2022-07-25T18:29:16Z) - More Optimal Simulation of Universal Quantum Computers [0.0]
最悪のサンプリングコストは$le(2+sqrt2)xi_t delta-1$であり、$t rightarrow infty$である。
我々は、この68倍のプレファクタを、相関サンプリングにより$t$の先行値の低減により削減する。
論文 参考訳(メタデータ) (2022-02-02T19:00:03Z) - Learning Zero-Sum Simultaneous-Move Markov Games Using Function
Approximation and Correlated Equilibrium [116.56359444619441]
両プレイヤーのゼロサム有限ホライゾンマルコフゲームに対する効率の良い強化学習アルゴリズムを開発した。
オフライン環境では、両プレイヤーを制御し、双対性ギャップを最小化してナッシュ平衡を求める。
オンライン環境では、任意の相手と対戦する1人のプレイヤーを制御し、後悔を最小限に抑える。
論文 参考訳(メタデータ) (2020-02-17T17:04:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。