論文の概要: DiffNash: Finding Nash Equilibrium in High-Dimensional Continuous Action Spaces with Diffusion Policies
- arxiv url: http://arxiv.org/abs/2610.15932v1
- Date: Sun, 11 Oct 2026 21:33:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.2727
- Title: DiffNash: Finding Nash Equilibrium in High-Dimensional Continuous Action Spaces with Diffusion Policies
- Title（参考訳）: DiffNash: 拡散ポリシによる高次元連続行動空間におけるナッシュ平衡の発見
- Abstract要約: 連続ゲームにおける平衡計算のための拡散型フレームワークを提案する。
提案手法は,各更新方針からの直接サンプルを必要とせず,拡散政策を訓練する重み付けされたスコアマッチング目標を導出する。
我々は,森林保護ゲームとブロット大佐の連続的な試合に対するアプローチを評価し,ナッシュギャップを最強のベースラインで35.6%,ナッシュギャップを24.7%削減した。
- 参考スコア（独自算出の注目度）: 28.449334024214167
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computing equilibria in high-dimensional continuous games requires learning and representing rich, multi-modal strategy distributions, something conventional neural policies struggle to achieve. Diffusion models offer a natural solution, but standard diffusion training requires direct samples from a fixed target distribution, which are generally unavailable under iterative game-solving updates. We propose a diffusion-based framework for equilibrium computation that enables diffusion-based variants of Online Mirror Descent (OMD) and Fictitious Play (FP). Our approach derives a reweighted score-matching objective that trains diffusion policies without requiring direct samples from each updated policy. Our main method, DiffNash, combines the fast convergence of OMD with the sample efficiency of FP by reusing past actions through a replay buffer. To correct the resulting distribution shift from sample reuse, we derive an unbiased estimator of the difference between current and past policies' Evidence Lower Bounds, whose exponential provides a tractable proxy for the corresponding importance weight without evaluating diffusion likelihoods. We evaluate our approach on forest protection games and continuous Colonel Blotto games, reducing the Nash gap over the strongest baseline by 35.6% and 24.7%, respectively, with minimal hyperparameter tuning.
- Abstract（参考訳）: 高次元連続ゲームにおける計算平衡は、学習と、従来のニューラルポリシーが達成に苦しむリッチでマルチモーダルな戦略分布の表現を必要とする。
拡散モデルは自然な解を提供するが、標準的な拡散訓練は固定された目標分布からの直接サンプルを必要とするが、通常は反復的なゲーム解決更新では利用できない。
本稿では,オンラインミラー・ディクセント(OMD)とフィクティトゥス・プレイ(FP)の拡散に基づく変種を可能にする平衡計算のための拡散ベースのフレームワークを提案する。
提案手法は,各更新方針からの直接サンプルを必要とせず,拡散政策を訓練する重み付けされたスコアマッチング目標を導出する。
我々の主な手法であるDiffNashは、リプレイバッファを介して過去のアクションを再利用することで、OMDの高速収束とFPのサンプル効率を結合する。
試料再利用から得られた分布変化を補正するため, 拡散率を評価せずに, 指数関数的に重み付け可能な指標となる, 現行政策と過去の政策の差異の偏りのない推定器を導出する。
我々は,森林保護ゲームとブロットー大佐ゲームに対するアプローチを評価し,最強ベースライン上のナッシュギャップを極小パラメータチューニングで35.6%減らし,24.7%減らした。
関連論文リスト
- Schrödinger--Föllmer Actor--Critic: Diffusion Policy Improvement with Finite-Sample Analysis [16.115903198836694]
拡散ポリシは、マルチモーダルなアクション分布を表すが、アドバンテージ重み付けされた更新では、結果のターゲット分布からサンプルする方法を規定していない。
我々は,KL(Kulback--Leibler)のオフライン-オンライン強化学習(RL)手法であるSchrdinger-Fllmer Actor-Critic (SFAC)を提案する。
適切な条件下では、評価評価、神経ドリフト回帰、有限サンプルSNIS、拡散離散化、およびアクターエラーが期待される平均的政策最適性に与える影響を分離する有限サンプル境界を導出する。
論文 参考訳（メタデータ） (2026-09-27T05:27:34Z) - A Diffusion Model Framework for Maximum Entropy Reinforcement Learning [32.26181994745642]
拡散力学を原理的に組み込んだ MaxEntRL の置換対象を修正した。
DiffSAC, DiffPPO, DiffWPO は, SAC や PPO よりも良いリターンと高いサンプル効率を実現する。
論文 参考訳（メタデータ） (2025-12-01T18:59:58Z) - One-Step Flow Policy Mirror Descent [52.31612487608593]
Flow Policy Mirror Descent (FPMD)は、フローポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。
本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
論文 参考訳（メタデータ） (2025-07-31T15:51:10Z) - Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳（メタデータ） (2024-10-17T16:42:12Z) - Improved off-policy training of diffusion samplers [93.66433483772055]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳（メタデータ） (2024-02-07T18:51:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。