論文の概要: DNQ: Deep Nash Q-Network for Partially Observable n-Player Games

• arxiv url: http://arxiv.org/abs/2606.06480v1
• Date: Thu, 04 Jun 2026 17:58:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:45.031395
• Title: DNQ: Deep Nash Q-Network for Partially Observable n-Player Games
• Title（参考訳）: DNQ: 部分的に観察可能なn-playerゲームのためのディープナッシュQ-Network
• Authors: Qintong Xie, Edward Koh, Xavier Cadet, Peter Chin,
• Abstract要約: 提案手法は,入札エージェントのトレーニングのためのループ内平衡監視フレームワークであるDNQを提案する。 DNQは、軌跡収集、批評家による支払い推定、均衡、政策模倣を交互に行う。 我々は、正確な定式化と比較して、平衡解決コストとトレーニング時間を大幅に削減するスケーラブルなペアワイズ定式化に焦点を当てる。
• 参考スコア（独自算出の注目度）: 4.004249151279306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many real-world competitive systems require multiple decision-makers to act simultaneously under shared constraints, limited information, and repeated interaction, as in auctions, resource allocation, and security competition. We study multi-turn simultaneous bidding as a controlled testbed for such problems and propose DNQ, a solver-in-the-loop equilibrium supervision framework for training bidding agents. DNQ alternates between trajectory collection, critic-based payoff estimation, equilibrium computation, and policy imitation. At each visited state, a shared critic predicts either pairwise payoff matrices or an exact N-player payoff tensor, an external solver computes equilibrium strategies, and the agents are trained by minimizing the KL divergence between their masked policies and the solver-derived equilibrium targets. We focus on a scalable pairwise formulation that greatly reduces equilibrium-solving cost and training time compared with the exact formulation, while the shared critic amortizes payoff learning across agents and states. Experiments compare the pairwise and exact variants using critic loss, policy entropy, bidding resource usage, and training cost, showing that the pairwise method scales to larger numbers of agents, whereas the exact method becomes computationally impractical as the joint game grows. These results illustrate the trade-off between strategic fidelity and scalability in repeated competitive environments.
• Abstract（参考訳）: 多くの現実世界の競争システムでは、複数の意思決定者が、オークション、リソース割り当て、セキュリティコンペティションのように、共有された制約、限られた情報、反復的なインタラクションの下で同時に行動する必要がある。 このような問題に対して, 複数ターン同時入札を制御テストベッドとして検討し, DNQを提案する。 DNQは、軌跡収集、批判に基づくペイオフ推定、平衡計算、政策模倣を交互に行う。 各訪問状態において、共有批評家は、ペアワイズペイオフ行列または正確なN-プレイヤペイオフテンソルを予測し、外部ソルバは平衡戦略を計算し、エージェントは、マスクされたポリシーとソルバ由来平衡目標とのKL分散を最小化して訓練する。 我々は、均衡解決コストとトレーニング時間を正確な定式化と比較して大幅に削減するスケーラブルなペアワイド定式化に重点を置いている。 実験では、批評家の損失、ポリシーのエントロピー、入札リソースの使用量、トレーニングコストを用いて、ペアワイズ手法がより大きなエージェントにスケールするのに対して、正確な方法は、ジョイントゲームが成長するにつれて計算的に非現実的になることを示す。 これらの結果は、繰り返し競合する環境における戦略的忠実性とスケーラビリティのトレードオフを示している。

関連論文リスト

• GAE Falls Short in Imperfect-Information Self-Play Reinforcement Learning [37.42112473325871]
  不完全な情報ゲームにおけるセルフプレイ強化学習では、エージェントは部分的な観察可能性の下で行動する必要がある。 PPO(Proximal Policy Optimization)は、経験的成功を強く達成しているが、今後の行動のサンプリングにより、さらなるばらつきに悩まされている。 Q$-boosting, a variance-reduced advantage estimator based on a central action-value critic, and proposed Variance-reduced Policy Optimization (VRPO)。 VRPOは、Dou DizhuやHeads-Up No-Limit Texas Hold'emといった中規模から大規模まで、一貫して強力なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-05-19T01:07:39Z)
• Cattle Trade: A Multi-Agent Benchmark for LLM Bluffing, Bidding, and Bargaining [0.5691230599672109]
  我々は,大規模言語モデル(LLM)を戦略的推論のエージェントとして評価するためのベンチマークであるtextscCattle Tradeを紹介した。 このベンチマークは、1つのロングホライゾンゲーム内でのオークション、隠れオフのトレードチャレンジ(TC)、バーゲティング、ブラッフィング、相手モデリング、リソース割り当てを組み合わせたものだ。 我々は,242ゲームに対して,コスト効率のよい7つの言語モデルと3つの決定論的コードエージェントを評価した。
  論文  参考訳（メタデータ） (2026-05-14T08:20:03Z)
• Training Language Models for Bilateral Trade with Private Information [47.25254982913256]
  貿易の利益を達成するためには、個人、戦略的余剰の合理性、協力が必要である。 本研究では,大規模言語モデルがイベント駆動シミュレータ内のツールコールを介して交渉する構造化交渉環境を開発する。 この環境は、フロンティアモデルのベンチマークと、強化学習によるオープンウェイトモデルのトレーニング環境という2つの目的を果たす。
  論文  参考訳（メタデータ） (2026-04-10T03:04:20Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking [84.07076200941474]
  ArenaRLは、ポイントワイドスカラースコアからグループ内相対ランクにシフトする強化学習パラダイムである。 我々は,グループ内対角アリーナを構築し,安定した有利な信号を得るためのトーナメントベースのランキングスキームを考案する。 実験により、ArenaRLは標準のRLベースラインを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-01-10T08:43:07Z)
• Pruning as a Game: Equilibrium-Driven Sparsification of Neural Networks [1.1458853556386799]
  我々は、継続参加が均衡において支配的な戦略となると、スパシティが自然に現れることを示す。 ネットワークパラメータと参加変数を明示的な重要度スコアに頼らずに共同で更新する,単純な平衡駆動型プルーニングアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-12-26T18:25:38Z)
• Sequential Manipulation Against Rank Aggregation: Theory and Algorithm [119.57122943187086]
  脆弱なデータ収集プロセスに対するオンライン攻撃を活用します。 ゲーム理論の観点からは、対決シナリオは分布的に堅牢なゲームとして定式化される。 提案手法は,ランクアグリゲーション手法の結果を逐次的に操作する。
  論文  参考訳（メタデータ） (2024-07-02T03:31:21Z)
• A Black-box Approach for Non-stationary Multi-agent Reinforcement Learning [53.83345471268163]
  非定常マルチエージェントシステムにおける平衡の学習について検討する。 単エージェント学習へのブラックボックス還元による様々な平衡の検証方法を示す。
  論文  参考訳（メタデータ） (2023-06-12T23:48:24Z)
• Towards Multi-Agent Reinforcement Learning driven Over-The-Counter Market Simulations [16.48389671789281]
  オーバー・ザ・カウンタ市場において,流動性提供者と流動性取扱業者が相互作用するゲームについて検討した。 互いに対戦することで、深層強化学習主体のエージェントは創発的な行動を学ぶ。 遷移性仮定の下で,多エージェントポリシー勾配アルゴリズムの収束率を示す。
  論文  参考訳（メタデータ） (2022-10-13T17:06:08Z)
• Algorithmic pricing with independent learners and relative experience replay [0.0]
  無限に繰り返される汎用価格ゲームでは、独立した強化学習者はコミュニケーションなしで協調行動を示すことができる。 学習力学をより深く理解するために,経験リプレイ(ER)技術を用いてエージェントの相対性能(RP)を競合相手に組み込む。 実験結果から,RP考慮が長期成績に重要な役割を担っていることが示唆された。
  論文  参考訳（メタデータ） (2021-02-18T03:28:41Z)
• Multi-Stage Decentralized Matching Markets: Uncertain Preferences and Strategic Behaviors [91.3755431537592]
  本稿では、現実世界のマッチング市場で最適な戦略を学ぶためのフレームワークを開発する。 我々は,不確実性レベルが特徴の福祉対フェアネストレードオフが存在することを示す。 シングルステージマッチングと比較して、マルチステージマッチングで参加者がより良くなることを証明します。
  論文  参考訳（メタデータ） (2021-02-13T19:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。