論文の概要: Efficiently Solving Mixed-Hierarchy Games with Quasi-Policy Approximations
- arxiv url: http://arxiv.org/abs/2602.01568v1
- Date: Mon, 02 Feb 2026 03:03:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 08:17:41.073879
- Title: Efficiently Solving Mixed-Hierarchy Games with Quasi-Policy Approximations
- Title（参考訳）: 擬多元近似を用いた混合階層型ゲームの効率的な解法
- Authors: Hamzah Khan, Dong Ho Lee, Jingqi Li, Tianyu Qiu, Christian Ellis, Jesse Milzman, Wesley Suttle, David Fridovich-Keil,
- Abstract要約: N-robot forest-structured mixed-hierarchy game, which each robot act as a Stackelberg leader over its subtree。
このクラスのゲームに対して、KKT(Karush-Kuhn-Tucker)の1次最適条件を導出し、ロボットのベストレスポンスポリシーの高次微分がますます関与していることを示す。
我々は、高次政策微分を除去する準政治近似を導入し、結果の近似KKTシステムを効率的に解くための不正確なニュートン法を開発した。
- 参考スコア（独自算出の注目度）: 12.61459634168241
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-robot coordination often exhibits hierarchical structure, with some robots' decisions depending on the planned behaviors of others. While game theory provides a principled framework for such interactions, existing solvers struggle to handle mixed information structures that combine simultaneous (Nash) and hierarchical (Stackelberg) decision-making. We study N-robot forest-structured mixed-hierarchy games, in which each robot acts as a Stackelberg leader over its subtree while robots in different branches interact via Nash equilibria. We derive the Karush-Kuhn-Tucker (KKT) first-order optimality conditions for this class of games and show that they involve increasingly high-order derivatives of robots' best-response policies as the hierarchy depth grows, rendering a direct solution intractable. To overcome this challenge, we introduce a quasi-policy approximation that removes higher-order policy derivatives and develop an inexact Newton method for efficiently solving the resulting approximated KKT systems. We prove local exponential convergence of the proposed algorithm for games with non-quadratic objectives and nonlinear constraints. The approach is implemented in a highly optimized Julia library (MixedHierarchyGames.jl) and evaluated in simulated experiments, demonstrating real-time convergence for complex mixed-hierarchy information structures.
- Abstract（参考訳）: マルチロボットの協調は、しばしば階層構造を示し、いくつかのロボットの判断は他のロボットの計画された行動に依存する。
ゲーム理論はそのような相互作用の原則的な枠組みを提供するが、既存の解法は(Nash)と階層的(Stackelberg)な意思決定を組み合わせた混合情報構造を扱うのに苦労する。
N-robot forest-structured mixed-hierarchy game(N-robot forest-structured mixed-hierarchy game)は,各ロボットがサブツリー上でスタックルバーグのリーダーとして振る舞うゲームである。
このクラスのゲームに対して、KKT(Karush-Kuhn-Tucker)の1次最適条件を導出し、階層の深さが大きくなるにつれてロボットのベストレスポンスポリシーの高次微分が増加し、直接解が難解となることを示す。
この課題を克服するために、高次政策微分を除去する準政治近似を導入し、結果の近似KKTシステムを効率的に解くための不正確なニュートン法を開発した。
非二次目的ゲームと非線形制約を持つゲームに対して,提案アルゴリズムの局所指数収束を証明した。
この手法は高度に最適化されたJuliaライブラリ(MixedHierarchyGames.jl)で実装され、シミュレーション実験で評価され、複雑な混合階層情報構造に対するリアルタイム収束を示す。
関連論文リスト
- A Data Driven Structural Decomposition of Dynamic Games via Best Response Maps [0.0]
本稿では,平衡計算の再構成による動的ゲームに対する概念的新しい定式化を提案する。
提案された定式化は、自律レース問題に動機づけられた2プレイヤーのオープンループダイナミックゲームにおいて、モンテカルロの大規模な研究に付随する数学的証明によって支持される。
論文 参考訳（メタデータ） (2026-02-05T05:44:53Z) - Multi-Action Self-Improvement for Neural Combinatorial Optimization [0.979731979071071]
自己改善モデルは、高品質なソリューションの生成と模倣によってポリシーを反復的に洗練する。
これらのアプローチは、複数のエージェントの協調に関わる問題の構造を活用できない。
共同マルチエージェント動作による自己改善を拡大する。
論文 参考訳（メタデータ） (2025-10-14T08:26:27Z) - Learning in Stackelberg Mean Field Games: A Non-Asymptotic Analysis [22.360309142419208]
Stackelberg平均フィールドゲーム(MFG)におけるポリシー最適化について検討する。
本稿では,連続的に生成するマルコフサンプルを利用するシングルループアクター批判アルゴリズムAC-SMFGを提案する。
アルゴリズムの有限時間および有限サンプル収束をスタックルバーグ目標の定常点に確立する。
論文 参考訳（メタデータ） (2025-09-18T19:58:31Z) - Multi-Agent Collaboration via Evolving Orchestration [55.574417128944226]
大規模言語モデル(LLM)は、様々な下流タスクで顕著な成果を上げているが、そのモノリシックな性質は複雑な問題解決におけるスケーラビリティと効率を制限している。
LLMに基づくマルチエージェントコラボレーションのためのパウチスタイルのパラダイムを提案し,タスク状態の進化に応じて,中央集権的なオーケストレータ("puppeteer")がエージェント("puppets")を動的に指示する。
クローズドドメインおよびオープンドメインシナリオの実験により,この手法は計算コストを低減し,優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2025-05-26T07:02:17Z) - Multi-Task Off-Policy Learning from Bandit Feedback [54.96011624223482]
本稿では,階層型非政治最適化アルゴリズム (HierOPO) を提案する。
学習方針の準最適性にタスクごとのバウンダリを証明し、階層モデルを使用しないよりも明確な改善を示す。
我々の理論的および実証的な結果は、各タスクを個別に解くよりも、階層を使うことの明確な利点を示している。
論文 参考訳（メタデータ） (2022-12-09T08:26:27Z) - Differentiable Bilevel Programming for Stackelberg Congestion Games [47.60156422249365]
Stackelberg Congestion Game (SCG) において、リーダーは、群集が集まる平衡状態を予測し、操作することで、自身の利益を最大化することを目的としている。
本稿では,従来の手法と機械学習における最新の微分可能プログラミング技術を組み合わせることで,この計算課題に挑戦する。
本稿では,SCGの局所探索アルゴリズムを2つ提案する。第1に,微分可能プログラミングを用いてILDをアンロールすることで導関数を求める勾配降下アルゴリズムを提案する。
第二のアルゴリズムは、フォロワーの進化軌道を短くすることでツイストを加える。
論文 参考訳（メタデータ） (2022-09-15T21:32:23Z) - Graph-based Reinforcement Learning meets Mixed Integer Programs: An
application to 3D robot assembly discovery [34.25379651790627]
我々は、テトリスのような構造ブロックとロボットマニピュレータを用いて、スクラッチから完全に定義済みの任意のターゲット構造を構築するという課題に対処する。
我々の新しい階層的アプローチは、タスク全体を相互に利益をもたらす3つの実行可能なレベルに効率的に分解することを目的としています。
論文 参考訳（メタデータ） (2022-03-08T14:44:51Z) - Deep Imitation Learning for Bimanual Robotic Manipulation [70.56142804957187]
本稿では,ロボットによるバイマニュアル操作のための深層模倣学習フレームワークを提案する。
中心となる課題は、操作スキルを異なる場所にあるオブジェクトに一般化することである。
i)マルチモーダルダイナミクスを要素運動プリミティブに分解し、(ii)リカレントグラフニューラルネットワークを用いて各プリミティブをパラメータ化して相互作用を捕捉し、(iii)プリミティブを逐次的に構成する高レベルプランナと、プリミティブダイナミクスと逆運動学制御を組み合わせた低レベルコントローラを統合することを提案する。
論文 参考訳（メタデータ） (2020-10-11T01:40:03Z) - Follow the Neurally-Perturbed Leader for Adversarial Training [0.0]
摂動のない振る舞いを伴わない混合平衡に対するゼロサム学習のための新しいリーダーアルゴリズムを提案する。
我々は, この学習アルゴリズムを, 凸や乱れを伴わないゲームや, 生成的対角構造に応用することにより, 理論的結果を検証した。
逆模倣学習アプリケーションのためのアルゴリズムの実装をカスタマイズする。
論文 参考訳（メタデータ） (2020-02-16T00:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。