論文の概要: Hypernetwork-based approach for optimal composition design in partially controlled multi-agent systems
- arxiv url: http://arxiv.org/abs/2502.12605v1
- Date: Tue, 18 Feb 2025 07:35:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-19 14:05:43.796431
- Title: Hypernetwork-based approach for optimal composition design in partially controlled multi-agent systems
- Title（参考訳）: 部分制御マルチエージェントシステムにおける最適構成設計のためのハイパーネットワークに基づくアプローチ
- Authors: Kyeonghyeon Park, David Molina Concha, Hyun-Rok Lee, Chi-Guhn Lee, Taesik Lee,
- Abstract要約: 部分的に制御されたマルチエージェントシステム(PCMAS)は、システムデザイナが管理する制御可能なエージェントと、自律的に動作する制御不能エージェントで構成されている。
本研究は,PCMASにおける最適構成設計問題に対処し,システム設計者の問題,制御不能エージェントの最適数とポリシー,制御不能エージェントの問題について検討する。
本稿では,システムの構成とエージェントポリシーを協調的に最適化する,新しいハイパーネットワークベースのフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 5.860363407227059
- License:
- Abstract: Partially Controlled Multi-Agent Systems (PCMAS) are comprised of controllable agents, managed by a system designer, and uncontrollable agents, operating autonomously. This study addresses an optimal composition design problem in PCMAS, which involves the system designer's problem, determining the optimal number and policies of controllable agents, and the uncontrollable agents' problem, identifying their best-response policies. Solving this bi-level optimization problem is computationally intensive, as it requires repeatedly solving multi-agent reinforcement learning problems under various compositions for both types of agents. To address these challenges, we propose a novel hypernetwork-based framework that jointly optimizes the system's composition and agent policies. Unlike traditional methods that train separate policy networks for each composition, the proposed framework generates policies for both controllable and uncontrollable agents through a unified hypernetwork. This approach enables efficient information sharing across similar configurations, thereby reducing computational overhead. Additional improvements are achieved by incorporating reward parameter optimization and mean action networks. Using real-world New York City taxi data, we demonstrate that our framework outperforms existing methods in approximating equilibrium policies. Our experimental results show significant improvements in key performance metrics, such as order response rate and served demand, highlighting the practical utility of controlling agents and their potential to enhance decision-making in PCMAS.
- Abstract（参考訳）: 部分的に制御されたマルチエージェントシステム(PCMAS)は、システムデザイナが管理する制御可能なエージェントと、自律的に動作する制御不能エージェントで構成されている。
本研究は, PCMASにおける最適構成設計問題に対処し, システム設計者の問題, 制御不能エージェントの最適数とポリシー, 制御不能エージェントの問題を判定し, 最良応答ポリシーを同定する。
この二段階最適化問題の解法は計算集約的であり、多エージェント強化学習問題を両エージェントの様々な構成下で繰り返し解く必要がある。
これらの課題に対処するために,システムの構成とエージェントポリシーを協調的に最適化する,新しいハイパーネットワークベースのフレームワークを提案する。
構成ごとに個別のポリシーネットワークを訓練する従来の手法とは異なり、提案フレームワークは統一されたハイパーネットワークを通して制御不可能なエージェントと制御不能なエージェントの両方のポリシーを生成する。
このアプローチにより、同様の構成の効率的な情報共有が可能になり、計算オーバーヘッドを低減できる。
報酬パラメータ最適化と平均アクションネットワークを組み込むことで、さらなる改善が達成される。
実際のニューヨーク市のタクシーデータを用いて、我々の枠組みが均衡政策を近似する既存の手法より優れていることを実証する。
実験の結果、注文応答率やサービス需要といった重要なパフォーマンス指標が大幅に改善され、制御エージェントの実用性とPCMASにおける意思決定の強化の可能性が強調された。
関連論文リスト
- Agent-Oriented Planning in Multi-Agent Systems [54.429028104022066]
本稿では,高速なタスク分解とアロケーションプロセスを活用するマルチエージェントシステムにおけるエージェント指向計画のための新しいフレームワークを提案する。
提案フレームワークにフィードバックループを組み込んで,そのような問題解決プロセスの有効性と堅牢性をさらに向上させる。
論文 参考訳（メタデータ） (2024-10-03T04:07:51Z) - Parallel AutoRegressive Models for Multi-Agent Combinatorial Optimization [17.392822956504848]
マルチエージェントタスクのための高品質なソリューションを効率的に構築するための強化学習フレームワークを提案する。
PARCOは,(1)並列ソリューション構築において効果的なエージェント協調を可能にするトランスフォーマーベースの通信層,(2)低レイテンシ,並列エージェント決定のためのマルチポインタ機構,(3)優先度ベースのコンフリクトハンドラの3つの重要なコンポーネントを統合する。
提案手法が最先端の学習手法より優れているマルチエージェント車両ルーティングおよびスケジューリング問題においてPARCOを評価し,強力な一般化能力と計算効率を示す。
論文 参考訳（メタデータ） (2024-09-05T17:49:18Z) - Design Optimization of NOMA Aided Multi-STAR-RIS for Indoor Environments: A Convex Approximation Imitated Reinforcement Learning Approach [51.63921041249406]
非直交多重アクセス(Noma)により、複数のユーザが同じ周波数帯域を共有でき、同時に再構成可能なインテリジェントサーフェス(STAR-RIS)を送信および反射することができる。
STAR-RISを屋内に展開することは、干渉緩和、電力消費、リアルタイム設定における課題を提示する。
複数のアクセスポイント(AP)、STAR-RIS、NOMAを利用した新しいネットワークアーキテクチャが屋内通信のために提案されている。
論文 参考訳（メタデータ） (2024-06-19T07:17:04Z) - Personalized Reinforcement Learning with a Budget of Policies [9.846353643883443]
機械学習(ML)におけるパーソナライゼーションは、ユーザの個々の特性に対する決定をモデル化する。
本稿では,Markov Decision Processes (r-MDPs) に代表される新しいフレームワークを提案する。
r-MDPでは、少数の代表ポリシーとのインタラクションを通じて、それぞれ独自の嗜好を持つ多様なユーザ人口に対応する。
r-MDPを効率的に解くための2つの深層強化学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-01-12T11:27:55Z) - Federated Multi-Level Optimization over Decentralized Networks [55.776919718214224]
エージェントが隣人としか通信できないネットワーク上での分散マルチレベル最適化の問題について検討する。
ネットワーク化されたエージェントが1つの時間スケールで異なるレベルの最適化問題を解くことができる新しいゴシップに基づく分散マルチレベル最適化アルゴリズムを提案する。
提案アルゴリズムは, ネットワークサイズと線形にスケーリングし, 各種アプリケーション上での最先端性能を示す。
論文 参考訳（メタデータ） (2023-10-10T00:21:10Z) - On the Complexity of Multi-Agent Decision Making: From Learning in Games
to Partial Monitoring [105.13668993076801]
マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。
本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。
マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
論文 参考訳（メタデータ） (2023-05-01T06:46:22Z) - Distributed-Training-and-Execution Multi-Agent Reinforcement Learning
for Power Control in HetNet [48.96004919910818]
We propose a multi-agent Deep reinforcement learning (MADRL) based power control scheme for the HetNet。
エージェント間の協調を促進するために,MADRLシステムのためのペナルティベースQラーニング(PQL)アルゴリズムを開発した。
このように、エージェントのポリシーは、他のエージェントによってより容易に学習でき、より効率的なコラボレーションプロセスをもたらす。
論文 参考訳（メタデータ） (2022-12-15T17:01:56Z) - Efficient Domain Coverage for Vehicles with Second-Order Dynamics via
Multi-Agent Reinforcement Learning [9.939081691797858]
本稿では,2次動的エージェントを含む多エージェント効率ドメインカバレッジ問題に対する強化学習(RL)手法を提案する。
提案するネットワークアーキテクチャには,LSTMと自己注意が組み込まれている。
論文 参考訳（メタデータ） (2022-11-11T01:59:12Z) - Compositionality of Linearly Solvable Optimal Control in Networked
Multi-Agent Systems [27.544923751902807]
マルチエージェントシステム(MAS)における学習されたコンポーネントタスクから未学習の複合タスクへの最適制御則の一般化手法について議論する。
提案手法は, 離散時間と連続時間の両方において, 協調MASフレームワーク内で同時に制御動作の構成性と最適性を実現する。
論文 参考訳（メタデータ） (2020-09-28T20:21:48Z) - A Novel Multi-Agent System for Complex Scheduling Problems [2.294014185517203]
本稿では,様々な問題領域に適用可能なマルチエージェントシステムの概念と実装について述べる。
提案手法の有効性を示すため,NP-hardスケジューリング問題をシミュレートする。
本稿では,レイアウトの複雑さの低減,複雑なシステムの制御の改善,拡張性など,エージェントベースのアプローチの利点を強調した。
論文 参考訳（メタデータ） (2020-04-20T14:04:58Z) - Decentralized MCTS via Learned Teammate Models [89.24858306636816]
本稿では,モンテカルロ木探索に基づくトレーニング可能なオンライン分散計画アルゴリズムを提案する。
深層学習と畳み込みニューラルネットワークを用いて正確なポリシー近似を作成可能であることを示す。
論文 参考訳（メタデータ） (2020-03-19T13:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。