論文の概要: Exploiting inter-agent coupling information for efficient reinforcement learning of cooperative LQR
- arxiv url: http://arxiv.org/abs/2504.20927v1
- Date: Tue, 29 Apr 2025 16:42:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.998383
- Title: Exploiting inter-agent coupling information for efficient reinforcement learning of cooperative LQR
- Title（参考訳）: 協調型LQRの効率的な強化学習のためのエージェント間カップリング情報の生成
- Authors: Shahbaz P Qadri Syed, He Bai,
- Abstract要約: エージェント間結合情報を利用して,各エージェントの局所的なQ-関数を正確に分解するための体系的アプローチを提案する。
提案した分解に基づく最小2乗ポリシー反復アルゴリズムを開発し,各エージェントの局所的なQ-関数を学習するための2つのアーキテクチャを同定する。
- 参考スコア（独自算出の注目度）: 3.4760283855855336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Developing scalable and efficient reinforcement learning algorithms for cooperative multi-agent control has received significant attention over the past years. Existing literature has proposed inexact decompositions of local Q-functions based on empirical information structures between the agents. In this paper, we exploit inter-agent coupling information and propose a systematic approach to exactly decompose the local Q-function of each agent. We develop an approximate least square policy iteration algorithm based on the proposed decomposition and identify two architectures to learn the local Q-function for each agent. We establish that the worst-case sample complexity of the decomposition is equal to the centralized case and derive necessary and sufficient graphical conditions on the inter-agent couplings to achieve better sample efficiency. We demonstrate the improved sample efficiency and computational efficiency on numerical examples.
- Abstract（参考訳）: 近年,協調型マルチエージェント制御のためのスケーラブルで効率的な強化学習アルゴリズムの開発が注目されている。
既存の文献ではエージェント間の経験的情報構造に基づく局所的なQ-関数の不正確な分解が提案されている。
本稿では,エージェント間の結合情報を活用し,各エージェントの局所的なQ-関数を正確に分解するための体系的アプローチを提案する。
提案した分解に基づく最小2乗ポリシー反復アルゴリズムを開発し,各エージェントの局所的なQ-関数を学習するための2つのアーキテクチャを同定する。
分解の最悪の場合のサンプルの複雑さは集中型の場合と同等であり、より優れたサンプル効率を達成するために、エージェント間結合における必要十分かつ十分なグラフィカルな条件を導出することを確立する。
数値的な例に対して,改良されたサンプル効率と計算効率を示す。
関連論文リスト
- A Multiagent Path Search Algorithm for Large-Scale Coalition Structure Generation [61.08720171136229]
結合構造生成はマルチエージェントシステムにおける基本的な計算問題である。
我々はCSGの多エージェントパス探索アルゴリズムであるSALDAEを開発し、連立構造グラフ上で運用する。
論文 参考訳（メタデータ） (2025-02-14T15:21:27Z) - Multi-Agent Sampling: Scaling Inference Compute for Data Synthesis with Tree Search-Based Agentic Collaboration [81.45763823762682]
本研究の目的は,マルチエージェントサンプリングによるデータ合成の問題を調べることでギャップを埋めることである。
逐次サンプリングプロセス中にワークフローが反復的に進化する木探索に基づくオーケストレーションエージェント(TOA)を紹介する。
アライメント、機械翻訳、数学的推論に関する実験は、マルチエージェントサンプリングが推論計算スケールとしてシングルエージェントサンプリングを著しく上回ることを示した。
論文 参考訳（メタデータ） (2024-12-22T15:16:44Z) - Scalable Decentralized Algorithms for Online Personalized Mean Estimation [12.002609934938224]
本研究は,各エージェントが実数値分布からサンプルを収集し,その平均値を推定する,オーバーアーキシング問題の簡易版に焦点を当てた。
1つは信念の伝播からインスピレーションを得ており、もう1つはコンセンサスに基づくアプローチを採用している。
論文 参考訳（メタデータ） (2024-02-20T08:30:46Z) - Partially Observable Multi-Agent Reinforcement Learning with Information Sharing [33.145861021414184]
部分的に観察可能なゲーム(POSG)の一般的な枠組みにおける証明可能なマルチエージェント強化学習(RL)について検討する。
我々は,エージェント間での情報共有の可能性,経験的マルチエージェントRLにおける一般的な実践,コミュニケーションを伴うマルチエージェント制御システムの標準モデルを活用することを提唱する。
論文 参考訳（メタデータ） (2023-08-16T23:42:03Z) - On Collaboration in Distributed Parameter Estimation with Resource Constraints [11.998903619502443]
センサやエージェントはパラメータ推定の精度を最大化するためにリソース割り当てを最適化する必要がある。
センサやエージェントのデータ収集と協調ポリシー設計の問題を定式化する。
最適なデータ収集と協調ポリシーを学習するために,マルチアームバンディットアルゴリズムを適用した新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-12T20:11:50Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - On the Complexity of Multi-Agent Decision Making: From Learning in Games
to Partial Monitoring [105.13668993076801]
マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。
本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。
マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
論文 参考訳（メタデータ） (2023-05-01T06:46:22Z) - ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。
これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。
種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
論文 参考訳（メタデータ） (2022-09-25T13:05:33Z) - RACA: Relation-Aware Credit Assignment for Ad-Hoc Cooperation in
Multi-Agent Deep Reinforcement Learning [55.55009081609396]
本稿では、アドホックな協調シナリオにおいてゼロショットの一般化を実現するRACA(Relation-Aware Credit Assignment)と呼ばれる新しい手法を提案する。
RACAは、エージェント間のトポロジ構造を符号化するために、グラフベースのエンコーダ関係を利用する。
提案手法は,StarCraftIIマイクロマネジメントベンチマークとアドホック協調シナリオのベースライン手法よりも優れている。
論文 参考訳（メタデータ） (2022-06-02T03:39:27Z) - Multi-Agent Determinantal Q-Learning [39.79718674655209]
マルチエージェント決定型Q-ラーニングを提案する。Q-DPPはエージェントが多様な行動モデルを取得することを奨励する。
分散型協調作業において,Q-DPPがVDN,QMIX,QTRANなどの主要なソリューションを一般化することを実証する。
論文 参考訳（メタデータ） (2020-06-02T09:32:48Z) - Task-Based Information Compression for Multi-Agent Communication
Problems with Channel Rate Constraints [28.727611928919725]
本稿では,情報圧縮アルゴリズム(SAIC)のステートアグリゲーションを導入し,定式化TBIC問題の解法を提案する。
その結果,SAICは割引報酬の総和でほぼ最適性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2020-05-28T18:29:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。