論文の概要: Event-Based Communication in Multi-Agent Distributed Q-Learning
- arxiv url: http://arxiv.org/abs/2109.01417v2
- Date: Mon, 6 Sep 2021 14:06:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-07 11:51:23.557217
- Title: Event-Based Communication in Multi-Agent Distributed Q-Learning
- Title(参考訳): マルチエージェント分散Q-Learningにおけるイベントベースコミュニケーション
- Authors: Daniel Jarne Ornia, Manuel Mazo Jr
- Abstract要約: 本稿では,イベントトリガ制御(ETC)技術に触発されたマルチエージェント学習システムにおける情報通信の低減手法を提案する。
マルコフ決定過程(MDP)における分散Q-ラーニング問題のベースラインシナリオについて考察する。
イベントベースのアプローチの後、NエージェントはMDPを探索し、必要に応じて中央学習者と経験を伝達し、アクターQ機能の更新を行う。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present in this work an approach to reduce the communication of
information needed on a multi-agent learning system inspired by Event Triggered
Control (ETC) techniques. We consider a baseline scenario of a distributed
Q-learning problem on a Markov Decision Process (MDP). Following an event-based
approach, N agents explore the MDP and communicate experiences to a central
learner only when necessary, which performs updates of the actor Q functions.
We analyse the convergence guarantees retained with respect to a regular
Q-learning algorithm, and present experimental results showing that event-based
communication results in a substantial reduction of data transmission rates in
such distributed systems. Additionally, we discuss what effects (desired and
undesired) these event-based approaches have on the learning processes studied,
and how they can be applied to more complex multi-agent learning systems.
- Abstract(参考訳): 本稿では,イベントトリガ制御(etc)技術に触発されたマルチエージェント学習システムに必要な情報通信量を削減する手法を提案する。
我々は,マルコフ決定過程(mdp)における分散q学習問題のベースラインシナリオを考える。
イベントベースのアプローチの後、NエージェントはMDPを探索し、必要に応じて中央学習者と経験を伝達し、アクターQ機能の更新を行う。
本稿では,通常のq-learningアルゴリズムに対して保持される収束保証を分析し,そのような分散システムにおいて,イベントベースの通信によりデータ伝送速度が大幅に低下することを示す実験結果を示す。
さらに、これらのイベントベースアプローチが学習プロセスに与える影響(望ましくない、望ましくない)と、より複雑なマルチエージェント学習システムに適用できる方法について論じる。
関連論文リスト
- Emergent Communication Protocol Learning for Task Offloading in
Industrial Internet of Things [30.146175299047325]
計算のオフロード決定とマルチチャネルアクセスポリシーを対応するシグナリングで学習する。
具体的には、基地局と産業用IoTモバイルデバイスは強化学習エージェントである。
この問題を解決するために,創発的な通信プロトコル学習フレームワークを採用する。
論文 参考訳(メタデータ) (2024-01-23T17:06:13Z) - Inverse Factorized Q-Learning for Cooperative Multi-agent Imitation
Learning [13.060023718506917]
模倣学習(英: mimicion learning, IL)は、協調型マルチエージェントシステムにおける実証から専門家の行動を模倣する学習の課題である。
本稿では,これらの課題に対処する新しいマルチエージェントILアルゴリズムを提案する。
本手法は,分散Q関数の集約に混在するネットワークを活用することで,集中学習を実現する。
論文 参考訳(メタデータ) (2023-10-10T17:11:20Z) - Collaborative Information Dissemination with Graph-based Multi-Agent
Reinforcement Learning [2.9904113489777826]
本稿では,効率的な情報伝達のためのマルチエージェント強化学習(MARL)手法を提案する。
本稿では,各エージェントが個別にメッセージ転送を決定するための情報発信のための部分観測可能なゲーム(POSG)を提案する。
実験の結果,既存の手法よりも訓練済みの方針が優れていることがわかった。
論文 参考訳(メタデータ) (2023-08-25T21:30:16Z) - Task-Oriented Communication Design at Scale [26.297026173363165]
本稿では,協調型マルチエージェントシステムにおけるスケーラブルなタスク指向量子化とコミュニケーションを設計するための新しいアプローチを提案する。
提案手法では,TOCDフレームワークと情報量(VoI)の概念を用いて,定量化観測の効率的な通信を実現する。
数値計算の結果,MAS問題におけるTOCDに必要なVoIを得る際の計算複雑性の低減が著しく向上した。
論文 参考訳(メタデータ) (2023-05-15T09:32:42Z) - Decentralized Learning over Wireless Networks: The Effect of Broadcast
with Random Access [56.91063444859008]
本稿では,D-SGDのコンバージェンス性能に及ぼす放送送信と確率的ランダムアクセスポリシーの影響について検討する。
この結果から,アクセス確率を最適化し,期待されるリンク数の最大化が,システム収束を加速するための極めて効果的な戦略であることが示唆された。
論文 参考訳(メタデータ) (2023-05-12T10:32:26Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳(メタデータ) (2020-12-15T12:20:28Z) - Toward Multiple Federated Learning Services Resource Sharing in Mobile
Edge Networks [88.15736037284408]
本稿では,マルチアクセスエッジコンピューティングサーバにおいて,複数のフェデレーション付き学習サービスの新たなモデルについて検討する。
共同資源最適化とハイパーラーニング率制御の問題,すなわちMS-FEDLを提案する。
シミュレーションの結果,提案アルゴリズムの収束性能を実証した。
論文 参考訳(メタデータ) (2020-11-25T01:29:41Z) - Communication-Efficient and Distributed Learning Over Wireless Networks:
Principles and Applications [55.65768284748698]
機械学習(ML)は、第5世代(5G)通信システムなどのための有望なイネーブルである。
本稿では、関連するコミュニケーションとMLの原則を概観し、選択したユースケースでコミュニケーション効率と分散学習フレームワークを提示することを目的とする。
論文 参考訳(メタデータ) (2020-08-06T12:37:14Z) - Multimodal Categorization of Crisis Events in Social Media [81.07061295887172]
本稿では,画像とテキストの両方を入力として利用するマルチモーダル融合法を提案する。
特に、弱モダリティから非形式的および誤解を招くコンポーネントをフィルタリングできるクロスアテンションモジュールを導入する。
本手法は,3つの危機関連タスクにおいて,一様アプローチと強いマルチモーダルベースラインを大きなマージンで上回ることを示す。
論文 参考訳(メタデータ) (2020-04-10T06:31:30Z) - Model-based Multi-Agent Reinforcement Learning with Cooperative
Prioritized Sweeping [4.5497948012757865]
本稿では,新しいモデルに基づく強化学習アルゴリズム,Cooperative Prioritized Sweepingを提案する。
このアルゴリズムは、値関数を近似するために因子化を利用することにより、大きな問題に対するサンプル効率の学習を可能にする。
我々の手法は、よく知られたSysAdminベンチマークとランダム化環境の両方において、最先端の協調的なQ-ラーニングアルゴリズムよりも優れている。
論文 参考訳(メタデータ) (2020-01-15T19:13:44Z) - Distributed Learning in the Non-Convex World: From Batch to Streaming
Data, and Beyond [73.03743482037378]
分散学習は、多くの人々が想定する、大規模に接続された世界の重要な方向となっている。
本稿では、スケーラブルな分散処理とリアルタイムデータ計算の4つの重要な要素について論じる。
実践的な問題や今後の研究についても論じる。
論文 参考訳(メタデータ) (2020-01-14T14:11:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。