論文の概要: Low Entropy Communication in Multi-Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2302.05055v1
- Date: Fri, 10 Feb 2023 05:24:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-13 16:40:01.028575
- Title: Low Entropy Communication in Multi-Agent Reinforcement Learning
- Title（参考訳）: マルチエージェント強化学習における低エントロピー通信
- Authors: Lebin Yu, Yunbo Qiu, Qiexiang Wang, Xudong Zhang, Jian Wang
- Abstract要約: マルチエージェント通信におけるメッセージエントロピーを低減するための擬似勾配降下方式を提案する。
提案手法は, 協調性能を損なうことなく, メッセージのエントロピーを最大90%削減できることがわかった。
- 参考スコア（独自算出の注目度）: 4.172640223872821
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Communication in multi-agent reinforcement learning has been drawing
attention recently for its significant role in cooperation. However,
multi-agent systems may suffer from limitations on communication resources and
thus need efficient communication techniques in real-world scenarios. According
to the Shannon-Hartley theorem, messages to be transmitted reliably in worse
channels require lower entropy. Therefore, we aim to reduce message entropy in
multi-agent communication. A fundamental challenge is that the gradients of
entropy are either 0 or infinity, disabling gradient-based methods. To handle
it, we propose a pseudo gradient descent scheme, which reduces entropy by
adjusting the distributions of messages wisely. We conduct experiments on two
base communication frameworks with six environment settings and find that our
scheme can reduce message entropy by up to 90% with nearly no loss of
cooperation performance.
- Abstract（参考訳）: 近年,マルチエージェント強化学習におけるコミュニケーションが注目されている。
しかし、マルチエージェントシステムは通信資源の制限に悩まされ、現実のシナリオでは効率的な通信技術が必要である。
シャノン=ハートレーの定理によれば、より悪いチャネルで確実に送信されるメッセージはエントロピーが低い。
そこで我々は,マルチエージェント通信におけるメッセージエントロピーの低減を目指す。
基本的な課題は、エントロピーの勾配が0か無限であり、勾配に基づく手法を無効にすることである。
そこで本研究では,メッセージの分布を適切に調整することでエントロピーを低減する擬似勾配降下方式を提案する。
環境設定が6つある2つの基盤通信フレームワーク上で実験を行い、協調性能の損失がほとんどなく、メッセージのエントロピーを最大90%削減できることを示した。
関連論文リスト
- Resilience of Entropy Model in Distributed Neural Networks [7.6340310234573465]
エントロピー符号化は、通信オーバーヘッドをさらに減らすために導入された。
本稿では,エントロピーモデルの意図的干渉と意図的干渉に対するレジリエンスについて検討する。
本研究では,攻撃入力の送信オーバーヘッドを約9%削減できる新しい防御機構を提案する。
論文 参考訳（メタデータ） (2024-03-01T19:39:19Z) - RGMComm: Return Gap Minimization via Discrete Communications in
Multi-Agent Reinforcement Learning [33.86277578441437]
マルコフ決定過程における協調的マルチエージェント強化学習課題の解決には,コミュニケーションが不可欠である。
本稿では、離散メッセージ生成関数の驚くほど単純な設計であるReturn-Gap-Minimization Communication (RGMComm)アルゴリズムを提案する。
評価の結果、RGMCommは最先端のマルチエージェント通信ベースラインを大きく上回っている。
論文 参考訳（メタデータ） (2023-08-07T07:26:55Z) - Emergent Quantized Communication [34.31732248872158]
本稿では,メッセージの量子化という,離散的なコミュニケーションを実現するための代替手法を提案する。
メッセージの量子化により、モデルのエンドツーエンドのトレーニングが可能になり、複数のセットアップで優れたパフォーマンスを実現します。
論文 参考訳（メタデータ） (2022-11-04T12:39:45Z) - FCMNet: Full Communication Memory Net for Team-Level Cooperation in
Multi-Agent Systems [15.631744703803806]
我々は、エージェントが効果的なマルチホップ通信プロトコルを同時に学習できる強化学習ベースのアプローチであるFCMNetを紹介する。
単純なマルチホップトポロジを用いて、各エージェントに各ステップで他のエージェントが逐次エンコードした情報を受信する能力を与える。
FCMNetは、すべてのStarCraft IIマイクロマネジメントタスクにおいて、最先端のコミュニケーションベースの強化学習方法より優れている。
論文 参考訳（メタデータ） (2022-01-28T09:12:01Z) - Multi-agent Communication with Graph Information Bottleneck under
Limited Bandwidth (a position paper) [92.11330289225981]
多くの実世界のシナリオでは、通信は高価であり、マルチエージェントシステムの帯域幅には一定の制約がある。
通信資源を占有する冗長なメッセージは、情報的メッセージの送信をブロックし、パフォーマンスを損なう。
本稿では,通信グラフ内の構造情報とノード情報を効果的に圧縮し,帯域幅に制約のある設定に対処する,新しいマルチエージェント通信モジュールCommGIBを提案する。
論文 参考訳（メタデータ） (2021-12-20T07:53:44Z) - Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。
我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
論文 参考訳（メタデータ） (2021-12-03T19:23:48Z) - Acceleration in Distributed Optimization Under Similarity [72.54787082152278]
集中ノードを持たないエージェントネットワーク上での分散(強い凸)最適化問題について検討する。
$varepsilon$-solutionは$tildemathcalrhoObig(sqrtfracbeta/mu (1-)log1/varepsilonbig)$通信ステップ数で達成される。
この速度は、関心のクラスに適用される分散ゴシップ-アルゴリズムの、初めて(ポリログ因子まで)より低い複雑性の通信境界と一致する。
論文 参考訳（メタデータ） (2021-10-24T04:03:00Z) - Minimizing Communication while Maximizing Performance in Multi-Agent
Reinforcement Learning [5.612141846711729]
エージェント間通信は、コーディネーションを必要とするマルチエージェントタスクのパフォーマンスを著しく向上させることができる。
通信が帯域幅、電力、ネットワーク容量といったシステムの制約によって制限されるような現実世界のアプリケーションでは、送信されるメッセージの数を減らす必要がある。
性能を損なうことなく、コミュニケーションを75%削減できることを示す。
論文 参考訳（メタデータ） (2021-06-15T23:13:51Z) - Adversarial Attacks On Multi-Agent Communication [80.4392160849506]
現代の自律システムはすぐに大規模に展開され、協調型マルチエージェントシステムの可能性を広げる。
このような利点は、セキュリティ侵害に対して脆弱であることが示されている通信チャネルに大きく依存している。
本稿では,エージェントが学習した中間表現を共有してコミュニケーションする新しいマルチエージェント環境において,このような攻撃を探索する。
論文 参考訳（メタデータ） (2021-01-17T00:35:26Z) - Learning to Communicate and Correct Pose Errors [75.03747122616605]
本稿では、V2VNetで提案された設定について検討し、近くにある自動運転車が共同で物体検出と動き予測を協調的に行う方法を提案する。
本稿では,コミュニケーションを学習し,潜在的な誤りを推定し,それらの誤りについてコンセンサスを得るための新しいニューラルネットワーク推論フレームワークを提案する。
論文 参考訳（メタデータ） (2020-11-10T18:19:40Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳（メタデータ） (2020-11-03T13:35:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。