論文の概要: QMNet: Importance-Aware Message Exchange for Decentralized Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2307.09051v1
• Date: Tue, 18 Jul 2023 08:04:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 15:55:02.282502
• Title: QMNet: Importance-Aware Message Exchange for Decentralized Multi-Agent Reinforcement Learning
• Title（参考訳）: QMNet:分散マルチエージェント強化学習におけるメッセージ交換の重要性
• Authors: Xiufeng Huang, Sheng Zhou
• Abstract要約: 本稿では、メッセージ重要度基準を提案し、メッセージを効果的に交換するための重要度を考慮したスケジューリングポリシーを設計する。 メッセージの重要性は、メッセージ自体だけでなく、メッセージを受け取るエージェントのニーズにも依存する。 無線リソースの制限により,少数のエージェントだけがメッセージを送ることができる交通ジャンクション環境において,提案手法を評価する。
• 参考スコア（独自算出の注目度）: 9.585931043664363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To improve the performance of multi-agent reinforcement learning under the constraint of wireless resources, we propose a message importance metric and design an importance-aware scheduling policy to effectively exchange messages. The key insight is spending the precious communication resources on important messages. The message importance depends not only on the messages themselves, but also on the needs of agents who receive them. Accordingly, we propose a query-message-based architecture, called QMNet. Agents generate queries and messages with the environment observation. Sharing queries can help calculate message importance. Exchanging messages can help agents cooperate better. Besides, we exploit the message importance to deal with random access collisions in decentralized systems. Furthermore, a message prediction mechanism is proposed to compensate for messages that are not transmitted. Finally, we evaluate the proposed schemes in a traffic junction environment, where only a fraction of agents can send messages due to limited wireless resources. Results show that QMNet can extract valuable information to guarantee the system performance even when only $30\%$ of agents can share messages. By exploiting message prediction, the system can further save $40\%$ of wireless resources. The importance-aware decentralized multi-access mechanism can effectively avoid collisions, achieving almost the same performance as centralized scheduling.
• Abstract（参考訳）: 無線資源の制約下でのマルチエージェント強化学習の性能を向上させるために,メッセージ重要度指標を提案し,メッセージを効果的に交換するための重要度対応スケジューリングポリシを設計する。 重要な洞察は、重要なメッセージに貴重なコミュニケーションリソースを使うことです。 メッセージの重要性は、メッセージ自体だけでなく、受信するエージェントのニーズにも依存します。 そこで我々はqmnetと呼ばれるクエリメッセージベースのアーキテクチャを提案する。 エージェントは、環境観察でクエリとメッセージを生成する。 クエリーの共有はメッセージの重要性を計算するのに役立つ。 メッセージ交換はエージェントの協力に役立つ。 さらに、メッセージの重要性を活用して、分散システムにおけるランダムアクセス衝突に対処する。 さらに,送信されていないメッセージを補うために,メッセージ予測機構を提案する。 最後に,無線リソースの制限により少数のエージェントがメッセージを送ることができる交通ジャンクション環境において,提案手法を評価する。 その結果、QMNetは、たった30セントのエージェントがメッセージを共有できる場合でも、システム性能を保証するために貴重な情報を抽出できることがわかった。 メッセージ予測を活用することで、システムはさらに40\%の無線リソースを節約できる。 重要を意識した分散マルチアクセス機構は、衝突を効果的に回避し、集中スケジューリングとほぼ同等のパフォーマンスを実現する。

関連論文リスト

• Multi-Agent Reinforcement Learning Based on Representational Communication for Large-Scale Traffic Signal Control [13.844458247041711]
  交通信号制御(TSC)は、インテリジェント交通システムにおいて難しい問題である。 大規模TSCのための通信ベースのMARLフレームワークを提案する。 私たちのフレームワークでは、各エージェントがメッセージのどの部分を誰に"送信"するかを指示する通信ポリシーを学習することができます。
  論文  参考訳（メタデータ） (2023-10-03T21:06:51Z)
• Generative AI-aided Joint Training-free Secure Semantic Communications via Multi-modal Prompts [89.04751776308656]
  本稿では,多モデルプロンプトを用いたGAI支援型SemComシステムを提案する。 セキュリティ上の懸念に応えて、フレンドリーなジャマーによって支援される隠蔽通信の応用を紹介する。
  論文  参考訳（メタデータ） (2023-09-05T23:24:56Z)
• Reasoning over the Air: A Reasoning-based Implicit Semantic-Aware Communication Framework [124.6509194665514]
  ソースユーザと宛先ユーザの間で暗黙的な意味を表現し,伝達し,解釈するために,新しい暗黙的意味コミュニケーション(iSAC)アーキテクチャを提案する。 プロジェクションベースセマンティックエンコーダは, 明示的セマンティックスの高次元グラフィカル表現を低次元セマンティックコンステレーション空間に変換し, 効率的な物理チャネル伝送を実現する。 ソースユーザの暗黙的意味推論過程を学習し、模倣できるようにするため、G-RMLと呼ばれる生成逆模倣学習ベースのソリューションが提案されている。
  論文  参考訳（メタデータ） (2023-06-20T01:32:27Z)
• Efficient Communication via Self-supervised Information Aggregation for Online and Offline Multi-agent Reinforcement Learning [12.334522644561591]
  MARL(Multi-Agent Reinforcement Learning)の協調学習において,効率的なメッセージアグリゲーションは協調に不可欠である,と我々は主張する。 本稿では, エージェントが受信したメッセージをコンパクトな表現に集約し, ローカルポリシーの強化に高い関連性を持たせることができる, 自己教師型情報集約(MASIA)によるマルチエージェント通信を提案する。 私たちはマルチエージェント通信のためのオフラインベンチマークを構築しています。
  論文  参考訳（メタデータ） (2023-02-19T16:02:16Z)
• Scalable Communication for Multi-Agent Reinforcement Learning via Transformer-Based Email Mechanism [9.607941773452925]
  コミュニケーションはマルチエージェント強化学習(MARL)における協調性を著しく向上させる 本稿では,部分的に観測されたタスクに対するMARL通信のスケーラビリティ問題に対処するための新しいフレームワークである Transformer-based Email Mechanism (TEM) を提案する。
  論文  参考訳（メタデータ） (2023-01-05T05:34:30Z)
• Certifiably Robust Policy Learning against Adversarial Communication in Multi-agent Systems [51.6210785955659]
  多くのマルチエージェント強化学習(MARL)では,エージェントが情報を共有し,適切な判断を下す上でコミュニケーションが重要である。 しかし、ノイズや潜在的な攻撃者が存在する現実世界のアプリケーションに訓練された通信エージェントを配置すると、通信ベースのポリシーの安全性は過小評価されている深刻な問題となる。 本研究では,攻撃者が任意の$CfracN-12$エージェントから被害者エージェントへの通信を任意に変更できる,$N$エージェントを備えた環境を検討する。
  論文  参考訳（メタデータ） (2022-06-21T07:32:18Z)
• Coordinating Policies Among Multiple Agents via an Intelligent Communication Channel [81.39444892747512]
  MARL(Multi-Agent Reinforcement Learning)では、エージェントが直接通信できる特別なチャンネルがしばしば導入される。 本稿では,エージェントの集団的性能を向上させるために,エージェントが提供した信号の伝達と解釈を学習する,インテリジェントなファシリテータを通じてエージェントがコミュニケーションする手法を提案する。
  論文  参考訳（メタデータ） (2022-05-21T14:11:33Z)
• Multi-agent Communication with Graph Information Bottleneck under Limited Bandwidth (a position paper) [92.11330289225981]
  多くの実世界のシナリオでは、通信は高価であり、マルチエージェントシステムの帯域幅には一定の制約がある。 通信資源を占有する冗長なメッセージは、情報的メッセージの送信をブロックし、パフォーマンスを損なう。 本稿では,通信グラフ内の構造情報とノード情報を効果的に圧縮し,帯域幅に制約のある設定に対処する,新しいマルチエージェント通信モジュールCommGIBを提案する。
  論文  参考訳（メタデータ） (2021-12-20T07:53:44Z)
• Will bots take over the supply chain? Revisiting Agent-based supply chain automation [71.77396882936951]
  エージェントベースのサプライチェーンは2000年初頭から提案されている。 エージェントベースの技術は成熟しており、サプライチェーンに浸透している他の支援技術はギャップを埋めている。 例えば、IoTテクノロジのユビキティは、エージェントがサプライチェーンの状態を“理解”し、自動化のための新たな可能性を開くのに役立つ。
  論文  参考訳（メタデータ） (2021-09-03T18:44:26Z)
• Minimizing Communication while Maximizing Performance in Multi-Agent Reinforcement Learning [5.612141846711729]
  エージェント間通信は、コーディネーションを必要とするマルチエージェントタスクのパフォーマンスを著しく向上させることができる。 通信が帯域幅、電力、ネットワーク容量といったシステムの制約によって制限されるような現実世界のアプリケーションでは、送信されるメッセージの数を減らす必要がある。 性能を損なうことなく、コミュニケーションを75%削減できることを示す。
  論文  参考訳（メタデータ） (2021-06-15T23:13:51Z)
• Message-Aware Graph Attention Networks for Large-Scale Multi-Robot Path Planning [12.988435681305281]
  グラフニューラルネットワーク(GNN)は、分散マルチエージェントシステムにおける通信ポリシの学習能力から人気を集めている。 我々は、メッセージ依存の注意を喚起するための新しいメカニズムを取り入れることで、GNNをマルチエージェントパス計画に活用する以前の作業を拡張した。 我々のメッセージ対応グラフ注意neTwork(MAGAT)は、近隣のロボットから受信したメッセージにおける特徴の相対的重要性を決定するキークエリライクなメカニズムに基づいている。
  論文  参考訳（メタデータ） (2020-11-26T10:37:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。