論文の概要: Multi-Agent Reinforcement Learning Based on Representational
Communication for Large-Scale Traffic Signal Control
- arxiv url: http://arxiv.org/abs/2310.02435v1
- Date: Tue, 3 Oct 2023 21:06:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 17:31:17.170039
- Title: Multi-Agent Reinforcement Learning Based on Representational
Communication for Large-Scale Traffic Signal Control
- Title（参考訳）: 大規模信号制御のための表現通信に基づくマルチエージェント強化学習
- Authors: Rohit Bokade, Xiaoning Jin, Christopher Amato
- Abstract要約: 交通信号制御(TSC)は、インテリジェント交通システムにおいて難しい問題である。
大規模TSCのための通信ベースのMARLフレームワークを提案する。
私たちのフレームワークでは、各エージェントがメッセージのどの部分を誰に"送信"するかを指示する通信ポリシーを学習することができます。
- 参考スコア（独自算出の注目度）: 13.844458247041711
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traffic signal control (TSC) is a challenging problem within intelligent
transportation systems and has been tackled using multi-agent reinforcement
learning (MARL). While centralized approaches are often infeasible for
large-scale TSC problems, decentralized approaches provide scalability but
introduce new challenges, such as partial observability. Communication plays a
critical role in decentralized MARL, as agents must learn to exchange
information using messages to better understand the system and achieve
effective coordination. Deep MARL has been used to enable inter-agent
communication by learning communication protocols in a differentiable manner.
However, many deep MARL communication frameworks proposed for TSC allow agents
to communicate with all other agents at all times, which can add to the
existing noise in the system and degrade overall performance. In this study, we
propose a communication-based MARL framework for large-scale TSC. Our framework
allows each agent to learn a communication policy that dictates "which" part of
the message is sent "to whom". In essence, our framework enables agents to
selectively choose the recipients of their messages and exchange variable
length messages with them. This results in a decentralized and flexible
communication mechanism in which agents can effectively use the communication
channel only when necessary. We designed two networks, a synthetic $4 \times 4$
grid network and a real-world network based on the Pasubio neighborhood in
Bologna. Our framework achieved the lowest network congestion compared to
related methods, with agents utilizing $\sim 47-65 \%$ of the communication
channel. Ablation studies further demonstrated the effectiveness of the
communication policies learned within our framework.
- Abstract（参考訳）: 交通信号制御(TSC)は、インテリジェント交通システムにおいて困難な問題であり、マルチエージェント強化学習(MARL)を用いて取り組まれてきた。
集中型アプローチは大規模なtsc問題では実現できないことが多いが、分散型アプローチはスケーラビリティを提供するが、部分的可観測性などの新たな課題を導入する。
エージェントは、システムを理解し、効果的な協調を達成するために、メッセージを使って情報を交換することを学ぶ必要がある。
Deep MARLは、コミュニケーションプロトコルを異なる方法で学習することで、エージェント間通信を可能にするために使用されている。
しかし、TSCのために提案された多くのディープMARL通信フレームワークは、エージェントが他のエージェントと常に通信できるので、システム内の既存のノイズを増し、全体的なパフォーマンスを低下させることができる。
本研究では,大規模TSCのための通信ベースのMARLフレームワークを提案する。
我々のフレームワークは、各エージェントがメッセージのどの部分を誰に"送信"するかを指示するコミュニケーションポリシーを学ぶことができる。
本質的には、エージェントがメッセージの受信者を選択的に選択し、可変長メッセージを交換することを可能にするフレームワークです。
これにより、エージェントが必要なときにのみ通信チャネルを効果的に使用できる分散型で柔軟な通信メカニズムが実現される。
4 \times 4$グリッドネットワークとbolognaのpasubio地区に基づく実世界ネットワークの2つのネットワークを設計した。
我々のフレームワークは,通信チャネルの$\sim 47-65 \% のエージェントを用いて,関連手法と比較してネットワークの混雑率を低くした。
アブレーション研究は、我々のフレームワークで学んだコミュニケーションポリシーの有効性をさらに実証した。
関連論文リスト
- Context-aware Communication for Multi-agent Reinforcement Learning [6.109127175562235]
マルチエージェント強化学習(MARL)のための文脈認識型コミュニケーション手法を開発した。
第1段階では、エージェントは放送方式で粗い表現を交換し、第2段階のコンテキストを提供する。
その後、エージェントは第2段階の注意機構を利用し、受信機用にパーソナライズされたメッセージを選択的に生成する。
CACOMの有効性を評価するため,アクタ批判型と値に基づくMARLアルゴリズムを併用する。
論文 参考訳（メタデータ） (2023-12-25T03:33:08Z) - Large Language Model Enhanced Multi-Agent Systems for 6G Communications [94.45712802626794]
本稿では,自然言語を用いたコミュニケーション関連タスクを解くための,カスタマイズされたコミュニケーション知識とツールを備えたマルチエージェントシステムを提案する。
セマンティック通信システムの設計により,提案方式の有効性を検証した。
論文 参考訳（メタデータ） (2023-12-13T02:35:57Z) - AC2C: Adaptively Controlled Two-Hop Communication for Multi-Agent
Reinforcement Learning [4.884877440051105]
本稿では,AC2C(Adaptive Controlled Two-Hop Communication)と呼ばれる新しい通信プロトコルを提案する。
AC2Cは、エージェント間の長距離情報交換によるパフォーマンス向上を可能にするために、適応的な2ホップ通信戦略を採用している。
本稿では,3つの協調型マルチエージェントタスクにおけるAC2Cの評価を行った。
論文 参考訳（メタデータ） (2023-02-24T09:00:34Z) - Scalable Communication for Multi-Agent Reinforcement Learning via
Transformer-Based Email Mechanism [9.607941773452925]
コミュニケーションはマルチエージェント強化学習(MARL)における協調性を著しく向上させる
本稿では,部分的に観測されたタスクに対するMARL通信のスケーラビリティ問題に対処するための新しいフレームワークである Transformer-based Email Mechanism (TEM) を提案する。
論文 参考訳（メタデータ） (2023-01-05T05:34:30Z) - Certifiably Robust Policy Learning against Adversarial Communication in
Multi-agent Systems [51.6210785955659]
多くのマルチエージェント強化学習(MARL)では,エージェントが情報を共有し,適切な判断を下す上でコミュニケーションが重要である。
しかし、ノイズや潜在的な攻撃者が存在する現実世界のアプリケーションに訓練された通信エージェントを配置すると、通信ベースのポリシーの安全性は過小評価されている深刻な問題となる。
本研究では,攻撃者が任意の$CfracN-12$エージェントから被害者エージェントへの通信を任意に変更できる,$N$エージェントを備えた環境を検討する。
論文 参考訳（メタデータ） (2022-06-21T07:32:18Z) - Coordinating Policies Among Multiple Agents via an Intelligent
Communication Channel [81.39444892747512]
MARL(Multi-Agent Reinforcement Learning)では、エージェントが直接通信できる特別なチャンネルがしばしば導入される。
本稿では,エージェントの集団的性能を向上させるために,エージェントが提供した信号の伝達と解釈を学習する,インテリジェントなファシリテータを通じてエージェントがコミュニケーションする手法を提案する。
論文 参考訳（メタデータ） (2022-05-21T14:11:33Z) - FCMNet: Full Communication Memory Net for Team-Level Cooperation in
Multi-Agent Systems [15.631744703803806]
我々は、エージェントが効果的なマルチホップ通信プロトコルを同時に学習できる強化学習ベースのアプローチであるFCMNetを紹介する。
単純なマルチホップトポロジを用いて、各エージェントに各ステップで他のエージェントが逐次エンコードした情報を受信する能力を与える。
FCMNetは、すべてのStarCraft IIマイクロマネジメントタスクにおいて、最先端のコミュニケーションベースの強化学習方法より優れている。
論文 参考訳（メタデータ） (2022-01-28T09:12:01Z) - Multi-agent Communication with Graph Information Bottleneck under
Limited Bandwidth (a position paper) [92.11330289225981]
多くの実世界のシナリオでは、通信は高価であり、マルチエージェントシステムの帯域幅には一定の制約がある。
通信資源を占有する冗長なメッセージは、情報的メッセージの送信をブロックし、パフォーマンスを損なう。
本稿では,通信グラフ内の構造情報とノード情報を効果的に圧縮し,帯域幅に制約のある設定に対処する,新しいマルチエージェント通信モジュールCommGIBを提案する。
論文 参考訳（メタデータ） (2021-12-20T07:53:44Z) - Effective Communications: A Joint Learning and Communication Framework
for Multi-Agent Reinforcement Learning over Noisy Channels [0.0]
コミュニケーションにおける「有効性問題」の新しい定式化を提案する。
コーディネーションと協調性を向上するために,複数のエージェントがノイズの多いチャネル上で通信することを検討する。
提案した枠組みを用いて学習した共同方針が,コミュニケーションが別々に考慮される場合よりも優れていることを例に示します。
論文 参考訳（メタデータ） (2021-01-02T10:43:41Z) - Communication-Efficient and Distributed Learning Over Wireless Networks:
Principles and Applications [55.65768284748698]
機械学習(ML)は、第5世代(5G)通信システムなどのための有望なイネーブルである。
本稿では、関連するコミュニケーションとMLの原則を概観し、選択したユースケースでコミュニケーション効率と分散学習フレームワークを提示することを目的とする。
論文 参考訳（メタデータ） (2020-08-06T12:37:14Z) - Learning Structured Communication for Multi-agent Reinforcement Learning [104.64584573546524]
本研究では,マルチエージェント強化学習(MARL)環境下での大規模マルチエージェント通信機構について検討する。
本稿では、より柔軟で効率的な通信トポロジを用いて、LSC(Learning Structured Communication)と呼ばれる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-11T07:19:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。