論文の概要: Towards True Lossless Sparse Communication in Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2212.00115v1
- Date: Wed, 30 Nov 2022 20:43:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 17:25:17.135280
- Title: Towards True Lossless Sparse Communication in Multi-Agent Systems
- Title（参考訳）: マルチエージェントシステムにおける真の無損失スパース通信を目指して
- Authors: Seth Karten, Mycal Tucker, Siva Kailas, Katia Sycara
- Abstract要約: コミュニケーションは、エージェントが目標を達成するために協力することを可能にする。
スパース個別化コミュニケーションの学習における最近の研究は、訓練中に高いばらつきに悩まされている。
情報ボトルネックを表現学習問題として、空間性を再設定するために使用します。
- 参考スコア（独自算出の注目度）: 1.911678487931003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Communication enables agents to cooperate to achieve their goals. Learning
when to communicate, i.e., sparse (in time) communication, and whom to message
is particularly important when bandwidth is limited. Recent work in learning
sparse individualized communication, however, suffers from high variance during
training, where decreasing communication comes at the cost of decreased reward,
particularly in cooperative tasks. We use the information bottleneck to reframe
sparsity as a representation learning problem, which we show naturally enables
lossless sparse communication at lower budgets than prior art. In this paper,
we propose a method for true lossless sparsity in communication via Information
Maximizing Gated Sparse Multi-Agent Communication (IMGS-MAC). Our model uses
two individualized regularization objectives, an information maximization
autoencoder and sparse communication loss, to create informative and sparse
communication. We evaluate the learned communication `language' through direct
causal analysis of messages in non-sparse runs to determine the range of
lossless sparse budgets, which allow zero-shot sparsity, and the range of
sparse budgets that will inquire a reward loss, which is minimized by our
learned gating function with few-shot sparsity. To demonstrate the efficacy of
our results, we experiment in cooperative multi-agent tasks where communication
is essential for success. We evaluate our model with both continuous and
discrete messages. We focus our analysis on a variety of ablations to show the
effect of message representations, including their properties, and lossless
performance of our model.
- Abstract（参考訳）: コミュニケーションは、エージェントが目標を達成するために協力することを可能にする。
コミュニケーションのタイミング、すなわち(時間内に)スパースなコミュニケーションを学ぶことは、帯域幅が制限されたときに特に重要である。
しかし、近年のスパース個別化コミュニケーションの学習作業は、特に協調作業において、コミュニケーションの減少が報酬の減少の犠牲となる訓練中に高いばらつきに悩まされている。
本研究では,情報ボトルネックを表現学習問題として再編成し,従来の技術よりも低予算で損失のない疎間通信を可能にすることを示す。
本稿では,IMGS-MAC (Information Maximizing Gated Sparse Multi-Agent Communication) を用いた通信における真のロスレス空間化手法を提案する。
我々のモデルは情報最大化オートエンコーダとスパース通信損失の2つの個別化正規化目標を用いて情報通信とスパース通信を作成する。
非スパースランにおけるメッセージの直接因果分析によって学習した「言語」を評価し、ゼロショットスパースを許容するロスレススパース予算の範囲と、最小ショットスパースで学習ゲーティング関数によって最小化された報酬損失を問うスパース予算の範囲を決定する。
この結果の有効性を示すために,コミュニケーションが成功に不可欠である協調マルチエージェントタスクを実験した。
連続メッセージと離散メッセージの両方でモデルを評価する。
我々は,その特性を含むメッセージ表現の効果と,モデルの性能を損なうことなく示すために,さまざまなアブリケーションに着目した分析を行った。
関連論文リスト
- Learning Multi-Agent Communication from Graph Modeling Perspective [62.13508281188895]
本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。
提案手法であるCommFormerは,通信グラフを効率よく最適化し,勾配降下によるアーキテクチャパラメータをエンドツーエンドで並列に洗練する。
論文 参考訳（メタデータ） (2024-05-14T12:40:25Z) - Learning Multi-Agent Communication with Contrastive Learning [3.816854668079928]
本稿では,コミュニケーション的メッセージが環境状態の異なる不完全なビューと見なされる,別の視点を紹介する。
送信したメッセージと受信したメッセージの関係を調べることで,コントラスト学習を用いてコミュニケーションを学ぶことを提案する。
通信環境において,本手法は性能と学習速度の両面で,従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-07-03T23:51:05Z) - On the Role of Emergent Communication for Social Learning in Multi-Agent
Reinforcement Learning [0.0]
社会学習は、専門家からのヒントを使って、異質なポリシーを整列し、サンプルの複雑さを減らし、部分的に観察可能なタスクを解決する。
本稿では,情報ボトルネックに基づく教師なし手法を提案する。
論文 参考訳（メタデータ） (2023-02-28T03:23:27Z) - Emergent Quantized Communication [34.31732248872158]
本稿では,メッセージの量子化という,離散的なコミュニケーションを実現するための代替手法を提案する。
メッセージの量子化により、モデルのエンドツーエンドのトレーニングが可能になり、複数のセットアップで優れたパフォーマンスを実現します。
論文 参考訳（メタデータ） (2022-11-04T12:39:45Z) - Over-communicate no more: Situated RL agents learn concise communication
protocols [78.28898217947467]
互いに効果的に効率的にコミュニケーションできる人工エージェントをいかに設計するかは、不明である。
強化学習(RL)を用いたコミュニケーションの出現に関する研究
エージェントがコミュニケーションを行うための環境行為を強制しなければならない多段階タスクにおける位置的コミュニケーションについて検討する。
テストされたすべてのプレッシャーは過剰なコミュニケーションを阻害する可能性があるが、位置通信は最も効果的であり、努力のコストとは異なり、発生に悪影響を及ぼさない。
論文 参考訳（メタデータ） (2022-11-02T21:08:14Z) - Fundamental Limits of Communication Efficiency for Model Aggregation in
Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。
SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
論文 参考訳（メタデータ） (2022-06-28T13:10:40Z) - Communication Efficient Distributed Learning for Kernelized Contextual
Bandits [58.78878127799718]
分散環境でのカーネル化されたコンテキスト帯域の学習における通信効率の課題に対処する。
我々は、エージェントが再現されたカーネルヒルベルト空間で協調的に探索できるようにすることにより、非線形報酬写像を考える。
我々は, 後悔とコミュニケーションの両コストにおいて, アルゴリズムがサブ線形レートを達成できることを厳格に証明した。
論文 参考訳（メタデータ） (2022-06-10T01:39:15Z) - The Enforcers: Consistent Sparse-Discrete Methods for Constraining
Informative Emergent Communication [5.432350993419402]
コミュニケーションは、エージェントが目標を達成するために協力することを可能にする。
疎間コミュニケーションの学習における最近の研究は、特に協調作業において、コミュニケーションの減少のコストが報酬の減少につながるような、高分散トレーニングに悩まされている。
本研究は、コミュニケーションの減少による報酬の損失を抑え、差別に対するペナルティを排除し、上記の課題に対処する。
論文 参考訳（メタデータ） (2022-01-19T07:31:06Z) - Multi-agent Communication with Graph Information Bottleneck under
Limited Bandwidth (a position paper) [92.11330289225981]
多くの実世界のシナリオでは、通信は高価であり、マルチエージェントシステムの帯域幅には一定の制約がある。
通信資源を占有する冗長なメッセージは、情報的メッセージの送信をブロックし、パフォーマンスを損なう。
本稿では,通信グラフ内の構造情報とノード情報を効果的に圧縮し,帯域幅に制約のある設定に対処する,新しいマルチエージェント通信モジュールCommGIBを提案する。
論文 参考訳（メタデータ） (2021-12-20T07:53:44Z) - Minimizing Communication while Maximizing Performance in Multi-Agent
Reinforcement Learning [5.612141846711729]
エージェント間通信は、コーディネーションを必要とするマルチエージェントタスクのパフォーマンスを著しく向上させることができる。
通信が帯域幅、電力、ネットワーク容量といったシステムの制約によって制限されるような現実世界のアプリケーションでは、送信されるメッセージの数を減らす必要がある。
性能を損なうことなく、コミュニケーションを75%削減できることを示す。
論文 参考訳（メタデータ） (2021-06-15T23:13:51Z) - Learning to Communicate and Correct Pose Errors [75.03747122616605]
本稿では、V2VNetで提案された設定について検討し、近くにある自動運転車が共同で物体検出と動き予測を協調的に行う方法を提案する。
本稿では,コミュニケーションを学習し,潜在的な誤りを推定し,それらの誤りについてコンセンサスを得るための新しいニューラルネットワーク推論フレームワークを提案する。
論文 参考訳（メタデータ） (2020-11-10T18:19:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。