論文の概要: The Enforcers: Consistent Sparse-Discrete Methods for Constraining
Informative Emergent Communication
- arxiv url: http://arxiv.org/abs/2201.07452v1
- Date: Wed, 19 Jan 2022 07:31:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-20 20:33:03.380175
- Title: The Enforcers: Consistent Sparse-Discrete Methods for Constraining
Informative Emergent Communication
- Title（参考訳）: インフォーマティブ・創発的コミュニケーションの制御のための一貫性スパース離散法
- Authors: Seth Karten, Siddharth Agrawal, Mycal Tucker, Dana Hughes, Michael
Lewis, Julie Shah, Katia Sycara
- Abstract要約: コミュニケーションは、エージェントが目標を達成するために協力することを可能にする。
疎間コミュニケーションの学習における最近の研究は、特に協調作業において、コミュニケーションの減少のコストが報酬の減少につながるような、高分散トレーニングに悩まされている。
本研究は、コミュニケーションの減少による報酬の損失を抑え、差別に対するペナルティを排除し、上記の課題に対処する。
- 参考スコア（独自算出の注目度）: 5.432350993419402
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Communication enables agents to cooperate to achieve their goals. Learning
when to communicate, i.e. sparse communication, is particularly important where
bandwidth is limited, in situations where agents interact with humans, in
partially observable scenarios where agents must convey information unavailable
to others, and in non-cooperative scenarios where agents may hide information
to gain a competitive advantage. Recent work in learning sparse communication,
however, suffers from high variance training where, the price of decreasing
communication is a decrease in reward, particularly in cooperative tasks.
Sparse communications are necessary to match agent communication to limited
human bandwidth. Humans additionally communicate via discrete linguistic
tokens, previously shown to decrease task performance when compared to
continuous communication vectors. This research addresses the above issues by
limiting the loss in reward of decreasing communication and eliminating the
penalty for discretization. In this work, we successfully constrain training
using a learned gate to regulate when to communicate while using discrete
prototypes that reflect what to communicate for cooperative tasks with partial
observability. We provide two types of "Enforcers" for hard and soft budget
constraints and present results of communication under different budgets. We
show that our method satisfies constraints while yielding the same performance
as comparable, unconstrained methods.
- Abstract（参考訳）: コミュニケーションは、エージェントが目標を達成するために協力することを可能にする。
スパース通信(sparse communication)と呼ばれるコミュニケーションの学習は、人間とエージェントが対話する状況や、エージェントが他人に情報を伝達しなければならない部分観察可能なシナリオ、エージェントが情報を隠蔽して競争上の優位性を得る非協力的なシナリオにおいて、特に重要である。
しかし、コミュニケーションの疎通を学ぶ最近の研究は、コミュニケーションを減少させるコストが特に協調作業において報酬を減少させる高分散トレーニングに苦しめられている。
スパース通信は、エージェント通信を限られた人間の帯域幅に合わせるために必要である。
人間は個別の言語トークンを介してコミュニケーションするが、以前は連続的なコミュニケーションベクトルと比較してタスク性能が低下することが示されていた。
本研究は、コミュニケーションの減少による報酬の損失を抑え、差別に対するペナルティを排除し、上記の課題に対処する。
本研究では, 学習ゲートを用いた学習訓練を成功させ, 部分可観測性のある協調作業のためのコミュニケーションを反映した個別プロトタイプを用いて, コミュニケーションのタイミングを調節する。
ハード予算とソフト予算の制約に対する2種類の「強制力」を提供し,異なる予算下でのコミュニケーションの結果を示す。
提案手法は制約を満たしながら,同等の制約のない手法と同じ性能が得られることを示す。
関連論文リスト
- On the Role of Emergent Communication for Social Learning in Multi-Agent
Reinforcement Learning [0.0]
社会学習は、専門家からのヒントを使って、異質なポリシーを整列し、サンプルの複雑さを減らし、部分的に観察可能なタスクを解決する。
本稿では,情報ボトルネックに基づく教師なし手法を提案する。
論文 参考訳（メタデータ） (2023-02-28T03:23:27Z) - AC2C: Adaptively Controlled Two-Hop Communication for Multi-Agent
Reinforcement Learning [4.884877440051105]
本稿では,AC2C(Adaptive Controlled Two-Hop Communication)と呼ばれる新しい通信プロトコルを提案する。
AC2Cは、エージェント間の長距離情報交換によるパフォーマンス向上を可能にするために、適応的な2ホップ通信戦略を採用している。
本稿では,3つの協調型マルチエージェントタスクにおけるAC2Cの評価を行った。
論文 参考訳（メタデータ） (2023-02-24T09:00:34Z) - Towards True Lossless Sparse Communication in Multi-Agent Systems [1.911678487931003]
コミュニケーションは、エージェントが目標を達成するために協力することを可能にする。
スパース個別化コミュニケーションの学習における最近の研究は、訓練中に高いばらつきに悩まされている。
情報ボトルネックを表現学習問題として、空間性を再設定するために使用します。
論文 参考訳（メタデータ） (2022-11-30T20:43:34Z) - Emergent Quantized Communication [34.31732248872158]
本稿では,メッセージの量子化という,離散的なコミュニケーションを実現するための代替手法を提案する。
メッセージの量子化により、モデルのエンドツーエンドのトレーニングが可能になり、複数のセットアップで優れたパフォーマンスを実現します。
論文 参考訳（メタデータ） (2022-11-04T12:39:45Z) - Over-communicate no more: Situated RL agents learn concise communication
protocols [78.28898217947467]
互いに効果的に効率的にコミュニケーションできる人工エージェントをいかに設計するかは、不明である。
強化学習(RL)を用いたコミュニケーションの出現に関する研究
エージェントがコミュニケーションを行うための環境行為を強制しなければならない多段階タスクにおける位置的コミュニケーションについて検討する。
テストされたすべてのプレッシャーは過剰なコミュニケーションを阻害する可能性があるが、位置通信は最も効果的であり、努力のコストとは異なり、発生に悪影響を及ぼさない。
論文 参考訳（メタデータ） (2022-11-02T21:08:14Z) - Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。
我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
論文 参考訳（メタデータ） (2021-12-03T19:23:48Z) - Quasi-Equivalence Discovery for Zero-Shot Emergent Communication [63.175848843466845]
ゼロショットコーディネーション(ZSC)を実現するための新しい問題設定と準等価探索アルゴリズムを提案する。
これらの2つの要因が参照ゲームにおいて一意に最適なZSCポリシーをもたらすことを示す。
QEDはこの設定における対称性を反復的に発見することができ、最適なZSCポリシーに収束する。
論文 参考訳（メタデータ） (2021-03-14T23:42:37Z) - Adversarial Attacks On Multi-Agent Communication [80.4392160849506]
現代の自律システムはすぐに大規模に展開され、協調型マルチエージェントシステムの可能性を広げる。
このような利点は、セキュリティ侵害に対して脆弱であることが示されている通信チャネルに大きく依存している。
本稿では,エージェントが学習した中間表現を共有してコミュニケーションする新しいマルチエージェント環境において,このような攻撃を探索する。
論文 参考訳（メタデータ） (2021-01-17T00:35:26Z) - Learning to Communicate and Correct Pose Errors [75.03747122616605]
本稿では、V2VNetで提案された設定について検討し、近くにある自動運転車が共同で物体検出と動き予測を協調的に行う方法を提案する。
本稿では,コミュニケーションを学習し,潜在的な誤りを推定し,それらの誤りについてコンセンサスを得るための新しいニューラルネットワーク推論フレームワークを提案する。
論文 参考訳（メタデータ） (2020-11-10T18:19:40Z) - Exploring Zero-Shot Emergent Communication in Embodied Multi-Agent
Populations [59.608216900601384]
本研究では,3次元環境下で関節を作動させることでコミュニケーションを学ぶエージェントについて検討する。
現実的な仮定、意図の非一様分布、共通知識エネルギーコストにおいて、これらのエージェントは新規パートナーに一般化するプロトコルを見つけることができることを示す。
論文 参考訳（メタデータ） (2020-10-29T19:23:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。