論文の概要: Towards Learning to Speak and Hear Through Multi-Agent Communication
over a Continuous Acoustic Channel
- arxiv url: http://arxiv.org/abs/2111.02827v1
- Date: Thu, 4 Nov 2021 12:44:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-05 12:38:40.671385
- Title: Towards Learning to Speak and Hear Through Multi-Agent Communication
over a Continuous Acoustic Channel
- Title（参考訳）: 連続音響チャネルを用いたマルチエージェント通信による会話・聞き取り学習に向けて
- Authors: Kevin Eloff, Arnu Pretorius, Okko R\"as\"anen, Herman A. Engelbrecht,
Herman Kamper
- Abstract要約: 学習した言語表現に基本的な構成性が現れることを示す。
未知の概念の組み合わせを伝達する際には,ノイズが通信チャネルに不可欠であることが判明した。
- 参考スコア（独自算出の注目度）: 28.726790361449282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While multi-agent reinforcement learning has been used as an effective means
to study emergent communication between agents, existing work has focused
almost exclusively on communication with discrete symbols. Human communication
often takes place (and emerged) over a continuous acoustic channel; human
infants acquire language in large part through continuous signalling with their
caregivers. We therefore ask: Are we able to observe emergent language between
agents with a continuous communication channel trained through reinforcement
learning? And if so, what is the impact of channel characteristics on the
emerging language? We propose an environment and training methodology to serve
as a means to carry out an initial exploration of these questions. We use a
simple messaging environment where a "speaker" agent needs to convey a concept
to a "listener". The Speaker is equipped with a vocoder that maps symbols to a
continuous waveform, this is passed over a lossy continuous channel, and the
Listener needs to map the continuous signal to the concept. Using deep
Q-learning, we show that basic compositionality emerges in the learned language
representations. We find that noise is essential in the communication channel
when conveying unseen concept combinations. And we show that we can ground the
emergent communication by introducing a caregiver predisposed to "hearing" or
"speaking" English. Finally, we describe how our platform serves as a starting
point for future work that uses a combination of deep reinforcement learning
and multi-agent systems to study our questions of continuous signalling in
language learning and emergence.
- Abstract（参考訳）: エージェント間の創発的コミュニケーションを研究する効果的な手段として,マルチエージェント強化学習が用いられているが,既存の研究はほとんど個別のシンボルによるコミュニケーションに焦点を当てている。
人間のコミュニケーションは、しばしば連続した音響チャンネル上で(そして出現する)行われ、人間の幼児は、介護者との連続的なシグナルを通じて、大部分が言語を習得する。
私たちは、強化学習を通じて訓練された継続的なコミュニケーションチャネルを持つエージェント間の緊急言語を観察できますか?
もしそうなら、チャネル特性が新興言語に与える影響はどのようなものか?
我々は,これらの質問の初期調査を行う手段として,環境と学習の方法論を提案する。
我々は、"スピーカー"エージェントが概念を"リスナー"に伝達する必要がある単純なメッセージング環境を使用する。
Speakerは、シンボルを連続的な波形にマッピングするボコーダを備えており、これは損失のある連続チャネルに渡され、リスナーは連続的な信号を概念にマッピングする必要がある。
深層Q-ラーニングを用いて,学習言語表現に基本構成性が現れることを示す。
未知の概念の組み合わせを伝達する場合、通信チャネルではノイズが不可欠であることが分かる。
そして,「聴く」あるいは「話す」英語に先立つ介護者を導入することで,創発的なコミュニケーションを基礎にすることができることを示す。
最後に,深層強化学習とマルチエージェントシステムを組み合わせた今後の作業の出発点として,言語学習と創発における継続的なシグナリングに関する疑問を考察する。
関連論文リスト
- Language-Oriented Communication with Semantic Coding and Knowledge
Distillation for Text-to-Image Generation [53.97155730116369]
我々は言語指向意味コミュニケーション(LSC)の新しい枠組みを提唱した。
LSCでは、機械は人間の言語メッセージを使って通信し、SC効率のために自然言語処理(NLP)技術を用いて解釈および操作することができる。
1) テキストプロンプトをキーヘッドワードに圧縮するセマンティック・ソース・コーディング(SSC)、2) セマンティック・チャネル・コーディング(SCC)、2) セマンティック・チャネル・コーディング(SCC)、3) セマンティック・ナレッジ・蒸留(SKD)、3) リスナーの言語学習を通じてリスナーに適応したプロンプトを生成するセマンティック・ナレッジ・蒸留(SKD)の3つの革新的なアルゴリズムを導入する。
論文 参考訳（メタデータ） (2023-09-20T08:19:05Z) - Improving Speaker Diarization using Semantic Information: Joint Pairwise
Constraints Propagation [53.01238689626378]
本稿では,話者ダイアリゼーションシステムにおける意味情報を活用する新しい手法を提案する。
音声言語理解モジュールを導入し、話者関連意味情報を抽出する。
本稿では,これらの制約を話者ダイアリゼーションパイプラインに統合する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-09-19T09:13:30Z) - Emergent Quantized Communication [34.31732248872158]
本稿では,メッセージの量子化という,離散的なコミュニケーションを実現するための代替手法を提案する。
メッセージの量子化により、モデルのエンドツーエンドのトレーニングが可能になり、複数のセットアップで優れたパフォーマンスを実現します。
論文 参考訳（メタデータ） (2022-11-04T12:39:45Z) - Interpretation of Emergent Communication in Heterogeneous Collaborative
Embodied Agents [83.52684405389445]
本稿では,コラボレーティブな多目的ナビゲーションタスクCoMONを紹介する。
この課題において、オラクルエージェントは、地図の形式で詳細な環境情報を有する。
視覚的に環境を知覚するナビゲーターエージェントと通信し、目標のシーケンスを見つけるのが任務である。
創発的コミュニケーションはエージェントの観察と3次元環境の空間構造に基礎を置くことができることを示す。
論文 参考訳（メタデータ） (2021-10-12T06:56:11Z) - Emergent Discrete Communication in Semantic Spaces [3.2280079436668996]
本稿では,学習された連続空間から導出される離散トークンを介してエージェントが通信できるようにするニューラルエージェントアーキテクチャを提案する。
決定論の枠組みでは、我々の手法は幅広いシナリオでコミュニケーションを最適化するが、一方1ホットトークンは制約的な仮定の下では最適である。
セルフプレイ実験では、訓練されたエージェントが意味論的に意味のある方法でトークンをクラスタリングすることを学び、ノイズの多い環境でコミュニケーションできることを検証する。
論文 参考訳（メタデータ） (2021-08-04T03:32:48Z) - Few-shot Language Coordination by Modeling Theory of Mind [95.54446989205117]
我々は、数ショット$textit language coordinate$のタスクについて研究する。
リードエージェントは、言語能力の異なるエージェントの$textitpopulation$と調整する必要があります。
これは、人間のコミュニケーションの重要な構成要素であるパートナーの信念をモデル化する能力を必要とする。
論文 参考訳（メタデータ） (2021-07-12T19:26:11Z) - Learning Emergent Discrete Message Communication for Cooperative
Reinforcement Learning [36.468498804251574]
離散メッセージ通信は連続メッセージ通信に匹敵する性能を有することを示す。
エージェントに離散的なメッセージを対話的に送信できるアプローチを提案します。
論文 参考訳（メタデータ） (2021-02-24T20:44:14Z) - Effective Communications: A Joint Learning and Communication Framework
for Multi-Agent Reinforcement Learning over Noisy Channels [0.0]
コミュニケーションにおける「有効性問題」の新しい定式化を提案する。
コーディネーションと協調性を向上するために,複数のエージェントがノイズの多いチャネル上で通信することを検討する。
提案した枠組みを用いて学習した共同方針が,コミュニケーションが別々に考慮される場合よりも優れていることを例に示します。
論文 参考訳（メタデータ） (2021-01-02T10:43:41Z) - Augmentation adversarial training for self-supervised speaker
recognition [49.47756927090593]
話者ラベルのない頑健な話者認識モデルを訓練する。
VoxCelebとVOiCESデータセットの実験は、セルフスーパービジョンを使用した以前の作業よりも大幅に改善されている。
論文 参考訳（メタデータ） (2020-07-23T15:49:52Z) - Speech Enhancement using Self-Adaptation and Multi-Head Self-Attention [70.82604384963679]
本稿では,補助的話者認識機能を用いた音声強調のための自己適応手法について検討する。
テスト発話から直接適応に用いる話者表現を抽出する。
論文 参考訳（メタデータ） (2020-02-14T05:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。