論文の概要: Towards Learning to Speak and Hear Through Multi-Agent Communication over a Continuous Acoustic Channel

• arxiv url: http://arxiv.org/abs/2111.02827v2
• Date: Tue, 2 May 2023 10:11:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-03 18:33:54.274467
• Title: Towards Learning to Speak and Hear Through Multi-Agent Communication over a Continuous Acoustic Channel
• Title（参考訳）: 連続音響チャネルを用いたマルチエージェント通信による会話・聞き取り学習に向けて
• Authors: Kevin Eloff, Okko R\"as\"anen, Herman A. Engelbrecht, Arnu Pretorius, Herman Kamper
• Abstract要約: 私たちは、継続的なコミュニケーションチャネルでエージェント間の緊急言語を観察できますか? 本稿では,話者エージェントが雑音の多い音響チャンネル上でリスナーに属性のセットを伝達する必要があるメッセージング環境を提案する。 DQN を用いてエージェントを訓練すると,(1) 個別の場合とは異なり,音響話者はリスナーのコヒーレンシー向上のために冗長性を学習し,(2) ノイズチャネル上の伝達誤差を暗黙的に補償する,より構成的な通信プロトコルを開発し,(3) DQN はREINFORCE を用いて最適化された手法と比較して,顕著な性能向上と構成性の向上を示した。
• 参考スコア（独自算出の注目度）: 21.503787009047677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-agent reinforcement learning has been used as an effective means to study emergent communication between agents, yet little focus has been given to continuous acoustic communication. This would be more akin to human language acquisition; human infants acquire language in large part through continuous signalling with their caregivers. We therefore ask: Are we able to observe emergent language between agents with a continuous communication channel? Our goal is to provide a platform to begin bridging the gap between human and agent communication, allowing us to analyse continuous signals, how they emerge, their characteristics, and how they relate to human language acquisition. We propose a messaging environment where a Speaker agent needs to convey a set of attributes to a Listener over a noisy acoustic channel. Using DQN to train our agents, we show that: (1) unlike the discrete case, the acoustic Speaker learns redundancy to improve Listener coherency, (2) the acoustic Speaker develops more compositional communication protocols which implicitly compensates for transmission errors over a noisy channel, and (3) DQN has significant performance gains and increased compositionality when compared to previous methods optimised using REINFORCE.
• Abstract（参考訳）: エージェント間の創発的コミュニケーションを研究する手段として,マルチエージェント強化学習が用いられているが,連続的な音響コミュニケーションにはほとんど焦点が当てられていない。 これは人間の言語習得に似ており、人間の幼児は介護者との連続的なシグナルを通じて言語を多く取得する。 私たちは、継続的なコミュニケーションチャネルを持つエージェント間の緊急言語を観察できますか? 我々のゴールは、人間とエージェントのコミュニケーションのギャップを埋め、連続的な信号の分析、それらがどのように出現するか、その特徴、そしてそれらが人間の言語獲得とどのように関係しているか、を行えるプラットフォームを提供することです。 本稿では,話者エージェントが雑音の多い音響チャンネル上でリスナーに属性セットを伝達する必要があるメッセージング環境を提案する。 DQN を用いてエージェントを訓練すると,(1) 個別の場合とは異なり,音響話者はリスナーのコヒーレンシー向上のために冗長性を学習し,(2) ノイズチャネル上の伝達誤差を暗黙的に補償する構成的通信プロトコルを開発し,(3) DQN はREINFORCE を用いて最適化された手法と比較して,性能向上と構成性の向上を図っている。

関連論文リスト

• Language-Oriented Communication with Semantic Coding and Knowledge Distillation for Text-to-Image Generation [53.97155730116369]
  我々は言語指向意味コミュニケーション(LSC)の新しい枠組みを提唱した。 LSCでは、機械は人間の言語メッセージを使って通信し、SC効率のために自然言語処理(NLP)技術を用いて解釈および操作することができる。 1) テキストプロンプトをキーヘッドワードに圧縮するセマンティック・ソース・コーディング(SSC)、2) セマンティック・チャネル・コーディング(SCC)、2) セマンティック・チャネル・コーディング(SCC)、3) セマンティック・ナレッジ・蒸留(SKD)、3) リスナーの言語学習を通じてリスナーに適応したプロンプトを生成するセマンティック・ナレッジ・蒸留(SKD)の3つの革新的なアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-09-20T08:19:05Z)
• Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation [53.01238689626378]
  本稿では,話者ダイアリゼーションシステムにおける意味情報を活用する新しい手法を提案する。 音声言語理解モジュールを導入し、話者関連意味情報を抽出する。 本稿では,これらの制約を話者ダイアリゼーションパイプラインに統合する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-19T09:13:30Z)
• Emergent Quantized Communication [34.31732248872158]
  本稿では,メッセージの量子化という,離散的なコミュニケーションを実現するための代替手法を提案する。 メッセージの量子化により、モデルのエンドツーエンドのトレーニングが可能になり、複数のセットアップで優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2022-11-04T12:39:45Z)
• Interpretation of Emergent Communication in Heterogeneous Collaborative Embodied Agents [83.52684405389445]
  本稿では,コラボレーティブな多目的ナビゲーションタスクCoMONを紹介する。 この課題において、オラクルエージェントは、地図の形式で詳細な環境情報を有する。 視覚的に環境を知覚するナビゲーターエージェントと通信し、目標のシーケンスを見つけるのが任務である。 創発的コミュニケーションはエージェントの観察と3次元環境の空間構造に基礎を置くことができることを示す。
  論文  参考訳（メタデータ） (2021-10-12T06:56:11Z)
• Emergent Discrete Communication in Semantic Spaces [3.2280079436668996]
  本稿では,学習された連続空間から導出される離散トークンを介してエージェントが通信できるようにするニューラルエージェントアーキテクチャを提案する。 決定論の枠組みでは、我々の手法は幅広いシナリオでコミュニケーションを最適化するが、一方1ホットトークンは制約的な仮定の下では最適である。 セルフプレイ実験では、訓練されたエージェントが意味論的に意味のある方法でトークンをクラスタリングすることを学び、ノイズの多い環境でコミュニケーションできることを検証する。
  論文  参考訳（メタデータ） (2021-08-04T03:32:48Z)
• Few-shot Language Coordination by Modeling Theory of Mind [95.54446989205117]
  我々は、数ショット$textit language coordinate$のタスクについて研究する。 リードエージェントは、言語能力の異なるエージェントの$textitpopulation$と調整する必要があります。 これは、人間のコミュニケーションの重要な構成要素であるパートナーの信念をモデル化する能力を必要とする。
  論文  参考訳（メタデータ） (2021-07-12T19:26:11Z)
• Learning Emergent Discrete Message Communication for Cooperative Reinforcement Learning [36.468498804251574]
  離散メッセージ通信は連続メッセージ通信に匹敵する性能を有することを示す。 エージェントに離散的なメッセージを対話的に送信できるアプローチを提案します。
  論文  参考訳（メタデータ） (2021-02-24T20:44:14Z)
• Effective Communications: A Joint Learning and Communication Framework for Multi-Agent Reinforcement Learning over Noisy Channels [0.0]
  コミュニケーションにおける「有効性問題」の新しい定式化を提案する。 コーディネーションと協調性を向上するために,複数のエージェントがノイズの多いチャネル上で通信することを検討する。 提案した枠組みを用いて学習した共同方針が,コミュニケーションが別々に考慮される場合よりも優れていることを例に示します。
  論文  参考訳（メタデータ） (2021-01-02T10:43:41Z)
• Augmentation adversarial training for self-supervised speaker recognition [49.47756927090593]
  話者ラベルのない頑健な話者認識モデルを訓練する。 VoxCelebとVOiCESデータセットの実験は、セルフスーパービジョンを使用した以前の作業よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-07-23T15:49:52Z)
• Speech Enhancement using Self-Adaptation and Multi-Head Self-Attention [70.82604384963679]
  本稿では,補助的話者認識機能を用いた音声強調のための自己適応手法について検討する。 テスト発話から直接適応に用いる話者表現を抽出する。
  論文  参考訳（メタデータ） (2020-02-14T05:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。