論文の概要: Emergent Communication with Attention

• arxiv url: http://arxiv.org/abs/2305.10920v1
• Date: Thu, 18 May 2023 12:31:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 15:25:46.159072
• Title: Emergent Communication with Attention
• Title（参考訳）: 注意を伴う創発的コミュニケーション
• Authors: Ryokan Ri, Ryo Ueda, Jason Naradowsky
• Abstract要約: 我々はこの直感を,参照ゲームにおける話者とリスナーエージェントの相互注意機構として実装する。 以上の結果から,注目はより人間的な創発的言語を開発する上で有望なメカニズムであることが示唆された。
• 参考スコア（独自算出の注目度）: 19.534480600250394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To develop computational agents that better communicate using their own emergent language, we endow the agents with an ability to focus their attention on particular concepts in the environment. Humans often understand an object or scene as a composite of concepts and those concepts are further mapped onto words. We implement this intuition as cross-modal attention mechanisms in Speaker and Listener agents in a referential game and show attention leads to more compositional and interpretable emergent language. We also demonstrate how attention aids in understanding the learned communication protocol by investigating the attention weights associated with each message symbol and the alignment of attention weights between Speaker and Listener agents. Overall, our results suggest that attention is a promising mechanism for developing more human-like emergent language.
• Abstract（参考訳）: 創発的言語によるコミュニケーションを向上する計算エージェントを開発するために,我々はエージェントに,環境における特定の概念に注意を集中させる能力を与える。 人間はしばしば、オブジェクトやシーンを概念の合成として理解し、それらの概念は単語にさらにマッピングされる。 この直観を,話者および聞き手エージェントの対話的注意機構として,参照ゲームにおいて実装し,より構成的かつ解釈可能な創発的言語へと誘導する。 また,各メッセージシンボルに関連づけられた注意重みと,話者と聞き手エージェント間の注意重みの調整について検討することで,学習したコミュニケーションプロトコルの理解において注意がいかに役立つかを示す。 全体としては、より人間的な創発的言語を開発する上で、注意が有望なメカニズムであることを示唆している。

関連論文リスト

• Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
  自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。 特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
  論文  参考訳（メタデータ） (2024-02-20T14:43:39Z)
• Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation [53.01238689626378]
  本稿では,話者ダイアリゼーションシステムにおける意味情報を活用する新しい手法を提案する。 音声言語理解モジュールを導入し、話者関連意味情報を抽出する。 本稿では,これらの制約を話者ダイアリゼーションパイプラインに統合する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-19T09:13:30Z)
• Learning Multi-Object Positional Relationships via Emergent Communication [16.26264889682904]
  観測対象が2つの対象を含む参照ゲームにおいてエージェントを訓練し、位置関係が関与している場合、一般化が主要な問題であることを示す。 学習言語は,目標を位置関係で記述したマルチステップのMDPタスクにおいてうまく一般化でき,実画像や事前学習した画像機能よりも優れることがわかった。 また,参照ゲームからの言語移行は,このタスクで直接学習する言語よりも,新しいタスクにおいて優れており,参照ゲームにおける事前学習のメリットが示唆されている。
  論文  参考訳（メタデータ） (2023-02-16T04:44:53Z)
• Emergence of Shared Sensory-motor Graphical Language from Visual Input [22.23299485364174]
  本稿では、話者が視覚的参照オブジェクトを名付けるために、グラフィカルな発話を生成しなければならないグラフィカル・リファレンシャル・ゲーム(GREG)を紹介した。 発声は、ダイナミックモータプリミティブとスケッチライブラリを組み合わせた描画画像である。 提案手法は,構成特性を持つ共有グラフィカル言語の出現を可能にする。
  論文  参考訳（メタデータ） (2022-10-03T17:11:18Z)
• Towards Learning to Speak and Hear Through Multi-Agent Communication over a Continuous Acoustic Channel [21.503787009047677]
  私たちは、継続的なコミュニケーションチャネルでエージェント間の緊急言語を観察できますか? 本稿では,話者エージェントが雑音の多い音響チャンネル上でリスナーに属性のセットを伝達する必要があるメッセージング環境を提案する。 DQN を用いてエージェントを訓練すると,(1) 個別の場合とは異なり,音響話者はリスナーのコヒーレンシー向上のために冗長性を学習し,(2) ノイズチャネル上の伝達誤差を暗黙的に補償する,より構成的な通信プロトコルを開発し,(3) DQN はREINFORCE を用いて最適化された手法と比較して,顕著な性能向上と構成性の向上を示した。
  論文  参考訳（メタデータ） (2021-11-04T12:44:18Z)
• Interpretation of Emergent Communication in Heterogeneous Collaborative Embodied Agents [83.52684405389445]
  本稿では,コラボレーティブな多目的ナビゲーションタスクCoMONを紹介する。 この課題において、オラクルエージェントは、地図の形式で詳細な環境情報を有する。 視覚的に環境を知覚するナビゲーターエージェントと通信し、目標のシーケンスを見つけるのが任務である。 創発的コミュニケーションはエージェントの観察と3次元環境の空間構造に基礎を置くことができることを示す。
  論文  参考訳（メタデータ） (2021-10-12T06:56:11Z)
• Few-shot Language Coordination by Modeling Theory of Mind [95.54446989205117]
  我々は、数ショット$textit language coordinate$のタスクについて研究する。 リードエージェントは、言語能力の異なるエージェントの$textitpopulation$と調整する必要があります。 これは、人間のコミュニケーションの重要な構成要素であるパートナーの信念をモデル化する能力を必要とする。
  論文  参考訳（メタデータ） (2021-07-12T19:26:11Z)
• Attention Flows: Analyzing and Comparing Attention Mechanisms in Language Models [5.866941279460248]
  注意に基づく言語モデルにおける微調整を理解するための視覚分析手法を提案する。 私たちの視覚化であるAttention Flowsは、Transformerベースの言語モデルにおいて、レイヤ内のクエリ、トレース、関心の比較をサポートするように設計されています。
  論文  参考訳（メタデータ） (2020-09-03T19:56:30Z)
• Speaker-Utterance Dual Attention for Speaker and Utterance Verification [77.2346078109261]
  我々は,統合ニューラルネットワークにおける話者発話二重注意(SUDA)の考え方を実装した。 提案するSUDAは,話者と発話情報ストリーム間のインタラクションを学習するためのアテンションマスク機構を備えている。
  論文  参考訳（メタデータ） (2020-08-20T11:37:57Z)
• You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
  認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。 そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
  論文  参考訳（メタデータ） (2020-04-11T12:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。