論文の概要: Multi-agent Communication meets Natural Language: Synergies between
Functional and Structural Language Learning
- arxiv url: http://arxiv.org/abs/2005.07064v1
- Date: Thu, 14 May 2020 15:32:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-03 04:13:34.361371
- Title: Multi-agent Communication meets Natural Language: Synergies between
Functional and Structural Language Learning
- Title（参考訳）: 多エージェントコミュニケーションと自然言語:機能学習と構造言語学習の相乗効果
- Authors: Angeliki Lazaridou, Anna Potapenko, Olivier Tieleman
- Abstract要約: 本稿では,マルチエージェント通信と従来のデータ駆動型アプローチを組み合わせた自然言語学習手法を提案する。
私たちの出発点は、タスク固有の言語データではなく、ジェネリックに基づいて訓練された言語モデルです。
次に、このモデルをマルチエージェントのセルフプレイ環境に配置し、モデルへの適応や修正に使用するタスク固有の報酬を生成する。
- 参考スコア（独自算出の注目度）: 16.776753238108036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a method for combining multi-agent communication and traditional
data-driven approaches to natural language learning, with an end goal of
teaching agents to communicate with humans in natural language. Our starting
point is a language model that has been trained on generic, not task-specific
language data. We then place this model in a multi-agent self-play environment
that generates task-specific rewards used to adapt or modulate the model,
turning it into a task-conditional language model. We introduce a new way for
combining the two types of learning based on the idea of reranking language
model samples, and show that this method outperforms others in communicating
with humans in a visual referential communication task. Finally, we present a
taxonomy of different types of language drift that can occur alongside a set of
measures to detect them.
- Abstract（参考訳）: 本稿では,自然言語学習におけるマルチエージェントコミュニケーションと従来のデータ駆動型アプローチを組み合わせる手法を提案する。
私たちの出発点は、タスク固有の言語データではなく、ジェネリックに基づいて訓練された言語モデルです。
次に、このモデルをマルチエージェントのセルフプレイ環境に配置し、モデルへの適応や修正に使用するタスク固有の報酬を生成し、タスク条件言語モデルに変換する。
本稿では,言語モデルサンプルの再ランク付けに基づく2種類の学習を組み合わせる新しい手法を提案するとともに,視覚的参照コミュニケーションタスクにおける人間とのコミュニケーションにおいて,他者よりも優れていることを示す。
最後に、異なる種類の言語ドリフトの分類を示し、それらを検出するための一連の尺度と共に起こりうる。
関連論文リスト
- Modeling language contact with the Iterated Learning Model [0.0]
反復学習モデルは言語変化のエージェントベースモデルである。
最近導入された反復学習モデルであるSemi-Supervised ILMは、言語接触をシミュレートするために使われている。
論文 参考訳（メタデータ） (2024-06-11T01:43:23Z) - Learning Phonotactics from Linguistic Informants [54.086544221761486]
本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。
提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
論文 参考訳（メタデータ） (2024-05-08T00:18:56Z) - Communication Drives the Emergence of Language Universals in Neural
Agents: Evidence from the Word-order/Case-marking Trade-off [3.631024220680066]
ニューラルエージェント言語学習通信フレームワーク(NeLLCom)を提案する。
我々はエージェントに特定のバイアスをハードコーディングすることなく、新しいフレームワークでトレードオフを複製することに成功しました。
論文 参考訳（メタデータ） (2023-01-30T17:22:33Z) - Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。
このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。
また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
論文 参考訳（メタデータ） (2022-03-24T21:24:54Z) - Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。
より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。
次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文 参考訳（メタデータ） (2022-03-19T06:28:30Z) - Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken
Conversations [22.894541507068933]
本稿では,DSTC-10の音声対話課題における知識ベースタスク指向対話モデリングのための一般化モデルの構築について述べる。
我々は,人工誤り注入やラウンドトリップ音声変換など,手書きデータに対する広範なデータ拡張戦略を採用している。
本手法は, 客観的評価では3位, 最終公式評価では2位である。
論文 参考訳（メタデータ） (2022-03-08T12:26:57Z) - Exploring Teacher-Student Learning Approach for Multi-lingual
Speech-to-Intent Classification [73.5497360800395]
複数の言語をサポートするエンドツーエンドシステムを開発した。
我々は、事前訓練された多言語自然言語処理モデルからの知識を利用する。
論文 参考訳（メタデータ） (2021-09-28T04:43:11Z) - Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。
これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
論文 参考訳（メタデータ） (2021-06-16T18:13:55Z) - Multilingual Transfer Learning for Code-Switched Language and Speech
Neural Modeling [12.497781134446898]
本稿では,言語非依存なマルチタスク学習手法を提案することにより,言語理論のデータ不足と限界に対処する。
まず,メタラーニングに基づくメタトランスファー学習を提案する。そこでは,高音源単言語音声データから,コードスイッチング領域への情報抽出を行う。
第2に,他の言語で学習した有用な知識を得ることにより,コードスイッチングデータを効果的に表現するための,多言語メタエム手法を提案する。
第3に,言語モデルへの伝達学習戦略として構文情報を統合するために,マルチタスク学習を導入する。
論文 参考訳（メタデータ） (2021-04-13T14:49:26Z) - On the interaction between supervision and self-play in emergent
communication [82.290338507106]
本研究は,2つのカテゴリの学習信号と,サンプル効率の向上を目標とする学習信号の関係について検討する。
人間のデータに基づく教師付き学習による初等訓練エージェントが,自己演奏が会話に優れていることが判明した。
論文 参考訳（メタデータ） (2020-02-04T02:35:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。