論文の概要: On the Correspondence between Compositionality and Imitation in Emergent
Neural Communication
- arxiv url: http://arxiv.org/abs/2305.12941v1
- Date: Mon, 22 May 2023 11:41:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 16:32:14.066477
- Title: On the Correspondence between Compositionality and Imitation in Emergent
Neural Communication
- Title(参考訳): 創発的ニューラルコミュニケーションにおける構成性と模倣の対応について
- Authors: Emily Cheng, Mathieu Rita, Thierry Poibeau
- Abstract要約: 我々の研究は、ディープ・ニューラル・エージェントがプレイするルイス・ゲームにおける構成性と模倣の関係を探求する。
教師付き学習は平均的な言語を作り出す傾向があり、強化学習はより構成的な言語に対する選択的な圧力をもたらす。
- 参考スコア(独自算出の注目度): 1.4610038284393165
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compositionality is a hallmark of human language that not only enables
linguistic generalization, but also potentially facilitates acquisition. When
simulating language emergence with neural networks, compositionality has been
shown to improve communication performance; however, its impact on imitation
learning has yet to be investigated. Our work explores the link between
compositionality and imitation in a Lewis game played by deep neural agents.
Our contributions are twofold: first, we show that the learning algorithm used
to imitate is crucial: supervised learning tends to produce more average
languages, while reinforcement learning introduces a selection pressure toward
more compositional languages. Second, our study reveals that compositional
languages are easier to imitate, which may induce the pressure toward
compositional languages in RL imitation settings.
- Abstract(参考訳): 構成性は、言語一般化を可能にするだけでなく、潜在的に獲得を促進する人間の言語の特徴である。
ニューラルネットワークによる言語創発をシミュレートする場合,コミュニケーション性能の向上が期待できるが,模倣学習への影響はまだ調査されていない。
我々の研究は、ディープ・ニューラル・エージェントがプレイするルイス・ゲームにおける構成性と模倣の関係を探求する。
教師付き学習はより平均的な言語を生成する傾向があり、一方で強化学習はより構成的な言語に対する選択的圧力をもたらす。
第2に,構成言語が模倣し易いこと,RL模倣設定における構成言語に対する圧力が生じる可能性があることを明らかにする。
関連論文リスト
- Communication Drives the Emergence of Language Universals in Neural
Agents: Evidence from the Word-order/Case-marking Trade-off [3.631024220680066]
ニューラルエージェント言語学習通信フレームワーク(NeLLCom)を提案する。
我々はエージェントに特定のバイアスをハードコーディングすることなく、新しいフレームワークでトレードオフを複製することに成功しました。
論文 参考訳(メタデータ) (2023-01-30T17:22:33Z) - Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。
このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。
また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
論文 参考訳(メタデータ) (2022-03-24T21:24:54Z) - Pretraining with Artificial Language: Studying Transferable Knowledge in
Language Models [32.27333420000134]
ニューラルネットワークエンコーダが自然言語処理にどのような構造的知識を伝達できるかを考察する。
我々は、自然言語を模倣する構造的特性を持つ人工言語を設計し、データ上にエンコーダを事前訓練し、そのエンコーダが自然言語の下流タスクにどれだけの性能を示すかを確認する。
論文 参考訳(メタデータ) (2022-03-19T13:29:48Z) - Cross-Lingual Ability of Multilingual Masked Language Models: A Study of
Language Structure [54.01613740115601]
本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。
我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
論文 参考訳(メタデータ) (2022-03-16T07:09:35Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳(メタデータ) (2021-08-06T23:49:18Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳(メタデータ) (2021-06-09T22:59:12Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳(メタデータ) (2020-04-30T16:25:39Z) - Learning Music Helps You Read: Using Transfer to Study Linguistic
Structure in Language Models [27.91397366776451]
遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。
語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
論文 参考訳(メタデータ) (2020-04-30T06:24:03Z) - Meta-Transfer Learning for Code-Switched Speech Recognition [72.84247387728999]
低リソース環境下でのコード切替音声認識システムにおける学習を伝達するメタトランスファー学習法を提案する。
本モデルでは,コードスイッチングデータに最適化を条件付けることにより,個々の言語を識別し,混合言語音声をよりよく認識できるように変換する。
論文 参考訳(メタデータ) (2020-04-29T14:27:19Z) - Compositionality and Generalization in Emergent Languages [42.68870559695238]
深層マルチエージェントシミュレーションで現れる言語が、新しいプリミティブの組み合わせに類似する能力を持っているかどうかを考察する。
創発的言語の合成度合いと一般化能力の相関関係は見つからない。
構成的な言語が多ければ多いほど、新しい学習者が習得しやすくなります。
論文 参考訳(メタデータ) (2020-04-20T08:30:14Z) - Compositional Languages Emerge in a Neural Iterated Learning Model [27.495624644227888]
構成性により、自然言語はより単純な組み合わせによって複雑な概念を表現することができる。
本稿では,対話型ニューラルエージェントに適用することで,より構造化された言語の出現を促進する効果的なニューラル・イテレーテッド・ラーニング(NIL)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-04T15:19:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。