論文の概要: Multi-lingual agents through multi-headed neural networks
- arxiv url: http://arxiv.org/abs/2111.11129v1
- Date: Mon, 22 Nov 2021 11:39:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-23 16:53:32.403618
- Title: Multi-lingual agents through multi-headed neural networks
- Title(参考訳): マルチヘッドニューラルネットワークによる多言語エージェント
- Authors: J. D. Thomas, R. Santos-Rodr\'iguez, R. Piechocki, M. Anca
- Abstract要約: 本稿では,協調型マルチエージェント強化学習について述べる。
この文脈では、複数の異なる非互換言語が出現する。
我々は、連続学習の文献からインスピレーションを得て、エージェントを多言語化できるように、エージェントにマルチヘッドニューラルネットワークを装備する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper considers cooperative Multi-Agent Reinforcement Learning, focusing
on emergent communication in settings where multiple pairs of independent
learners interact at varying frequencies. In this context, multiple distinct
and incompatible languages can emerge. When an agent encounters a speaker of an
alternative language, there is a requirement for a period of adaptation before
they can efficiently converse. This adaptation results in the emergence of a
new language and the forgetting of the previous language. In principle, this is
an example of the Catastrophic Forgetting problem which can be mitigated by
enabling the agents to learn and maintain multiple languages. We take
inspiration from the Continual Learning literature and equip our agents with
multi-headed neural networks which enable our agents to be multi-lingual. Our
method is empirically validated within a referential MNIST based communication
game and is shown to be able to maintain multiple languages where existing
approaches cannot.
- Abstract(参考訳): 本稿では,複数対の独立学習者が様々な周波数で対話する環境での創発的コミュニケーションに着目した協調型マルチエージェント強化学習について考察する。
この文脈では、複数の異なる非互換言語が出現する。
エージェントが別の言語の話者と遭遇すると、効率的な会話ができるまでに適応期間が必要となる。
この適応により、新しい言語が出現し、前の言語が忘れられることになる。
原則としてこれは、エージェントが複数の言語を学習し、維持することで軽減できる破滅的な忘れ方問題の例である。
我々は,連続学習文献から着想を得て,エージェントを多言語化するためのマルチヘッドニューラルネットワークを備える。
提案手法は,参照型MNISTベースの通信ゲームにおいて実証的に検証され,既存のアプローチでは不可能な複数の言語を維持可能であることを示す。
関連論文リスト
- How do Large Language Models Handle Multilingualism? [87.06210331315451]
大規模言語モデル(LLM)は、様々な言語で顕著な性能を示す。
LLMの多言語入力処理を記述したフレームワークを提案する。
さらに,特定の言語処理における言語特異的ニューロンの存在について検討する。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - Communication Drives the Emergence of Language Universals in Neural
Agents: Evidence from the Word-order/Case-marking Trade-off [3.631024220680066]
ニューラルエージェント言語学習通信フレームワーク(NeLLCom)を提案する。
我々はエージェントに特定のバイアスをハードコーディングすることなく、新しいフレームワークでトレードオフを複製することに成功しました。
論文 参考訳(メタデータ) (2023-01-30T17:22:33Z) - On the cross-lingual transferability of multilingual prototypical models
across NLU tasks [2.44288434255221]
教師付きディープラーニングベースのアプローチはタスク指向のダイアログに適用され、限られたドメインや言語アプリケーションに有効であることが証明されている。
実際には、これらのアプローチはドメイン駆動設計とアンダーリソース言語の欠点に悩まされている。
本稿では,原型ニューラルネットワークと多言語トランスフォーマーモデルを用いた相乗的少数ショット学習の言語間変換可能性について検討する。
論文 参考訳(メタデータ) (2022-07-19T09:55:04Z) - Learning to Ground Multi-Agent Communication with Autoencoders [43.22048280036316]
コミュニケーションには共通言語であるラングア・フランカがエージェント間で必要である。
学習した表現において、言語を基底とする簡単な方法を示す。
標準表現学習アルゴリズムは,共通言語に到達するのに十分であることがわかった。
論文 参考訳(メタデータ) (2021-10-28T17:57:26Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳(メタデータ) (2021-09-01T09:32:06Z) - Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。
この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
論文 参考訳(メタデータ) (2021-03-24T16:20:02Z) - VECO: Variable and Flexible Cross-lingual Pre-training for Language
Understanding and Generation [77.82373082024934]
我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。
独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。
提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
論文 参考訳(メタデータ) (2020-10-30T03:41:38Z) - Improved acoustic word embeddings for zero-resource languages using
multilingual transfer [37.78342106714364]
我々は、ラベル付きデータに対する複数の良質な言語からの単一の教師付き埋め込みモデルを訓練し、それを目に見えないゼロ・リソース言語に適用する。
本稿では,3つのマルチリンガルリカレントニューラルネットワーク(RNN)モデルについて考察する。全ての訓練言語の連接語彙に基づいて訓練された分類器,複数言語から同一語と異なる単語を識別する訓練されたシームズRNN,単語ペアを再構成する訓練された対応オートエンコーダ(CAE)RNNである。
これらのモデルは、ゼロリソース言語自体で訓練された最先端の教師なしモデルよりも優れており、平均精度が30%以上向上している。
論文 参考訳(メタデータ) (2020-06-02T12:28:34Z) - Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。
我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
論文 参考訳(メタデータ) (2020-05-02T04:34:37Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳(メタデータ) (2020-04-30T16:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。