論文の概要: Multi-lingual agents through multi-headed neural networks

• arxiv url: http://arxiv.org/abs/2111.11129v1
• Date: Mon, 22 Nov 2021 11:39:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-23 16:53:32.403618
• Title: Multi-lingual agents through multi-headed neural networks
• Title（参考訳）: マルチヘッドニューラルネットワークによる多言語エージェント
• Authors: J. D. Thomas, R. Santos-Rodr\'iguez, R. Piechocki, M. Anca
• Abstract要約: 本稿では,協調型マルチエージェント強化学習について述べる。 この文脈では、複数の異なる非互換言語が出現する。 我々は、連続学習の文献からインスピレーションを得て、エージェントを多言語化できるように、エージェントにマルチヘッドニューラルネットワークを装備する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers cooperative Multi-Agent Reinforcement Learning, focusing on emergent communication in settings where multiple pairs of independent learners interact at varying frequencies. In this context, multiple distinct and incompatible languages can emerge. When an agent encounters a speaker of an alternative language, there is a requirement for a period of adaptation before they can efficiently converse. This adaptation results in the emergence of a new language and the forgetting of the previous language. In principle, this is an example of the Catastrophic Forgetting problem which can be mitigated by enabling the agents to learn and maintain multiple languages. We take inspiration from the Continual Learning literature and equip our agents with multi-headed neural networks which enable our agents to be multi-lingual. Our method is empirically validated within a referential MNIST based communication game and is shown to be able to maintain multiple languages where existing approaches cannot.
• Abstract（参考訳）: 本稿では,複数対の独立学習者が様々な周波数で対話する環境での創発的コミュニケーションに着目した協調型マルチエージェント強化学習について考察する。 この文脈では、複数の異なる非互換言語が出現する。 エージェントが別の言語の話者と遭遇すると、効率的な会話ができるまでに適応期間が必要となる。 この適応により、新しい言語が出現し、前の言語が忘れられることになる。 原則としてこれは、エージェントが複数の言語を学習し、維持することで軽減できる破滅的な忘れ方問題の例である。 我々は,連続学習文献から着想を得て,エージェントを多言語化するためのマルチヘッドニューラルネットワークを備える。 提案手法は,参照型MNISTベースの通信ゲームにおいて実証的に検証され,既存のアプローチでは不可能な複数の言語を維持可能であることを示す。

関連論文リスト

• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Bidirectional Emergent Language in Situated Environments [4.950411915351642]
  マルチエージェントポンとコレクターの2つの新しい協調環境を紹介した。 最適なパフォーマンスには通信プロトコルの出現が必要ですが、適度な成功はそれなしで達成できます。 エージェントは意味のあるメッセージのみを生成し、調整なしでは成功できない状態の受信メッセージに作用する。
  論文  参考訳（メタデータ） (2024-08-26T21:25:44Z)
• A Roadmap for Multilingual, Multimodal Domain Independent Deception Detection [2.1506382989223782]
  人間のコミュニケーションの一般的な側面である騙しは、デジタル時代において大きな変化を遂げた。 近年の研究では、英語の領域にまたがる騙しに普遍的な言語的手がかりが存在する可能性が示されている。 低リソース言語における誤検出の実践的課題は、ラベル付きデータがないため、よく研究されている問題ではない。
  論文  参考訳（メタデータ） (2024-05-07T00:38:34Z)
• Communication Drives the Emergence of Language Universals in Neural Agents: Evidence from the Word-order/Case-marking Trade-off [3.631024220680066]
  ニューラルエージェント言語学習通信フレームワーク(NeLLCom)を提案する。 我々はエージェントに特定のバイアスをハードコーディングすることなく、新しいフレームワークでトレードオフを複製することに成功しました。
  論文  参考訳（メタデータ） (2023-01-30T17:22:33Z)
• On the cross-lingual transferability of multilingual prototypical models across NLU tasks [2.44288434255221]
  教師付きディープラーニングベースのアプローチはタスク指向のダイアログに適用され、限られたドメインや言語アプリケーションに有効であることが証明されている。 実際には、これらのアプローチはドメイン駆動設計とアンダーリソース言語の欠点に悩まされている。 本稿では,原型ニューラルネットワークと多言語トランスフォーマーモデルを用いた相乗的少数ショット学習の言語間変換可能性について検討する。
  論文  参考訳（メタデータ） (2022-07-19T09:55:04Z)
• Learning to Ground Multi-Agent Communication with Autoencoders [43.22048280036316]
  コミュニケーションには共通言語であるラングア・フランカがエージェント間で必要である。 学習した表現において、言語を基底とする簡単な方法を示す。 標準表現学習アルゴリズムは,共通言語に到達するのに十分であることがわかった。
  論文  参考訳（メタデータ） (2021-10-28T17:57:26Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
  多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。 我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:34:37Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。