論文の概要: Expressivity of Emergent Language is a Trade-off between Contextual Complexity and Unpredictability

• arxiv url: http://arxiv.org/abs/2106.03982v1
• Date: Mon, 7 Jun 2021 21:57:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 16:03:19.421605
• Title: Expressivity of Emergent Language is a Trade-off between Contextual Complexity and Unpredictability
• Title（参考訳）: 創発的言語の表現性は文脈複雑度と予測不可能性のトレードオフである
• Authors: Shangmin Guo, Yi Ren, Kory Mathewson, Simon Kirby, Stefano V. Albrecht, Kenny Smith
• Abstract要約: 本稿では,異なる言語ゲーム間での一般化性能に基づく表現性間の部分順序の定義を提案する。 また、創発的言語の表現性は文脈の複雑さと予測不可能性のトレードオフであるという仮説を検証した。 コントラスト損失を用いることで、標準的な参照損失関数を用いたメッセージタイプの崩壊が軽減されることを示す。
• 参考スコア（独自算出の注目度）: 7.765925231148388
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Researchers are now using deep learning models to explore the emergence of language in various language games, where simulated agents interact and develop an emergent language to solve a task. Although it is quite intuitive that different types of language games posing different communicative challenges might require emergent languages which encode different levels of information, there is no existing work exploring the expressivity of the emergent languages. In this work, we propose a definition of partial order between expressivity based on the generalisation performance across different language games. We also validate the hypothesis that expressivity of emergent languages is a trade-off between the complexity and unpredictability of the context those languages are used in. Our second novel contribution is introducing contrastive loss into the implementation of referential games. We show that using our contrastive loss alleviates the collapse of message types seen using standard referential loss functions.
• Abstract（参考訳）: 研究者は現在、ディープラーニングモデルを使用して、さまざまな言語ゲームにおける言語の発生を探求している。 異なる種類の言語ゲームは、異なるレベルの情報をエンコードする創発的な言語を必要とするかもしれないが、創発的な言語の表現性を探求する既存の作業は存在しない。 本研究では,異なる言語ゲーム間での一般化性能に基づく表現性間の部分順序の定義を提案する。 また、創発的言語の表現性は、それらの言語が使われている文脈の複雑さと予測不能の間のトレードオフであるという仮説を検証する。 第2の新たな貢献は,レファレンシャルゲームの実装にコントラストロスを導入することである。 コントラスト損失を用いることで,標準参照損失関数を用いたメッセージタイプの崩壊を緩和できることを示す。

関連論文リスト

• Multilingual Multi-Figurative Language Detection [14.799109368073548]
  比喩的言語理解は多言語環境では 非常に過小評価されています 我々は,多言語多言語言語モデリングを導入し,文レベル図形言語検出のためのベンチマークを提供する。 テンプレートに基づく即時学習に基づく図形言語検出のためのフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:52:41Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
  創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。 このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。 また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
  論文  参考訳（メタデータ） (2022-03-24T21:24:54Z)
• Emergent Communication of Generalizations [13.14792537601313]
  共有された視覚的コンテキストにおける1つのオブジェクトのコミュニケーションは、過度に適合する傾向があり、具体的な参照を超えて、言語が役に立つことを奨励しない、と我々は主張する。 抽象的な視覚概念を表すオブジェクトの集合上での通信一般化を必要とするゲームを提案する。 これらのゲームは学習言語の体系性と解釈可能性を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-06-04T19:02:18Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Inductive Bias and Language Expressivity in Emergent Communication [6.043034177891378]
  言語ゲームの種類が創発言語に与える影響について検討する。 異なるゲームから出現した言語は、異なる構成性を持ち、さらに異なる表現性を持つことを示す。
  論文  参考訳（メタデータ） (2020-12-04T22:20:55Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。