論文の概要: Compositional properties of emergent languages in deep learning
- arxiv url: http://arxiv.org/abs/2001.08618v1
- Date: Thu, 23 Jan 2020 15:55:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-07 09:51:53.612941
- Title: Compositional properties of emergent languages in deep learning
- Title(参考訳): 深層学習における創発言語の構成特性
- Authors: Bence Keresztury and Elia Bruni
- Abstract要約: 2つの異なる協調型マルチエージェントゲームから生じる創発的言語を,より正確な構成性の尺度で解析する。
この結果から,ディープラーニングモデルから得られる解には,抽象レベルでの推論能力が欠如していることが示唆された。
構成能力の検証と人間レベルの概念の出現について論じる。
- 参考スコア(独自算出の注目度): 12.08369037936121
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent findings in multi-agent deep learning systems point towards the
emergence of compositional languages. These claims are often made without exact
analysis or testing of the language. In this work, we analyze the emergent
language resulting from two different cooperative multi-agent game with more
exact measures for compositionality. Our findings suggest that solutions found
by deep learning models are often lacking the ability to reason on an abstract
level therefore failing to generalize the learned knowledge to out of the
training distribution examples. Strategies for testing compositional capacities
and emergence of human-level concepts are discussed.
- Abstract(参考訳): 多エージェント深層学習システムにおける最近の発見は、合成言語の出現を示唆している。
これらの主張は、しばしば言語の正確な分析やテストなしになされる。
本研究では,2つの異なる協調型マルチエージェントゲームから生じる創発的言語を,より正確な構成性の尺度で解析する。
以上の結果から,深層学習モデルの解は,しばしば抽象レベルでの推論能力に欠けるため,学習知識をトレーニング分布の例に一般化できないことが示唆された。
構成能力のテスト戦略と人間レベルの概念の出現について述べる。
関連論文リスト
- Language Embeddings Sometimes Contain Typological Generalizations [0.0]
我々は、1295の言語における聖書翻訳の膨大な多言語データセットに基づいて、自然言語処理タスクのニューラルネットワークを訓練する。
学習された言語表現は、既存の類型データベースや、新しい量的構文的・形態的特徴セットと比較される。
いくつかの一般化は言語型学の伝統的な特徴に驚くほど近いが、ほとんどのモデルは以前の研究と同様に言語学的に意味のある一般化をしていないと結論付けている。
論文 参考訳(メタデータ) (2023-01-19T15:09:59Z) - Negation, Coordination, and Quantifiers in Contextualized Language
Models [4.46783454797272]
機能語の意味的制約が学習されるかどうか, 周辺環境が組み込む環境に与える影響について検討する。
我々は、適切なデータセットを作成し、LMs vis-a-vis関数ワードの内部動作に関する新たな洞察を提供し、質的分析のための補助的なビジュアルWebインターフェースを実装した。
論文 参考訳(メタデータ) (2022-09-16T10:01:11Z) - A Knowledge-Enhanced Adversarial Model for Cross-lingual Structured
Sentiment Analysis [31.05169054736711]
言語間構造的感情分析タスクは、ソース言語からターゲット言語へ知識を伝達することを目的としている。
本稿では,暗黙的分散と明示的構造的知識を両立させた知識強化逆数モデル(textttKEAM)を提案する。
我々は5つのデータセットの実験を行い、textttKEAMと教師なしおよび教師なしの両方の手法を比較した。
論文 参考訳(メタデータ) (2022-05-31T03:07:51Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳(メタデータ) (2022-05-24T03:35:00Z) - Cross-lingual Lifelong Learning [53.06904052325966]
本稿では,言語間連続学習(CCL)の評価パラダイムを提案する。
マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。
この分析の意味は、異なる言語間連続学習のデシダータを測り、バランスをとる方法のレシピを含む。
論文 参考訳(メタデータ) (2022-05-23T09:25:43Z) - A Latent-Variable Model for Intrinsic Probing [94.61336186402615]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳(メタデータ) (2022-01-20T15:01:12Z) - On the Language-specificity of Multilingual BERT and the Impact of
Fine-tuning [7.493779672689531]
multilingual BERT (mBERT) が獲得した知識は、言語固有のものと言語ニュートラルな2つのコンポーネントを持っている。
本稿では,2つのタスクの微調整の文脈において,それらの関係を解析する。
論文 参考訳(メタデータ) (2021-09-14T19:28:31Z) - Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。
これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
論文 参考訳(メタデータ) (2021-06-16T18:13:55Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳(メタデータ) (2021-04-17T20:23:45Z) - Data Augmentation for Spoken Language Understanding via Pretrained
Language Models [113.56329266325902]
音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。
我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
論文 参考訳(メタデータ) (2020-04-29T04:07:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。