Fugu-MT 論文翻訳(概要): Compositional properties of emergent languages in deep learning

論文の概要: Compositional properties of emergent languages in deep learning

arxiv url: http://arxiv.org/abs/2001.08618v1
Date: Thu, 23 Jan 2020 15:55:36 GMT
ステータス: 処理完了
システム内更新日: 2023-01-07 09:51:53.612941
Title: Compositional properties of emergent languages in deep learning
Title（参考訳）: 深層学習における創発言語の構成特性
Authors: Bence Keresztury and Elia Bruni
Abstract要約: 2つの異なる協調型マルチエージェントゲームから生じる創発的言語を,より正確な構成性の尺度で解析する。この結果から,ディープラーニングモデルから得られる解には,抽象レベルでの推論能力が欠如していることが示唆された。構成能力の検証と人間レベルの概念の出現について論じる。
参考スコア（独自算出の注目度）: 12.08369037936121
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent findings in multi-agent deep learning systems point towards the emergence of compositional languages. These claims are often made without exact analysis or testing of the language. In this work, we analyze the emergent language resulting from two different cooperative multi-agent game with more exact measures for compositionality. Our findings suggest that solutions found by deep learning models are often lacking the ability to reason on an abstract level therefore failing to generalize the learned knowledge to out of the training distribution examples. Strategies for testing compositional capacities and emergence of human-level concepts are discussed.
Abstract（参考訳）: 多エージェント深層学習システムにおける最近の発見は、合成言語の出現を示唆している。これらの主張は、しばしば言語の正確な分析やテストなしになされる。本研究では,2つの異なる協調型マルチエージェントゲームから生じる創発的言語を,より正確な構成性の尺度で解析する。以上の結果から,深層学習モデルの解は,しばしば抽象レベルでの推論能力に欠けるため,学習知識をトレーニング分布の例に一般化できないことが示唆された。構成能力のテスト戦略と人間レベルの概念の出現について述べる。

関連論文リスト

Evaluating Morphological Compositional Generalization in Large Language Models [17.507983593566223]
大規模言語モデル (LLM) の形態的一般化能力について, 構成性のレンズによる検討を行った。我々はトルコ語やフィンランド語などの凝集言語に焦点を当てている。解析の結果,LLMは特に新規語根に適用する場合,形態的構成一般化に苦慮していることが明らかとなった。モデルは偶然よりも個々の形態的組み合わせを識別できるが、その性能は体系性に欠けており、人間に比べてかなりの精度の差が生じる。
論文参考訳（メタデータ） (2024-10-16T15:17:20Z)
Exploring syntactic information in sentence embeddings through multilingual subject-verb agreement [1.4335183427838039]
我々は,特定の特性を持つ大規模でキュレートされた合成データを開発するためのアプローチを採っている。我々は、ブラックバード言語行列(Blackbird Language Matrices)と呼ばれる新しい複数選択タスクとデータセットを使用して、特定の文法構造現象に焦点を当てる。多言語テキストを一貫した方法で訓練したにもかかわらず、多言語事前学習言語モデルには言語固有の違いがあることが示される。
論文参考訳（メタデータ） (2024-09-10T14:58:55Z)
modeLing: A Novel Dataset for Testing Linguistic Reasoning in Language Models [23.105555180223487]
modeLingはLinguistics Olympiadスタイルのパズルの新しいベンチマークで、AIシステムで数発の推論をテストする。我々は,大規模なオープンソース言語モデルとGPTをベンチマークで評価した。
論文参考訳（メタデータ） (2024-06-24T18:00:59Z)
Language Evolution with Deep Learning [49.879239655532324]
計算モデリングは言語の出現の研究において重要な役割を担っている。構造化言語の出現を誘発する可能性のある条件と学習プロセスをシミュレートすることを目的としている。この章では、最近機械学習の分野に革命をもたらした別の種類の計算モデル、ディープ・ラーニング・モデルについて論じる。
論文参考訳（メタデータ） (2024-03-18T16:52:54Z)
A Knowledge-Enhanced Adversarial Model for Cross-lingual Structured Sentiment Analysis [31.05169054736711]
言語間構造的感情分析タスクは、ソース言語からターゲット言語へ知識を伝達することを目的としている。本稿では,暗黙的分散と明示的構造的知識を両立させた知識強化逆数モデル(textttKEAM)を提案する。我々は5つのデータセットの実験を行い、textttKEAMと教師なしおよび教師なしの両方の手法を比較した。
論文参考訳（メタデータ） (2022-05-31T03:07:51Z)
Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文参考訳（メタデータ） (2022-05-24T03:35:00Z)
Cross-lingual Lifelong Learning [53.06904052325966]
本稿では,言語間連続学習(CCL)の評価パラダイムを提案する。マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。この分析の意味は、異なる言語間連続学習のデシダータを測り、バランスをとる方法のレシピを含む。
論文参考訳（メタデータ） (2022-05-23T09:25:43Z)
A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文参考訳（メタデータ） (2022-01-20T15:01:12Z)
On the Language-specificity of Multilingual BERT and the Impact of Fine-tuning [7.493779672689531]
multilingual BERT (mBERT) が獲得した知識は、言語固有のものと言語ニュートラルな2つのコンポーネントを持っている。本稿では,2つのタスクの微調整の文脈において,それらの関係を解析する。
論文参考訳（メタデータ） (2021-09-14T19:28:31Z)
AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文参考訳（メタデータ） (2021-04-17T20:23:45Z)
Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
論文参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。