論文の概要: What makes a language easy to deep-learn?

• arxiv url: http://arxiv.org/abs/2302.12239v1
• Date: Thu, 23 Feb 2023 18:57:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-24 14:04:23.605410
• Title: What makes a language easy to deep-learn?
• Title（参考訳）: 言語が深層学習を容易にする理由?
• Authors: Lukas Galke, Yoav Ram, Limor Raviv
• Abstract要約: 新しい言語を学習し、一般化する際に、ニューラルネットワークが人間とどのように比較するかをテストする。 より構造化された言語入力はより体系的な一般化をもたらす。 その結果,低リソース言語の自動処理の課題が浮き彫りになった。
• 参考スコア（独自算出の注目度）: 1.2891210250935146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks drive the success of natural language processing. A fundamental property of natural languages is their compositional structure, allowing us to describe new meanings systematically. However, neural networks notoriously struggle with systematic generalization and do not necessarily benefit from a compositional structure in emergent communication simulations. Here, we test how neural networks compare to humans in learning and generalizing a new language. We do this by closely replicating an artificial language learning study (conducted originally with human participants) and evaluating the memorization and generalization capabilities of deep neural networks with respect to the degree of structure in the input language. Our results show striking similarities between humans and deep neural networks: More structured linguistic input leads to more systematic generalization and better convergence between humans and neural network agents and between different neural agents. We then replicate this structure bias found in humans and our recurrent neural networks with a Transformer-based large language model (GPT-3), showing a similar benefit for structured linguistic input regarding generalization systematicity and memorization errors. These findings show that the underlying structure of languages is crucial for systematic generalization. Due to the correlation between community size and linguistic structure in natural languages, our findings underscore the challenge of automated processing of low-resource languages. Nevertheless, the similarity between humans and machines opens new avenues for language evolution research.
• Abstract（参考訳）: ニューラルネットワークは自然言語処理の成功を促進する。 自然言語の基本的性質は構成構造であり、新しい意味を体系的に記述することができる。 しかし、ニューラルネットワークは体系的な一般化に苦しむことで知られており、緊急通信シミュレーションにおける構成構造から必ずしも恩恵を受けない。 ここでは、ニューラルネットワークが人間の学習と新しい言語を一般化するためにどのように人間と比較するかをテストする。 我々は、人工言語学習研究(もともとは人間の参加者によって行われた)を忠実に複製し、入力言語の構造の程度に関して深層ニューラルネットワークの記憶と一般化能力を評価する。 より構造化された言語入力は、より体系的な一般化と、人間とニューラルネットワークエージェントと、異なるニューラルネットワークエージェントの間のより優れた収束につながる。 次に、この構造バイアスをTransformer-based large language model (GPT-3) で再現し、一般化体系と記憶誤りに関する構造化言語入力に類似した利点を示す。 これらの結果は、言語の基本構造が体系的一般化に不可欠であることを示している。 自然言語におけるコミュニティの大きさと言語構造との関係から,低リソース言語の自動処理の課題を浮き彫りにした。 それでも、人間と機械の類似性は言語進化研究の新たな道を開く。

関連論文リスト

• Modeling rapid language learning by distilling Bayesian priors into artificial neural networks [18.752638142258668]
  我々は、ベイズモデルの強い帰納バイアスとニューラルネットワークの柔軟な表現を組み合わせたアプローチで、制限された自然主義的データからの学習が可能であることを示す。 得られたシステムは少数の例から形式的な言語パターンを学習することができる。 また、自然言語のコーパスから英語の構文の側面を学ぶこともできる。
  論文  参考訳（メタデータ） (2023-05-24T04:11:59Z)
• Nondeterministic Stacks in Neural Networks [0.456877715768796]
  我々は、非決定論的プッシュダウンオートマトンを効率的にシミュレートする微分可能なデータ構造を開発する。 これにより、任意の文脈自由言語に対する形式的認識能力が向上することを示す。 また,非決定論的スタックを付加したRNNでは,驚くほど強力な動作が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-25T16:00:40Z)
• Deep Learning Models to Study Sentence Comprehension in the Human Brain [0.1503974529275767]
  自然言語を処理する最近の人工ニューラルネットワークは、文レベルの理解を必要とするタスクにおいて、前例のないパフォーマンスを達成する。 我々は、これらの人工言語モデルと人間の脳活動を比較する研究をレビューし、このアプローチが自然言語理解に関わる神経プロセスの理解をいかに改善したかを評価する。
  論文  参考訳（メタデータ） (2023-01-16T10:31:25Z)
• What Artificial Neural Networks Can Tell Us About Human Language Acquisition [47.761188531404066]
  自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。 計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
  論文  参考訳（メタデータ） (2022-08-17T00:12:37Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)
• Applications of Deep Neural Networks with Keras [0.0]
  ディープラーニングにより、ニューラルネットワークは人間の脳の機能のような方法で情報の階層を学習することができる。 本コースでは,従来のニューラルネットワーク構造であるConversa Neural Networks (CNN), Long Short-Term Memory (LSTM), Gated Recurrent Neural Networks (GRU), General Adrial Networks (GAN)を紹介する。
  論文  参考訳（メタデータ） (2020-09-11T22:09:10Z)
• Compositional Languages Emerge in a Neural Iterated Learning Model [27.495624644227888]
  構成性により、自然言語はより単純な組み合わせによって複雑な概念を表現することができる。 本稿では,対話型ニューラルエージェントに適用することで,より構造化された言語の出現を促進する効果的なニューラル・イテレーテッド・ラーニング(NIL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-04T15:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。