論文の概要: What Makes a Language Easy to Deep-Learn?
- arxiv url: http://arxiv.org/abs/2302.12239v2
- Date: Fri, 22 Sep 2023 15:02:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 19:26:35.169876
- Title: What Makes a Language Easy to Deep-Learn?
- Title(参考訳): 深層学習を容易にする言語とは何か?
- Authors: Lukas Galke, Yoav Ram, Limor Raviv
- Abstract要約: ニューラルネットワークが、その構造の程度によって異なる異なる入力言語を学習し、一般化する際に、人間とどのように比較するかをテストする。
より構造化された言語入力により,より体系的な一般化がもたらされる。
本研究は, 子どもの学習バイアスに関する明確な予測を導き, 小集団による言語の自動処理の課題を浮き彫りにした。
- 参考スコア(独自算出の注目度): 6.5990719141691825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks drive the success of natural language processing. A
fundamental property of language is its compositional structure, allowing
humans to produce forms for new meanings systematically. However, unlike
humans, neural networks notoriously struggle with systematic generalization,
and do not necessarily benefit from compositional structure in emergent
communication simulations. This poses a problem for using neural networks to
simulate human language learning and evolution, and suggests crucial
differences in the biases of the different learning systems. Here, we directly
test how neural networks compare to humans in learning and generalizing
different input languages that vary in their degree of structure. We evaluate
the memorization and generalization capabilities of a pre-trained language
model GPT-3.5 (analagous to an adult second language learner) and recurrent
neural networks trained from scratch (analaogous to a child first language
learner). Our results show striking similarities between deep neural networks
and adult human learners, with more structured linguistic input leading to more
systematic generalization and to better convergence between neural networks and
humans. These findings suggest that all the learning systems are sensitive to
the structure of languages in similar ways with compositionality being
advantageous for learning. Our findings draw a clear prediction regarding
children's learning biases, as well as highlight the challenges of automated
processing of languages spoken by small communities. Notably, the similarity
between humans and machines opens new avenues for research on language learning
and evolution.
- Abstract(参考訳): ニューラルネットワークは自然言語処理の成功を促進する。
言語の基本特性は構成構造であり、人間が体系的に新しい意味の形式を作ることができる。
しかし、人間とは異なり、ニューラルネットワークは体系的な一般化に苦しむことで悪名高く、創発的コミュニケーションシミュレーションにおいて構成構造から恩恵を受けるとは限らない。
これは、ニューラルネットワークを使って人間の言語学習と進化をシミュレートする問題であり、異なる学習システムのバイアスに重要な違いを示唆している。
ここでは,学習においてニューラルネットワークが人間とどのように比較されるかを直接テストし,その構造によって異なる入力言語を一般化する。
我々は,事前学習した言語モデルGPT-3.5(成人第二言語学習者)とスクラッチ(子ども第一言語学習者)から学習した繰り返しニューラルネットワークの記憶と一般化能力を評価する。
その結果,深層ニューラルネットワークと成人学習者との類似性が顕著であり,より構造化された言語入力により,より体系的な一般化と,ニューラルネットワークと人間との収束性が向上した。
これらの結果から,全ての学習システムは言語の構造に敏感であり,構成性は学習に有利であることが示唆された。
本研究は,子どもの学習バイアスに関する明確な予測と,小集団が話す言語の自動処理の課題を浮き彫りにするものである。
特に、人間と機械の類似性は、言語学習と進化の研究のための新しい道を開く。
関連論文リスト
- Why can neural language models solve next-word prediction? A
mathematical perspective [53.807657273043446]
本研究では,英語文の実例をモデル化するための形式言語群について検討する。
我々の証明は、ニューラルネットワークモデルにおける埋め込み層と完全に接続されたコンポーネントの異なる役割を強調します。
論文 参考訳(メタデータ) (2023-06-20T10:41:23Z) - Modeling rapid language learning by distilling Bayesian priors into
artificial neural networks [18.752638142258668]
我々は、ベイズモデルの強い帰納バイアスとニューラルネットワークの柔軟な表現を組み合わせたアプローチで、制限された自然主義的データからの学習が可能であることを示す。
得られたシステムは少数の例から形式的な言語パターンを学習することができる。
また、自然言語のコーパスから英語の構文の側面を学ぶこともできる。
論文 参考訳(メタデータ) (2023-05-24T04:11:59Z) - Word class representations spontaneously emerge in a deep neural network
trained on next word prediction [7.240611820374677]
人間はどのように言語を学ぶのか、そして、最初の言語は全く学べるのか?
これらの基本的な疑問はいまだに熱心に議論されている。
特に、次の単語を予測するために、人工的な深層ニューラルネットワークを訓練する。
その結果,9ワード入力シーケンスの内部表現は10ワードの単語クラスに従ってクラスタ化され,出力として予測されることがわかった。
論文 参考訳(メタデータ) (2023-02-15T11:02:50Z) - Communication Drives the Emergence of Language Universals in Neural
Agents: Evidence from the Word-order/Case-marking Trade-off [3.631024220680066]
ニューラルエージェント言語学習通信フレームワーク(NeLLCom)を提案する。
我々はエージェントに特定のバイアスをハードコーディングすることなく、新しいフレームワークでトレードオフを複製することに成功しました。
論文 参考訳(メタデータ) (2023-01-30T17:22:33Z) - Deep Learning Models to Study Sentence Comprehension in the Human Brain [0.1503974529275767]
自然言語を処理する最近の人工ニューラルネットワークは、文レベルの理解を必要とするタスクにおいて、前例のないパフォーマンスを達成する。
我々は、これらの人工言語モデルと人間の脳活動を比較する研究をレビューし、このアプローチが自然言語理解に関わる神経プロセスの理解をいかに改善したかを評価する。
論文 参考訳(メタデータ) (2023-01-16T10:31:25Z) - What Artificial Neural Networks Can Tell Us About Human Language
Acquisition [47.761188531404066]
自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。
計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
論文 参考訳(メタデータ) (2022-08-17T00:12:37Z) - Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。
より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。
次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文 参考訳(メタデータ) (2022-03-19T06:28:30Z) - Emergence of Machine Language: Towards Symbolic Intelligence with Neural
Networks [73.94290462239061]
本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。
対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
論文 参考訳(メタデータ) (2022-01-14T14:54:58Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳(メタデータ) (2021-08-06T23:49:18Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳(メタデータ) (2021-06-09T22:59:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。