論文の概要: Word class representations spontaneously emerge in a deep neural network trained on next word prediction

• arxiv url: http://arxiv.org/abs/2302.07588v1
• Date: Wed, 15 Feb 2023 11:02:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-16 15:15:03.343699
• Title: Word class representations spontaneously emerge in a deep neural network trained on next word prediction
• Title（参考訳）: 次の単語予測に基づく深層ニューラルネットワークにおける単語クラス表現の自然発生
• Authors: Kishore Surendra, Achim Schilling, Paul Stoewer, Andreas Maier and Patrick Krauss
• Abstract要約: 人間はどのように言語を学ぶのか、そして、最初の言語は全く学べるのか? これらの基本的な疑問はいまだに熱心に議論されている。 特に、次の単語を予測するために、人工的な深層ニューラルネットワークを訓練する。 その結果,9ワード入力シーケンスの内部表現は10ワードの単語クラスに従ってクラスタ化され,出力として予測されることがわかった。
• 参考スコア（独自算出の注目度）: 7.240611820374677
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: How do humans learn language, and can the first language be learned at all? These fundamental questions are still hotly debated. In contemporary linguistics, there are two major schools of thought that give completely opposite answers. According to Chomsky's theory of universal grammar, language cannot be learned because children are not exposed to sufficient data in their linguistic environment. In contrast, usage-based models of language assume a profound relationship between language structure and language use. In particular, contextual mental processing and mental representations are assumed to have the cognitive capacity to capture the complexity of actual language use at all levels. The prime example is syntax, i.e., the rules by which words are assembled into larger units such as sentences. Typically, syntactic rules are expressed as sequences of word classes. However, it remains unclear whether word classes are innate, as implied by universal grammar, or whether they emerge during language acquisition, as suggested by usage-based approaches. Here, we address this issue from a machine learning and natural language processing perspective. In particular, we trained an artificial deep neural network on predicting the next word, provided sequences of consecutive words as input. Subsequently, we analyzed the emerging activation patterns in the hidden layers of the neural network. Strikingly, we find that the internal representations of nine-word input sequences cluster according to the word class of the tenth word to be predicted as output, even though the neural network did not receive any explicit information about syntactic rules or word classes during training. This surprising result suggests, that also in the human brain, abstract representational categories such as word classes may naturally emerge as a consequence of predictive coding and processing during language acquisition.
• Abstract（参考訳）: 人間はどのようにして言語を学習し、最初の言語を全く学べるのか? これらの基本的な疑問はいまだに議論されている。 現代言語学では、全く正反対の答えを与える2つの主要な学派がある。 チョムスキーの普遍文法理論によれば、子供は言語環境において十分なデータに晒されていないため、言語は学べない。 対照的に、用法に基づく言語モデルでは、言語構造と言語使用の間に深い関係がある。 特に、文脈的精神処理と精神表現は、あらゆるレベルで実際の言語の使用の複雑さを捉える認知能力を有すると仮定される。 主な例は構文、すなわち、単語が文のようなより大きな単位に組み立てられる規則である。 通常、構文規則は単語クラスのシーケンスとして表現される。 しかし, 言語習得において, 言語クラスが自然であるかどうか, 普遍文法によって示唆されるか, あるいは言語習得中に現れるかは, 使用法に基づくアプローチによって示唆されている。 本稿では,機械学習と自然言語処理の観点からこの問題に対処する。 特に,次の単語の予測に人工深層ニューラルネットワークを訓練し,連続した単語のシーケンスを入力として提供した。 その後,ニューラルネットワークの隠れ層における活性化パターンの解析を行った。 ニューラルネットワークは、学習中に構文規則や単語のクラスに関する明示的な情報を受け取らなかったが、9ワード入力シーケンスの内部表現は出力として予測される単語クラスに従ってクラスタ化されていることがわかった。 この驚くべき結果は、人間の脳でも、言語習得中の予測符号化と処理の結果、単語クラスのような抽象的な表現カテゴリーが自然に現れることを示唆している。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Why can neural language models solve next-word prediction? A mathematical perspective [53.807657273043446]
  本研究では,英語文の実例をモデル化するための形式言語群について検討する。 我々の証明は、ニューラルネットワークモデルにおける埋め込み層と完全に接続されたコンポーネントの異なる役割を強調します。
  論文  参考訳（メタデータ） (2023-06-20T10:41:23Z)
• Deep Learning Models to Study Sentence Comprehension in the Human Brain [0.1503974529275767]
  自然言語を処理する最近の人工ニューラルネットワークは、文レベルの理解を必要とするタスクにおいて、前例のないパフォーマンスを達成する。 我々は、これらの人工言語モデルと人間の脳活動を比較する研究をレビューし、このアプローチが自然言語理解に関わる神経プロセスの理解をいかに改善したかを評価する。
  論文  参考訳（メタデータ） (2023-01-16T10:31:25Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Same Neurons, Different Languages: Probing Morphosyntax in Multilingual Pre-trained Models [84.86942006830772]
  多言語事前学習モデルは文法に関する言語・ユニバーサルの抽象化を導出できると推測する。 43の言語と14のモルフォシンタクティックなカテゴリーで、最先端のニューロンレベルのプローブを用いて、初めて大規模な実験を行った。
  論文  参考訳（メタデータ） (2022-05-04T12:22:31Z)
• Generalized Optimal Linear Orders [9.010643838773477]
  言語の逐次構造、特に文中の単語の順序は、人間の言語処理において中心的な役割を果たす。 言語の計算モデルの設計において、デファクトのアプローチは、原文と同じ順序で命令された単語を機械に提示することである。 この研究の本質は、これが望ましいという暗黙の仮定を疑問視し、自然言語処理における語順の考慮に理論的健全性を注入することである。
  論文  参考訳（メタデータ） (2021-08-13T13:10:15Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。