論文の概要: Emergence of Phonemic, Syntactic, and Semantic Representations in Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2601.18617v1
• Date: Mon, 26 Jan 2026 15:56:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.913275
• Title: Emergence of Phonemic, Syntactic, and Semantic Representations in Artificial Neural Networks
• Title（参考訳）: ニューラルネットワークにおける音素・構文・意味表現の出現
• Authors: Pierre Orhan, Pablo Diego-Simón, Emmnanuel Chemla, Yair Lakretz, Yves Boubenec, Jean-Rémi King,
• Abstract要約: 人工ニューラルネットワークの活性化において,音素,語彙,構文表現が出現するか否かについて検討する。 その結果,音声モデルとテキストモデルの両方が学習段階をたどっていることがわかった。
• 参考スコア（独自算出の注目度）: 5.596061506017836
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: During language acquisition, children successively learn to categorize phonemes, identify words, and combine them with syntax to form new meaning. While the development of this behavior is well characterized, we still lack a unifying computational framework to explain its underlying neural representations. Here, we investigate whether and when phonemic, lexical, and syntactic representations emerge in the activations of artificial neural networks during their training. Our results show that both speech- and text-based models follow a sequence of learning stages: during training, their neural activations successively build subspaces, where the geometry of the neural activations represents phonemic, lexical, and syntactic structure. While this developmental trajectory qualitatively relates to children's, it is quantitatively different: These algorithms indeed require two to four orders of magnitude more data for these neural representations to emerge. Together, these results show conditions under which major stages of language acquisition spontaneously emerge, and hence delineate a promising path to understand the computations underpinning language acquisition.
• Abstract（参考訳）: 言語習得の間、子供たちは音素を分類し、単語を識別し、それらを構文と組み合わせて新しい意味を形成することを学ぶ。 この動作の発達はよく特徴付けられるが、根底にある神経表現を説明するための統一的な計算フレームワークはいまだに欠けている。 本稿では,人工ニューラルネットワークの学習中に,音素,語彙,構文表現が活性化するかどうかについて検討する。 本研究の結果から, 言語モデルとテキストモデルの両方が学習段階に沿っていることが明らかとなった。訓練中, 神経活動は連続的にサブスペースを構築し, 神経活動の幾何学は音素, 語彙, 構文構造を表す。 この発達軌跡は、子供に質的に関係するが、定量的に異なる。これらのアルゴリズムは、これらの神経表現が現れるためには、実際には2～4桁のデータを必要とする。 これらの結果から,言語習得の主要な段階が自然に出現する条件が示され,言語習得の基盤となる計算を理解するための有望な経路が明確化される。

関連論文リスト

• Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning [69.8008228833895]
  本稿では,連続学習機構を備えた小型生成ニューラルネットワークを提案する。 我々のモデルは解釈可能性を重視し,オンライン学習の利点を実証する。
  論文  参考訳（メタデータ） (2024-12-23T10:23:47Z)
• Analysis of Argument Structure Constructions in a Deep Recurrent Language Model [0.0]
  本稿では,再帰型ニューラルネットワークモデルにおけるArgument Structure Constructions(ASC)の表現と処理について検討する。 その結果, 文表現は, 全層にまたがる4つのASCに対応する異なるクラスタを形成することがわかった。 これは、脳に拘束された比較的単純なリカレントニューラルネットワークでさえ、様々な構成タイプを効果的に区別できることを示している。
  論文  参考訳（メタデータ） (2024-08-06T09:27:41Z)
• A predictive learning model can simulate temporal dynamics and context effects found in neural representations of continuous speech [11.707968216076075]
  認知神経科学における最近の研究は、人間の音声のニューラルエンコーディングにおける時間的特徴と文脈的特徴を特定している。 本研究では,非競合音声で学習した計算モデルから抽出した表現を用いて,類似した解析をシミュレートした。 シミュレーションの結果,脳信号に類似した時間的ダイナミクスが明らかとなり,これらの特性が言語的知識を伴わずに生じる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-13T23:36:19Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Deep Learning Models to Study Sentence Comprehension in the Human Brain [0.1503974529275767]
  自然言語を処理する最近の人工ニューラルネットワークは、文レベルの理解を必要とするタスクにおいて、前例のないパフォーマンスを達成する。 我々は、これらの人工言語モデルと人間の脳活動を比較する研究をレビューし、このアプローチが自然言語理解に関わる神経プロセスの理解をいかに改善したかを評価する。
  論文  参考訳（メタデータ） (2023-01-16T10:31:25Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Deep Neural Convolutive Matrix Factorization for Articulatory Representation Decomposition [48.56414496900755]
  この研究は、コンボリューティブスパース行列分解のニューラル実装を用いて、調音データを解釈可能なジェスチャーとジェスチャースコアに分解する。 音素認識実験も実施され、ジェスチャースコアが実際に音韻情報のコード化に成功していることが示された。
  論文  参考訳（メタデータ） (2022-04-01T14:25:19Z)
• Can phones, syllables, and words emerge as side-products of cross-situational audiovisual learning? -- A computational investigation [2.28438857884398]
  いわゆる潜在言語仮説(LLH)について検討する。 LLHは言語表現学習を、知覚のモダリティ内および横断的な一般的な予測処理に結びつける。 我々は、様々なニューラルネットワークモデルを用いた広範学習シミュレーションにおけるLLHをさらに探求する。
  論文  参考訳（メタデータ） (2021-09-29T05:49:46Z)
• Decomposing lexical and compositional syntax and semantics with deep language models [82.81964713263483]
  GPT2のような言語変換器の活性化は、音声理解中の脳活動に線形にマップすることが示されている。 本稿では,言語モデルの高次元アクティベーションを,語彙,構成,構文,意味表現の4つのクラスに分類する分類法を提案する。 その結果は2つの結果が浮かび上がった。 まず、構成表現は、語彙よりも広範な皮質ネットワークを募集し、両側の側頭、頭頂、前頭前皮質を包含する。
  論文  参考訳（メタデータ） (2021-03-02T10:24:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。