論文の概要: A predictive learning model can simulate temporal dynamics and context effects found in neural representations of continuous speech
- arxiv url: http://arxiv.org/abs/2405.08237v1
- Date: Mon, 13 May 2024 23:36:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 15:27:38.621940
- Title: A predictive learning model can simulate temporal dynamics and context effects found in neural representations of continuous speech
- Title(参考訳): 予測学習モデルは、連続音声の神経表現に見られる時間的ダイナミクスと文脈効果をシミュレートできる
- Authors: Oli Danyi Liu, Hao Tang, Naomi Feldman, Sharon Goldwater,
- Abstract要約: 認知神経科学における最近の研究は、人間の音声のニューラルエンコーディングにおける時間的特徴と文脈的特徴を特定している。
本研究では,非競合音声で学習した計算モデルから抽出した表現を用いて,類似した解析をシミュレートした。
シミュレーションの結果,脳信号に類似した時間的ダイナミクスが明らかとなり,これらの特性が言語的知識を伴わずに生じる可能性が示唆された。
- 参考スコア(独自算出の注目度): 11.707968216076075
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speech perception involves storing and integrating sequentially presented items. Recent work in cognitive neuroscience has identified temporal and contextual characteristics in humans' neural encoding of speech that may facilitate this temporal processing. In this study, we simulated similar analyses with representations extracted from a computational model that was trained on unlabelled speech with the learning objective of predicting upcoming acoustics. Our simulations revealed temporal dynamics similar to those in brain signals, implying that these properties can arise without linguistic knowledge. Another property shared between brains and the model is that the encoding patterns of phonemes support some degree of cross-context generalization. However, we found evidence that the effectiveness of these generalizations depends on the specific contexts, which suggests that this analysis alone is insufficient to support the presence of context-invariant encoding.
- Abstract(参考訳): 音声知覚は、逐次提示されたアイテムの保存と統合を伴う。
認知神経科学における最近の研究は、この時間的処理を促進する可能性のある人間の音声のニューラルエンコーディングにおける時間的特徴と文脈的特徴を特定している。
そこで本研究では,学習目的の未学習音声から学習した計算モデルから抽出した表現を用いて,類似した解析をシミュレーションした。
シミュレーションの結果,脳信号に類似した時間的ダイナミクスが明らかとなり,これらの特性が言語的知識を伴わずに生じる可能性が示唆された。
脳とモデルの間で共有されるもう1つの特性は、音素の符号化パターンがある程度のクロスコンテキスト一般化をサポートすることである。
しかし、これらの一般化の有効性は特定の文脈に依存することが判明し、この分析だけでは文脈不変エンコーディングの存在を支持するには不十分であることが示唆された。
関連論文リスト
- Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。
本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。
本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
論文 参考訳(メタデータ) (2024-04-22T09:40:07Z) - The neural dynamics of auditory word recognition and integration [21.582292050622456]
本稿では,この知覚過程をベイズ決定理論で定式化する単語認識の計算モデルを提案する。
我々は,このモデルを用いて,架空の物語を受動的に聴いた被験者が記録した頭皮脳波信号を説明する。
このモデルは、単語が素早く認識できるかどうかに応じて、単語の異なるニューラル処理を明らかにする。
論文 参考訳(メタデータ) (2023-05-22T18:06:32Z) - Deep Neural Convolutive Matrix Factorization for Articulatory
Representation Decomposition [48.56414496900755]
この研究は、コンボリューティブスパース行列分解のニューラル実装を用いて、調音データを解釈可能なジェスチャーとジェスチャースコアに分解する。
音素認識実験も実施され、ジェスチャースコアが実際に音韻情報のコード化に成功していることが示された。
論文 参考訳(メタデータ) (2022-04-01T14:25:19Z) - A Latent-Variable Model for Intrinsic Probing [94.61336186402615]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳(メタデータ) (2022-01-20T15:01:12Z) - Can phones, syllables, and words emerge as side-products of
cross-situational audiovisual learning? -- A computational investigation [2.28438857884398]
いわゆる潜在言語仮説(LLH)について検討する。
LLHは言語表現学習を、知覚のモダリティ内および横断的な一般的な予測処理に結びつける。
我々は、様々なニューラルネットワークモデルを用いた広範学習シミュレーションにおけるLLHをさらに探求する。
論文 参考訳(メタデータ) (2021-09-29T05:49:46Z) - Preliminary study on using vector quantization latent spaces for TTS/VC
systems with consistent performance [55.10864476206503]
本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。
トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。
実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
論文 参考訳(メタデータ) (2021-06-25T07:51:35Z) - Decomposing lexical and compositional syntax and semantics with deep
language models [82.81964713263483]
GPT2のような言語変換器の活性化は、音声理解中の脳活動に線形にマップすることが示されている。
本稿では,言語モデルの高次元アクティベーションを,語彙,構成,構文,意味表現の4つのクラスに分類する分類法を提案する。
その結果は2つの結果が浮かび上がった。
まず、構成表現は、語彙よりも広範な皮質ネットワークを募集し、両側の側頭、頭頂、前頭前皮質を包含する。
論文 参考訳(メタデータ) (2021-03-02T10:24:05Z) - Evaluating Models of Robust Word Recognition with Serial Reproduction [8.17947290421835]
広範囲確率的生成言語モデルと人間の言語的期待を捉える能力の比較を行った。
先行した言語的文脈の抽象表現を利用するこれらのモデルは、連続再生の過程で人々が行った変化を最もよく予測する。
論文 参考訳(メタデータ) (2021-01-24T20:16:12Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳(メタデータ) (2020-06-19T12:00:05Z) - Analyzing analytical methods: The case of phonology in neural models of
spoken language [44.00588930401902]
本稿では,音声言語のニューラルネットワークモデルにおける音韻表現の事例について検討する。
我々は2つの一般的な分析手法を用いて、音素配列と音素シーケンスを符号化するニューラルアクティベーションパターンの程度を定量化する。
論文 参考訳(メタデータ) (2020-04-15T13:04:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。