論文の概要: Basic syntax from speech: Spontaneous concatenation in unsupervised deep neural networks
- arxiv url: http://arxiv.org/abs/2305.01626v3
- Date: Wed, 20 Nov 2024 18:30:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-21 16:11:02.846623
- Title: Basic syntax from speech: Spontaneous concatenation in unsupervised deep neural networks
- Title（参考訳）: 音声からの基本構文:教師なしディープニューラルネットワークにおける自発的結合
- Authors: Gašper Beguš, Thomas Lu, Zili Wang,
- Abstract要約: 私たちは構文の最もユビキタスで初歩的な部分操作の1つに焦点を合わせます。
本稿では,個々の単語の音響記録を訓練した畳み込みニューラルネットワーク(CNN)が出力を発生させる現象について紹介する。
また、結合性や構成性への神経経路を概説するディスインヒビション(disinhibition)と呼ばれる潜在的な神経機構を提案する。
- 参考スコア（独自算出の注目度）: 8.683116789109462
- License:
- Abstract: Computational models of syntax are predominantly text-based. Here we propose that the most basic first step in the evolution of syntax can be modeled directly from raw speech in a fully unsupervised way. We focus on one of the most ubiquitous and elementary suboperation of syntax -- concatenation. We introduce spontaneous concatenation: a phenomenon where convolutional neural networks (CNNs) trained on acoustic recordings of individual words start generating outputs with two or even three words concatenated without ever accessing data with multiple words in the input. We replicate this finding in several independently trained models with different hyperparameters and training data. Additionally, networks trained on two words learn to embed words into novel unobserved word combinations. We also show that the concatenated outputs contain precursors to compositionality. To our knowledge, this is a previously unreported property of CNNs trained in the ciwGAN/fiwGAN setting on raw speech and has implications both for our understanding of how these architectures learn as well as for modeling syntax and its evolution in the brain from raw acoustic inputs. We also propose a potential neural mechanism called disinhibition that outlines a possible neural pathway towards concatenation and compositionality and suggests our modeling is useful for generating testable prediction for biological and artificial neural processing of speech.
- Abstract（参考訳）: 構文の計算モデルは、主にテキストベースである。
本稿では、構文の進化における最も基本的な第一歩を、完全に教師なしの方法で生の音声から直接モデル化できることを提案する。
私たちは構文の最もユビキタスで初歩的な部分操作の1つに焦点を合わせます。
個別単語の音響記録を訓練した畳み込みニューラルネットワーク(CNN)が、入力に複数の単語を持つデータにアクセスすることなく、連結された2つか3つの単語で出力を生成し始める現象である。
我々はこの発見を、異なるハイパーパラメータとトレーニングデータを持つ、独立に訓練されたいくつかのモデルで再現する。
さらに、2つの単語で訓練されたネットワークは、新しい保存されていない単語の組み合わせに単語を埋め込むことを学ぶ。
また、連結出力は構成性の前駆体を含むことを示す。
我々の知る限り、これは生の音声に基づくciwGAN/fiwGAN設定で訓練されたCNNのこれまで報告されていない特性であり、これらのアーキテクチャがどのように学習するかを理解するだけでなく、生の音響入力から脳の構文やその進化をモデル化するためにも意味を持つ。
また, 音声の生物学的および人工的ニューラル処理の予測に有用であることを示すために, 結合性や構成性への神経経路を概説するディスインヒビション(disinhibition)と呼ばれる潜在的なニューラルメカニズムを提案する。
関連論文リスト
- Probabilistic Transformer: A Probabilistic Dependency Model for
Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。
モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。
実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文 参考訳（メタデータ） (2023-11-26T06:56:02Z) - Multimodal Neurons in Pretrained Text-Only Transformers [52.20828443544296]
視覚表現を対応するテキストに変換する「マルチモーダルニューロン」を同定する。
マルチモーダルニューロンは入力を横断する特定の視覚概念で動作し、画像キャプションに系統的な因果効果を有することを示す。
論文 参考訳（メタデータ） (2023-08-03T05:27:12Z) - Why can neural language models solve next-word prediction? A
mathematical perspective [53.807657273043446]
本研究では,英語文の実例をモデル化するための形式言語群について検討する。
我々の証明は、ニューラルネットワークモデルにおける埋め込み層と完全に接続されたコンポーネントの異なる役割を強調します。
論文 参考訳（メタデータ） (2023-06-20T10:41:23Z) - BrainBERT: Self-supervised representation learning for intracranial
recordings [18.52962864519609]
我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。
NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。
将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
論文 参考訳（メタデータ） (2023-02-28T07:40:37Z) - Word class representations spontaneously emerge in a deep neural network
trained on next word prediction [7.240611820374677]
人間はどのように言語を学ぶのか、そして、最初の言語は全く学べるのか?
これらの基本的な疑問はいまだに熱心に議論されている。
特に、次の単語を予測するために、人工的な深層ニューラルネットワークを訓練する。
その結果,9ワード入力シーケンスの内部表現は10ワードの単語クラスに従ってクラスタ化され,出力として予測されることがわかった。
論文 参考訳（メタデータ） (2023-02-15T11:02:50Z) - Deep Learning Models to Study Sentence Comprehension in the Human Brain [0.1503974529275767]
自然言語を処理する最近の人工ニューラルネットワークは、文レベルの理解を必要とするタスクにおいて、前例のないパフォーマンスを達成する。
我々は、これらの人工言語モデルと人間の脳活動を比較する研究をレビューし、このアプローチが自然言語理解に関わる神経プロセスの理解をいかに改善したかを評価する。
論文 参考訳（メタデータ） (2023-01-16T10:31:25Z) - Decoding speech perception from non-invasive brain recordings [48.46819575538446]
非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。
我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
論文 参考訳（メタデータ） (2022-08-25T10:01:43Z) - Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo
Languages [58.43299730989809]
本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。
我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。
このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
論文 参考訳（メタデータ） (2022-05-02T17:59:02Z) - Modeling speech recognition and synthesis simultaneously: Encoding and
decoding lexical and sublexical semantic information into speech with no
direct access to speech data [0.0]
我々は,非教師付き語彙学習において最も困難な目的である,辞書項目にユニークな表現を割り当てることを学ぶ教師なしネットワークを紹介した。
語彙学習に賛成する強い証拠が現れる。
生産と知覚の原則を組み合わせたアーキテクチャは、実際のトレーニングデータにアクセスすることなく、教師なしの方法で生の音響データからユニークな情報を復号することができる。
論文 参考訳（メタデータ） (2022-03-22T06:04:34Z) - Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。
より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。
次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文 参考訳（メタデータ） (2022-03-19T06:28:30Z) - CiwGAN and fiwGAN: Encoding information in acoustic data to model
lexical learning with Generative Adversarial Networks [0.0]
語彙学習は、ディープニューラルネットワークにデータを出力させるアーキテクチャの創発体としてモデル化される。
TIMITの辞書項目で訓練されたネットワークは、辞書項目に対応するユニークな情報を、その潜在空間におけるカテゴリ変数の形で符号化することを学ぶ。
ネットワークで学習した音声と音韻の表現は、生産的に組み換えられ、人間の発話の生産性と直接的に平行にできることを示す。
論文 参考訳（メタデータ） (2020-06-04T15:33:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。