論文の概要: Local and non-local dependency learning and emergence of rule-like representations in speech data by Deep Convolutional Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2009.12711v2
• Date: Wed, 28 Jul 2021 07:28:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 03:08:30.681305
• Title: Local and non-local dependency learning and emergence of rule-like representations in speech data by Deep Convolutional Generative Adversarial Networks
• Title（参考訳）: Deep Convolutional Generative Adversarial Networksによる音声データにおける局所的および非局所的依存学習と規則様表現の出現
• Authors: Ga\v{s}per Begu\v{s}
• Abstract要約: 本稿では、音声データにおける局所的および非局所的依存関係に対するGANのトレーニングは、ディープニューラルネットワークが連続データをどのように識別するかについての洞察を与える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper argues that training GANs on local and non-local dependencies in speech data offers insights into how deep neural networks discretize continuous data and how symbolic-like rule-based morphophonological processes emerge in a deep convolutional architecture. Acquisition of speech has recently been modeled as a dependency between latent space and data generated by GANs in Begu\v{s} (2020b; arXiv:2006.03965), who models learning of a simple local allophonic distribution. We extend this approach to test learning of local and non-local phonological processes that include approximations of morphological processes. We further parallel outputs of the model to results of a behavioral experiment where human subjects are trained on the data used for training the GAN network. Four main conclusions emerge: (i) the networks provide useful information for computational models of speech acquisition even if trained on a comparatively small dataset of an artificial grammar learning experiment; (ii) local processes are easier to learn than non-local processes, which matches both behavioral data in human subjects and typology in the world's languages. This paper also proposes (iii) how we can actively observe the network's progress in learning and explore the effect of training steps on learning representations by keeping latent space constant across different training steps. Finally, this paper shows that (iv) the network learns to encode the presence of a prefix with a single latent variable; by interpolating this variable, we can actively observe the operation of a non-local phonological process. The proposed technique for retrieving learning representations has general implications for our understanding of how GANs discretize continuous speech data and suggests that rule-like generalizations in the training data are represented as an interaction between variables in the network's latent space.
• Abstract（参考訳）: 本稿では,音声データの局所的および非局所的依存関係に対するgansのトレーニングは,ディープニューラルネットワークが連続データをどのように識別するか,そして深層畳み込みアーキテクチャにおいて記号的規則に基づく形態素学的プロセスがどのように出現するかに関する洞察を与える。 音声の獲得は、最近Begu\v{s} (2020b; arXiv:2006.03965)でGANが生成する潜在空間とデータ間の依存性としてモデル化されている。 このアプローチを,形態素過程の近似を含む局所および非局所音韻過程のテスト学習に拡張する。 さらに,GANネットワークのトレーニングに使用するデータに基づいて被験者を訓練する行動実験の結果に対して,モデルの出力を並列に行う。 主な結論は4つあります 一 人工文法学習実験の比較的小さなデータセット上で訓練しても、そのネットワークは、音声獲得の計算モデルに有用な情報を提供する。 (ii)局所的なプロセスは、人間の行動データと世界の言語におけるタイポロジーの両方にマッチする非局所的なプロセスよりも学習が容易である。 本稿も提案する。 (iii)学習におけるネットワークの進展を積極的に観察し、異なる学習ステップにまたがる潜在空間を一定に保つことにより、学習表現に対するトレーニングステップの効果を探究する方法。 最後に,本論文が示す。 (iv)ネットワークは、プレフィックスの存在を単一の潜在変数でエンコードすることを学び、この変数を補間することにより、非局所音韻過程の操作を積極的に観察することができる。 学習表現を検索する手法は,GANが連続音声データの識別方法を理解する上での一般的な意味を持ち,学習データの規則的一般化は,ネットワークの潜伏空間における変数間の相互作用として表現されることを示唆している。

関連論文リスト

• A distributional simplicity bias in the learning dynamics of transformers [50.91742043564049]
  自然言語データに基づいてトレーニングされたトランスフォーマーは、単純さのバイアスも示している。 具体的には、入力トークン間の多体相互作用を逐次学習し、低次相互作用の予測誤差において飽和点に達する。 このアプローチは、自然言語処理などにおいて、データ内の異なる順序の相互作用が学習にどのように影響するかを研究する可能性を開く。
  論文  参考訳（メタデータ） (2024-10-25T15:39:34Z)
• The mechanistic basis of data dependence and abrupt learning in an in-context classification task [0.3626013617212666]
  本研究では,言語固有の特定の分布特性が,2種類の学習のトレードオフや同時出現を制御していることを示す。 インコンテキスト学習は、誘導ヘッドの突然の出現によって駆動され、その後、インウェイト学習と競合する。 注意に基づくネットワークの急激な遷移は、ICLを実現するのに必要な多層演算の特定の連鎖によって生じると提案する。
  論文  参考訳（メタデータ） (2023-12-03T20:53:41Z)
• Approaching an unknown communication system by latent space exploration and causal inference [5.026037329977691]
  本稿では、教師なし深層生成モデルの潜伏空間を探索し、データ中の有意義な性質を発見する手法を提案する。 我々は、因果推論にインスパイアされた手法を用いて、個々の潜伏変数を極端な値に操作する。 この手法がモデル解釈可能性の洞察を与えることを示す。
  論文  参考訳（メタデータ） (2023-03-20T08:09:13Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• Reprogramming Language Models for Molecular Representation Learning [65.00999660425731]
  本稿では,分子学習タスクのための事前学習言語モデルに対して,辞書学習(R2DL)による表現再プログラミングを提案する。 対比プログラムは、k-SVDソルバを用いて、高密度ソースモデル入力空間(言語データ)とスパースターゲットモデル入力空間(例えば、化学および生物学的分子データ)との間の線形変換を学習する。 R2DLは、ドメイン固有のデータに基づいて訓練されたアート毒性予測モデルの状態によって確立されたベースラインを達成し、限られたトレーニングデータ設定でベースラインを上回る。
  論文  参考訳（メタデータ） (2020-12-07T05:50:27Z)
• Network Classifiers Based on Social Learning [71.86764107527812]
  空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。 提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。 この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
  論文  参考訳（メタデータ） (2020-10-23T11:18:20Z)
• Systematic Generalization on gSCAN with Language Conditioned Embedding [19.39687991647301]
  体系的一般化とは、学習アルゴリズムが学習した振る舞いを目に見えない状況に外挿する能力を指す。 本稿では,入力自然言語を条件とした動的メッセージパッシングによるオブジェクトの文脈的埋め込みを学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-11T17:35:05Z)
• Embodied Self-supervised Learning by Coordinated Sampling and Training [14.107020105091662]
  本稿では, 逆問題に対して, 対応する物理フォワードプロセスを用いて, 自己教師型アプローチを提案する。 提案手法は、反復的なサンプリングとトレーニングによって推論ネットワークを学習するために、分析バイシンセシス方式で動作する。 音声から調音情報を推測するために,音響-調音インバージョン問題に対処することで,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-20T14:05:47Z)
• Generative Adversarial Phonology: Modeling unsupervised phonetic and phonological learning with neural networks [0.0]
  音声データにおけるよく理解された依存関係に基づくディープニューラルネットワークのトレーニングは、内部表現の学習方法に関する新たな洞察を提供することができる。 本稿では, 音声の獲得を, 生成適応型ネットワークアーキテクチャにおけるランダム空間と生成した音声データ間の依存性としてモデル化することができることを論じる。 本稿では,音韻的・音韻的特性に対応するネットワークの内部表現を明らかにする手法を提案する。
  論文  参考訳（メタデータ） (2020-06-06T20:31:23Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。