論文の概要: Identity-Based Patterns in Deep Convolutional Networks: Generative Adversarial Phonology and Reduplication

• arxiv url: http://arxiv.org/abs/2009.06110v2
• Date: Sat, 17 Jul 2021 12:03:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 02:31:37.731023
• Title: Identity-Based Patterns in Deep Convolutional Networks: Generative Adversarial Phonology and Reduplication
• Title（参考訳）: 深部畳み込みネットワークにおけるアイデンティティに基づくパターン--生成的対立音韻論と再帰
• Authors: Ga\v{s}per Begu\v{s}
• Abstract要約: 我々は、CNNが情報データを生成するという要求から有意義な表現を学習する、ciwGANアーキテクチャのBeguvsを使用している。 そこで本研究では,4つの生成テストに基づいて学習したWug-test CNNの手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper models unsupervised learning of an identity-based pattern (or copying) in speech called reduplication from raw continuous data with deep convolutional neural networks. We use the ciwGAN architecture Begu\v{s} (2021a; arXiv:2006.02951) in which learning of meaningful representations in speech emerges from a requirement that the CNNs generate informative data. We propose a technique to wug-test CNNs trained on speech and, based on four generative tests, argue that the network learns to represent an identity-based pattern in its latent space. By manipulating only two categorical variables in the latent space, we can actively turn an unreduplicated form into a reduplicated form with no other substantial changes to the output in the majority of cases. We also argue that the network extends the identity-based pattern to unobserved data. Exploration of how meaningful representations of identity-based patterns emerge in CNNs and how the latent space variables outside of the training range correlate with identity-based patterns in the output has general implications for neural network interpretability.
• Abstract（参考訳）: 本稿では、深層畳み込みニューラルネットワークを用いた生の連続データからの重複と呼ばれる音声におけるアイデンティティに基づくパターン(あるいはコピー)の教師なし学習をモデル化する。 我々は、CNNが情報データを生成する要求から有意な表現を学習するciwGANアーキテクチャBegu\v{s} (2021a; arXiv:2006.02951) を用いる。 本稿では,cnnを音声で学習する手法を提案し,4つの生成テストに基づいて,ネットワークが潜在空間におけるアイデンティティに基づくパターンを表現することを学ぶと主張する。 潜在空間内の2つのカテゴリ変数のみを操作することで、多くのケースで出力に実質的な変更を加えることなく、再帰形式を再結合形式に変換することができる。 また、ネットワークはIDベースのパターンを観測されていないデータに拡張すると主張する。 cnnにおけるidベースのパターンの有意義な表現の出現と、トレーニング範囲外の潜在空間変数が出力内のidベースのパターンとどのように相関するかの探求は、ニューラルネットワークの解釈可能性に一般的な意味を持つ。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Supervised learning of spatial features with STDP and homeostasis using Spiking Neural Networks on SpiNNaker [42.057348666938736]
  本稿では,スパイクタイミング依存塑性(STDP)とホメオスタシスを用いて,スパイクニューラルネットワーク(SNN)の教師あり学習を行う新しい手法を提案する。 SNNは1つまたは複数のパターンを認識するように訓練され、ネットワークのパフォーマンスを測定するためにパフォーマンスメトリクスが抽出される。 空間パターンを検出するためのSNNの訓練方法は、静的画像のパターン認識やコンピュータネットワークのトラフィック解析に応用できる。
  論文  参考訳（メタデータ） (2023-12-05T10:53:31Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Robust Generalization of Quadratic Neural Networks via Function Identification [19.87036824512198]
  一般化は、テスト分布がトレーニング分布に近いと仮定することが多い。 2次ニューラルネットワークでは、パラメータを特定できないにもかかわらず、モデルで表される関数を識別できることが示される。
  論文  参考訳（メタデータ） (2021-09-22T18:02:00Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
  本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。 まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。 第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
  論文  参考訳（メタデータ） (2020-09-10T17:59:10Z)
• The Projected Belief Network Classfier : both Generative and Discriminative [13.554038901140949]
  射影信頼ネットワーク (PBN) は、抽出可能な可能性関数を持つ層状生成ネットワークである。 本稿では,完全識別性と完全生成性を有する畳み込み型PBNを構築した。
  論文  参考訳（メタデータ） (2020-08-14T16:00:54Z)
• Generative Adversarial Phonology: Modeling unsupervised phonetic and phonological learning with neural networks [0.0]
  音声データにおけるよく理解された依存関係に基づくディープニューラルネットワークのトレーニングは、内部表現の学習方法に関する新たな洞察を提供することができる。 本稿では, 音声の獲得を, 生成適応型ネットワークアーキテクチャにおけるランダム空間と生成した音声データ間の依存性としてモデル化することができることを論じる。 本稿では,音韻的・音韻的特性に対応するネットワークの内部表現を明らかにする手法を提案する。
  論文  参考訳（メタデータ） (2020-06-06T20:31:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。