論文の概要: A journey in ESN and LSTM visualisations on a language task

• arxiv url: http://arxiv.org/abs/2012.01748v2
• Date: Sun, 13 Dec 2020 16:06:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-22 05:46:26.404804
• Title: A journey in ESN and LSTM visualisations on a language task
• Title（参考訳）: 言語課題におけるESNとLSTM可視化の旅
• Authors: Alexandre Variengien and Xavier Hinaut
• Abstract要約: 我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。 その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
• 参考スコア（独自算出の注目度）: 77.34726150561087
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Echo States Networks (ESN) and Long-Short Term Memory networks (LSTM) are two popular architectures of Recurrent Neural Networks (RNN) to solve machine learning task involving sequential data. However, little have been done to compare their performances and their internal mechanisms on a common task. In this work, we trained ESNs and LSTMs on a Cross-Situationnal Learning (CSL) task. This task aims at modelling how infants learn language: they create associations between words and visual stimuli in order to extract meaning from words and sentences. The results are of three kinds: performance comparison, internal dynamics analyses and visualization of latent space. (1) We found that both models were able to successfully learn the task: the LSTM reached the lowest error for the basic corpus, but the ESN was quicker to train. Furthermore, the ESN was able to outperform LSTMs on datasets more challenging without any further tuning needed. (2) We also conducted an analysis of the internal units activations of LSTMs and ESNs. Despite the deep differences between both models (trained or fixed internal weights), we were able to uncover similar inner mechanisms: both put emphasis on the units encoding aspects of the sentence structure. (3) Moreover, we present Recurrent States Space Visualisations (RSSviz), a method to visualize the structure of latent state space of RNNs, based on dimension reduction (using UMAP). This technique enables us to observe a fractal embedding of sequences in the LSTM. RSSviz is also useful for the analysis of ESNs (i) to spot difficult examples and (ii) to generate animated plots showing the evolution of activations across learning stages. Finally, we explore qualitatively how the RSSviz could provide an intuitive visualisation to understand the influence of hyperparameters on the reservoir dynamics prior to ESN training.
• Abstract（参考訳）: Echo States Networks(ESN)とLong-Short Term Memory Network(LSTM)は、逐次データを含む機械学習タスクを解決するために、リカレントニューラルネットワーク(RNN)の2つの一般的なアーキテクチャである。 しかし、それらの性能と内部メカニズムを共通のタスクで比較する試みはほとんど行われていない。 本研究では,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。 この課題は、幼児が言語を学ぶ方法のモデル化を目的としており、単語と文から意味を抽出するために、単語と視覚刺激の関連性を作成する。 その結果,性能比較,内部力学解析,潜在空間の可視化の3種類が得られた。 1)両モデルともタスクの学習に成功し,lstmは基本コーパスの誤りが最も低い値に達したが,esnはより高速に学習できた。 さらに、ESNは、さらなるチューニングを必要とせずに、データセット上のLSTMよりも高いパフォーマンスを実現した。 2)LSTMとESNの内部単位活性化の解析も行った。 両方のモデル(訓練された内重みと固定された内重み)の深い違いにもかかわらず、我々は同様の内部メカニズムを明らかにすることができた。 さらに,RNNの潜在状態空間の構造を次元減少(UMAP)に基づいて可視化する手法であるRecurrent States Space Visualisations (RSSviz)を提案する。 この手法により,LSTM内の配列のフラクタル埋め込みを観察できる。 RSSvizはESNの分析にも有用である (i)難しい例を見つけること、及び (ii)学習段階におけるアクティベーションの進化を示すアニメーションプロットを生成する。 最後に,esnトレーニング前にハイパーパラメータが貯水池ダイナミクスに与える影響を理解するために,rssvizが直感的な可視化を提供する方法を定性的に検討する。

関連論文リスト

• Context Gating in Spiking Neural Networks: Achieving Lifelong Learning through Integration of Local and Global Plasticity [20.589970453110208]
  ヒトは前頭前皮質(PFC)の文脈ゲーティング機構を通じて、最小の相互干渉で連続して複数のタスクを学習する 本研究では,生涯学習のための局所可塑性規則(CG-SNN)によって訓練された文脈ゲーティングを用いたSNNを提案する。 実験により,提案モデルは過去の学習経験を維持する上で有効であり,生涯学習における他の方法よりも優れたタスク選択性を有することが示された。
  論文  参考訳（メタデータ） (2024-06-04T01:35:35Z)
• Disentangling Structured Components: Towards Adaptive, Interpretable and Scalable Time Series Forecasting [52.47493322446537]
  本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。 SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。 SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
  論文  参考訳（メタデータ） (2023-05-22T13:39:44Z)
• Towards Energy-Efficient, Low-Latency and Accurate Spiking LSTMs [1.7969777786551424]
  Spiking Neural Networks(SNN)は、複雑なタスクのための魅力的なテンポラルコンピューティングパラダイムビジョンとして登場した。 そこで本研究では,新規な長期記憶ネットワーク(LSTM)の学習フレームワークを提案する。 rev-to-SNN変換フレームワーク、続いてSNNトレーニング。 我々は、時間的M、Google Speech Commands(GSC)データセット、異なるLSTMアーキテクチャ上のUCIスマートフォンなど、逐次学習タスクに関するフレームワークを評価した。
  論文  参考訳（メタデータ） (2022-10-23T04:10:27Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Sign Language Recognition via Skeleton-Aware Multi-Model Ensemble [71.97020373520922]
  手話は一般的に、聴覚障害者やミュート人がコミュニケーションするために使われる。 孤立手話認識(SLR)のためのGlobal Ensemble Model(GEM)を用いた新しいマルチモーダルフレームワークを提案する。 提案するSAM-SLR-v2 フレームワークは極めて有効であり,最先端の性能を高いマージンで達成している。
  論文  参考訳（メタデータ） (2021-10-12T16:57:18Z)
• Estimating Reproducible Functional Networks Associated with Task Dynamics using Unsupervised LSTMs [4.697267141773321]
  長期メモリ(LSTM)を用いた反復ニューラルネットワークを用いたタスクアクティビティに関連するより再現性の高い機能的ネットワーク推定手法を提案する。 LSTMモデルは、興味のある領域における機能的磁気共鳴画像(fMRI)時系列データを生成するために、教師なしの方法で訓練される。 LSTMモデルにより学習された機能的ネットワークは,他の手法と比較して,タスクのアクティビティやダイナミクスに強く関連していることを示す。
  論文  参考訳（メタデータ） (2021-05-06T17:53:22Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Evaluating the Effectiveness of Efficient Neural Architecture Search for Sentence-Pair Tasks [14.963150544536203]
  ニューラルアーキテクチャサーチ(NAS)手法は、最近、様々な自然言語処理やコンピュータビジョンタスクにおいて、競争または最先端(SOTA)のパフォーマンスを達成した。 本研究では,SOTANASアルゴリズム(Efficient Neural Architecture Search, ENAS)の2つの文対タスクへの適用性について検討する。
  論文  参考訳（メタデータ） (2020-10-08T20:26:34Z)
• Object Tracking through Residual and Dense LSTMs [67.98948222599849]
  LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。 DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。 ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
  論文  参考訳（メタデータ） (2020-06-22T08:20:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。