論文の概要: A modularity comparison of Long Short-Term Memory and Morphognosis neural networks

• arxiv url: http://arxiv.org/abs/2104.11410v1
• Date: Fri, 23 Apr 2021 04:22:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 12:56:34.858536
• Title: A modularity comparison of Long Short-Term Memory and Morphognosis neural networks
• Title（参考訳）: 長期記憶と形態認識ニューラルネットのモジュール性比較
• Authors: Thomas E. Portegys
• Abstract要約: 本研究では,2つのニューラルネットワークアーキテクチャのモジュール性性能を比較する。long short-term memory (lstm) recurrent networkと,空間的および時間的コンテキストの階層に基づくmorphognosisである。 迷路は性能を測定するために使用され、独立して学習した迷路を利用してそれらの迷路を解く能力として定義される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study compares the modularity performance of two artificial neural network architectures: a Long Short-Term Memory (LSTM) recurrent network, and Morphognosis, a neural network based on a hierarchy of spatial and temporal contexts. Mazes are used to measure performance, defined as the ability to utilize independently learned mazes to solve mazes composed of them. A maze is a sequence of rooms connected by doors. The modular task is implemented as follows: at the beginning of the maze, an initial door choice forms a context that must be retained until the end of an intervening maze, where the same door must be chosen again to reach the goal. For testing, the door-association mazes and separately trained intervening mazes are presented together for the first time. While both neural networks perform well during training, the testing performance of Morphognosis is significantly better than LSTM on this modular task.
• Abstract（参考訳）: 本研究では,2つのニューラルネットワークアーキテクチャのモジュール性性能を比較する。long short-term memory (lstm) recurrent networkと,空間的および時間的コンテキストの階層に基づくmorphognosisである。 mazeは、独立した学習されたmazeを使用して、それらで構成されるmazeを解決する能力として定義される、パフォーマンスを測定するために使用される。 迷路はドアで繋がれた部屋の列である。 モジュラータスクは次のように実行されます: mazeの開始時に、最初のドア選択は、目標に到達するために同じドアを再度選択しなければならない、中間の迷路の終わりまで保持されなければならないコンテキストを形成します。 試験では、初めて、ドア連想迷路と別々に訓練されたインターベンティング迷路が提示される。 どちらのニューラルネットワークもトレーニング中は良好に動作しますが、Morphognosisのテスト性能は、このモジュラータスクにおけるLSTMよりも大幅に向上します。

関連論文リスト

• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
  LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。 ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。 本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
  論文  参考訳（メタデータ） (2023-01-17T20:52:48Z)
• Selective Memory Recursive Least Squares: Recast Forgetting into Memory in RBF Neural Network Based Real-Time Learning [2.31120983784623]
  放射ベース関数ニューラルネットワーク(RBFNN)に基づくリアルタイム学習タスクでは、忘れるメカニズムが広く使用されている。 本稿では,従来の記憶機構を記憶機構に再キャストする選択記憶再帰最小二乗法(SMRLS)を提案する。 SMRLSでは、RBFNNの入力空間を有限個の分割に均等に分割し、各分割から合成されたサンプルを用いて合成目的関数を開発する。
  論文  参考訳（メタデータ） (2022-11-15T05:29:58Z)
• GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
  アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。 これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。 我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-07-18T06:01:29Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
  本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
  論文  参考訳（メタデータ） (2022-01-03T02:32:06Z)
• SITHCon: A neural network robust to variations in input scaling on the time dimension [0.0]
  機械学習では、畳み込みニューラルネットワーク(CNN)はコンピュータビジョンと時間とともに拡張されたパターンの認識の両方に非常に影響を与えている。 本稿では,対数的に分散した時間メモリを用いたSITHCon(Scale-Invariant Temporal History Convolution Network)を提案する。
  論文  参考訳（メタデータ） (2021-07-09T18:11:50Z)
• Mapping the Timescale Organization of Neural Language Models [0.0]
  語レベルのLSTM言語モデル内に個々の単位の「処理時間スケール」をマッピングするために,神経科学で開発されたツールを適用した。 このマッピングでは、長い時間スケールと以前は探索されていなかった機能を持つネットワークの小さなサブセットが明らかになった。 制御器」ユニットは密接な相互接続されたサブネットワークを構成し、ネットワークの他の部分へ強く投影され、一方「積分器」ユニットはネットワーク内で最も長い時間スケールを示した。
  論文  参考訳（メタデータ） (2020-12-12T03:52:15Z)
• Continuous Ant-Based Neural Topology Search [62.200941836913586]
  この研究は、アリコロニー最適化に基づく、自然に着想を得たニューラルアーキテクチャサーチ(NAS)アルゴリズムを導入している。 連続アントベースのニューラルトポロジーサーチ(CANTS)は、アリが現実世界でどのように動くかに強く影響を受けている。
  論文  参考訳（メタデータ） (2020-11-21T17:49:44Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Learning Various Length Dependence by Dual Recurrent Neural Networks [0.0]
  デュアルリカレントニューラルネットワーク(DuRNN)という新しいモデルを提案する。 DuRNNは短期依存を学習し、長期依存を徐々に学習する2つの部分から構成される。 コントリビューションは,1)長期的・短期的依存を個別に学習するための分割・並行的戦略に基づく新たな再帰モデル,2)異なる時間的依存尺度の分離・学習を促進するための選択メカニズムである。
  論文  参考訳（メタデータ） (2020-05-28T09:30:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。