論文の概要: Maelstrom Networks

• arxiv url: http://arxiv.org/abs/2408.16632v1
• Date: Thu, 29 Aug 2024 15:39:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 13:12:46.444223
• Title: Maelstrom Networks
• Title（参考訳）: Maelstrom Networks
• Authors: Matthew Evanusa, Cornelia Fermüller, Yiannis Aloimonos,
• Abstract要約: 我々は、リカレントネットワークの強度とフィードフォワードニューラルネットワークのパターンマッチング機能を組み合わせた代替パラダイムを提供する。 これにより、ネットワークをアンロールすることなくフィードフォワードトレーニングの強みを活用することができる。 それは、データが時間領域内で因果的に整理される誘導バイアスを利用するシーケンシャルメモリを備えたニューラルネットワークを提供する。
• 参考スコア（独自算出の注目度）: 19.33916380545711
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Artificial Neural Networks has struggled to devise a way to incorporate working memory into neural networks. While the ``long term'' memory can be seen as the learned weights, the working memory consists likely more of dynamical activity, that is missing from feed-forward models. Current state of the art models such as transformers tend to ``solve'' this by ignoring working memory entirely and simply process the sequence as an entire piece of data; however this means the network cannot process the sequence in an online fashion, and leads to an immense explosion in memory requirements. Here, inspired by a combination of controls, reservoir computing, deep learning, and recurrent neural networks, we offer an alternative paradigm that combines the strength of recurrent networks, with the pattern matching capability of feed-forward neural networks, which we call the \textit{Maelstrom Networks} paradigm. This paradigm leaves the recurrent component - the \textit{Maelstrom} - unlearned, and offloads the learning to a powerful feed-forward network. This allows the network to leverage the strength of feed-forward training without unrolling the network, and allows for the memory to be implemented in new neuromorphic hardware. It endows a neural network with a sequential memory that takes advantage of the inductive bias that data is organized causally in the temporal domain, and imbues the network with a state that represents the agent's ``self'', moving through the environment. This could also lead the way to continual learning, with the network modularized and ``'protected'' from overwrites that come with new data. In addition to aiding in solving these performance problems that plague current non-temporal deep networks, this also could finally lead towards endowing artificial networks with a sense of ``self''.
• Abstract（参考訳）: 人工ニューラルネットワークは、ワーキングメモリをニューラルネットワークに組み込む方法の開発に苦労している。 `long term' のメモリは学習した重みと見なすことができるが、ワーキングメモリはおそらく、フィードフォワードモデルに欠けている動的なアクティビティで構成されている。 トランスフォーマーのような現在の最先端モデルは、作業メモリを完全に無視し、単にデータ全体としてシーケンスを処理することで、これを「解決」する傾向がある。 ここでは、制御、貯水池コンピューティング、ディープラーニング、リカレントニューラルネットワークの組み合わせにインスパイアされた、リカレントネットワークの強みとフィードフォワードニューラルネットワークのパターンマッチング機能を組み合わせた代替パラダイムを提供し、これを \textit{Maelstrom Networks} パラダイムと呼ぶ。 このパラダイムは、リカレントコンポーネントである‘textit{Maelstrom}’を未学習にし、学習を強力なフィードフォワードネットワークにオフロードする。 これにより、ネットワークをアンロールすることなくフィードフォワードトレーニングの強度を活用し、新しいニューロモーフィックハードウェアでメモリを実装できる。 それは、データが時間領域内で因果的に組織される誘導バイアスを生かしたシーケンシャルメモリを備えたニューラルネットワークを提供し、エージェントの‘self’を表す状態をネットワークに付与し、環境を移動させる。 これはまた、ネットワークがモジュール化され、新しいデータを持つオーバーライトから‘`'保護’される、継続的な学習の道につながる可能性がある。 現在の非時間的ディープネットワークを悩ませているこれらのパフォーマンス問題の解決を支援することに加えて、最終的には‘self’という感覚を持つ人工ネットワークの実現にも繋がる可能性がある。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Message Passing Variational Autoregressive Network for Solving Intractable Ising Models [6.261096199903392]
  自己回帰型ニューラルネットワーク、畳み込み型ニューラルネットワーク、リカレントニューラルネットワーク、グラフニューラルネットワークなど、多くのディープニューラルネットワークがIsingモデルの解決に使用されている。 本稿では、スピン変数間の相互作用を効果的に活用できるメッセージパッシング機構を備えた変分自己回帰アーキテクチャを提案する。 新しいネットワークは、アニーリングフレームワークの下で訓練され、いくつかの原型スピンハミルトニアンの解法、特に低温での大きなスピン系において、既存の方法よりも優れている。
  論文  参考訳（メタデータ） (2024-04-09T11:27:07Z)
• Expanding memory in recurrent spiking networks [2.8237889121096034]
  リカレントスパイキングニューラルネットワーク(RSNN)は、スパイクのバイナリの性質によって強化される、消失する勾配問題のために訓練が難しいことで知られている。 我々はこれらの制限を回避する新しいスパイクニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-10-29T16:46:26Z)
• Spike-based computation using classical recurrent neural networks [1.9171404264679484]
  スパイキングニューラルネットワーク(英: Spiking Neural Network)は、ニューロン間の通信が、スパイクと呼ばれるイベントのみによって構成される人工ニューラルネットワークである。 我々は、よく知られた、訓練が容易なリカレントニューラルネットワークのダイナミクスを変更して、イベントベースにする。 この新ネットワークは,MNISTベンチマークにおいて,他の種類のスパイクネットワークに匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-06T12:19:12Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Memory via Temporal Delays in weightless Spiking Neural Network [0.08399688944263842]
  簡単な分類作業を行うことができる無重量スパイクニューラルネットワークのプロトタイプを提案する。 このネットワークのメモリは、接続の強さではなく、ニューロン間のタイミングに格納される。
  論文  参考訳（メタデータ） (2022-02-15T02:09:33Z)
• Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
  我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。 このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。 我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2021-03-05T08:45:43Z)
• Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning [0.0]
  本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。 繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。 シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
  論文  参考訳（メタデータ） (2020-10-20T18:55:32Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
  本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。 本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
  論文  参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。