論文の概要: Automatic Synthesis of Neurons for Recurrent Neural Nets

• arxiv url: http://arxiv.org/abs/2207.03577v1
• Date: Wed, 29 Jun 2022 06:35:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-17 16:17:04.464754
• Title: Automatic Synthesis of Neurons for Recurrent Neural Nets
• Title（参考訳）: リカレントニューラルネットワークのためのニューロンの自動合成
• Authors: Roland Olsson, Chau Tran and Lars Magnusson
• Abstract要約: 我々は、LSTMニューロンを慎重に最適化して達成したニューロンよりも最大3倍低いテストデータに対して、クロスエントロピーを与える新しい種類のARNを提示する。 新しいニューロンは自動プログラミングを使用して生成され、簡単に変換できる純粋機能プログラムとして定式化される。
• 参考スコア（独自算出の注目度）: 3.1434366603212127
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present a new class of neurons, ARNs, which give a cross entropy on test data that is up to three times lower than the one achieved by carefully optimized LSTM neurons. The explanations for the huge improvements that often are achieved are elaborate skip connections through time, up to four internal memory states per neuron and a number of novel activation functions including small quadratic forms. The new neurons were generated using automatic programming and are formulated as pure functional programs that easily can be transformed. We present experimental results for eight datasets and found excellent improvements for seven of them, but LSTM remained the best for one dataset. The results are so promising that automatic programming to generate new neurons should become part of the standard operating procedure for any machine learning practitioner who works on time series data such as sensor signals.
• Abstract（参考訳）: 我々は、LSTMニューロンを慎重に最適化して達成したニューロンよりも最大3倍低いテストデータに対して、クロスエントロピーを与える新しい種類のARNを提示する。 しばしば達成される大きな改善の説明は、時間を通しての巧妙なスキップ接続、ニューロン毎の4つの内部記憶状態、および小さな二次形式を含む多くの新しい活性化機能である。 新しいニューロンは自動プログラミングを使用して生成され、簡単に変換できる純粋機能プログラムとして定式化される。 8つのデータセットに対して実験結果を示し、7つのデータセットに対して優れた改善が得られた。 結果は、新しいニューロンを生成するための自動プログラミングが、センサー信号などの時系列データを扱う機械学習実践者にとって、標準的な操作手順の一部となることを約束している。

関連論文リスト

• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
  ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。 本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
  論文  参考訳（メタデータ） (2023-10-25T20:34:08Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Efficient Neuromorphic Signal Processing with Loihi 2 [6.32784133039548]
  本稿では, 短時間フーリエ変換(STFT)を従来のSTFTの47倍の出力帯域幅で計算する方法を示す。 また、音声分類タスクのためのRFニューロンのトレーニングのためのバックプロパゲーションを用いた有望な予備結果を示す。
  論文  参考訳（メタデータ） (2021-11-05T22:37:05Z)
• Oscillatory Fourier Neural Network: A Compact and Efficient Architecture for Sequential Processing [16.69710555668727]
  本稿では,コサイン活性化と時系列処理のための時間変化成分を有する新しいニューロンモデルを提案する。 提案したニューロンは、スペクトル領域に逐次入力を投影するための効率的なビルディングブロックを提供する。 IMDBデータセットの感情分析に提案されたモデルを適用すると、5時間以内のテスト精度は89.4%に達する。
  論文  参考訳（メタデータ） (2021-09-14T19:08:07Z)
• Spiking Neural Networks with Improved Inherent Recurrence Dynamics for Sequential Learning [6.417011237981518]
  漏れた統合と発火(LIF)ニューロンを持つニューラルネットワーク(SNN)は、イベント駆動方式で操作できる。 我々は,SNNを逐次的なタスクのために訓練し,LIFニューロンのネットワークへの修正を提案する。 そこで我々は,提案するSNNのトレーニング手法を開発し,本質的な再帰ダイナミクスを改良した。
  論文  参考訳（メタデータ） (2021-09-04T17:13:28Z)
• Neuroevolution of a Recurrent Neural Network for Spatial and Working Memory in a Simulated Robotic Environment [57.91534223695695]
  我々は,ラットで観察される行動と神経活動を再現する進化的アルゴリズムを用いて,生物学的に有意なリカレントニューラルネットワーク(RNN)でウェイトを進化させた。 提案手法は, 進化したRNNの動的活動が, 興味深く複雑な認知行動をどのように捉えているかを示す。
  論文  参考訳（メタデータ） (2021-02-25T02:13:52Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。