論文の概要: Deep Neural Networks using a Single Neuron: Folded-in-Time Architecture
using Feedback-Modulated Delay Loops
- arxiv url: http://arxiv.org/abs/2011.10115v2
- Date: Sun, 6 Jun 2021 13:37:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-23 20:14:27.211496
- Title: Deep Neural Networks using a Single Neuron: Folded-in-Time Architecture
using Feedback-Modulated Delay Loops
- Title（参考訳）: 単一ニューロンを用いたディープニューラルネットワーク:フィードバック変調遅延ループを用いたフォールドインタイムアーキテクチャ
- Authors: Florian Stelzer (1, 2 and 4), Andr\'e R\"ohm (3), Raul Vicente (4),
Ingo Fischer (3), Serhiy Yanchuk (1) ((1) Institute of Mathematics,
Technische Universit\"at Berlin, Germany, (2) Department of Mathematics,
Humboldt-Universit\"at zu Berlin, Germany, (3) Instituto de F\'isica
Interdisciplinar y Sistemas Complejos, IFISC (UIB-CSIC), Spain, (4) Institute
of Computer Science, University of Tartu, Estonia)
- Abstract要約: 本稿では、任意の大きさのディープニューラルネットワークを、複数の時間遅延フィードバックループを持つ単一ニューロンに折り畳む方法を提案する。
本発明の単一ニューロン深部ニューラルネットワークは、単一の非線形性のみを含み、フィードバック信号の調整を適切に調整する。
Folded-in-time DNN(Fit-DNN)と呼ばれる新しい手法は、ベンチマークタスクのセットで有望な性能を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks are among the most widely applied machine learning tools
showing outstanding performance in a broad range of tasks. We present a method
for folding a deep neural network of arbitrary size into a single neuron with
multiple time-delayed feedback loops. This single-neuron deep neural network
comprises only a single nonlinearity and appropriately adjusted modulations of
the feedback signals. The network states emerge in time as a temporal unfolding
of the neuron's dynamics. By adjusting the feedback-modulation within the
loops, we adapt the network's connection weights. These connection weights are
determined via a back-propagation algorithm, where both the delay-induced and
local network connections must be taken into account. Our approach can fully
represent standard Deep Neural Networks (DNN), encompasses sparse DNNs, and
extends the DNN concept toward dynamical systems implementations. The new
method, which we call Folded-in-time DNN (Fit-DNN), exhibits promising
performance in a set of benchmark tasks.
- Abstract（参考訳）: ディープニューラルネットワークは、幅広いタスクにおいて優れたパフォーマンスを示す最も広く使われている機械学習ツールの一つである。
本稿では,任意の大きさの深層ニューラルネットワークを,複数の時間遅延フィードバックループを持つ単一ニューロンに折り畳む手法を提案する。
この単一神経深層ニューラルネットワークは、単一の非線形性のみと、フィードバック信号の適切に調整された変調とからなる。
ネットワーク状態は、ニューロンのダイナミクスの時間的展開として時間内に現れる。
ループ内のフィードバック変調を調整することで、ネットワークの接続重みに適応する。
これらの接続重みは、遅延によるネットワーク接続とローカルネットワーク接続の両方を考慮したバックプロパゲーションアルゴリズムによって決定される。
我々のアプローチは、標準のディープニューラルネットワーク(DNN)を完全に表現し、スパースDNNを包含し、動的システムの実装に向けてDNNの概念を拡張します。
Folded-in-time DNN(Fit-DNN)と呼ばれる新しい手法は、ベンチマークタスクのセットで有望な性能を示す。
関連論文リスト
- Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。
深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
論文 参考訳（メタデータ） (2023-06-22T04:25:27Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Deep Convolutional Learning-Aided Detector for Generalized Frequency
Division Multiplexing with Index Modulation [0.0]
提案手法は、まずゼロフォース検出器(ZF)を用いて受信信号を前処理し、その後、畳み込みニューラルネットワーク(CNN)と完全連結ニューラルネットワーク(FCNN)からなるニューラルネットワークを用いる。
FCNN部は2つの完全に接続された層しか使用せず、複雑さとBER(bit error rate)パフォーマンスのトレードオフをもたらすことができる。
提案したディープ畳み込みニューラルネットワークに基づく検出・復調方式は,ZF検出器よりも高いBER性能を示し,複雑性が増大することが実証されている。
論文 参考訳（メタデータ） (2022-02-06T22:18:42Z) - Neural Piecewise-Constant Delay Differential Equations [17.55759866368141]
本稿では,PCDDE(Neural Piecewise-Constant Delay Differential Equations)と呼ばれる,新しい連続深度ニューラルネットワークを紹介する。
ニューラルネットワークPCDDEは,1次元の離散遅延人口動態と実世界のデータセットにおいて,既存の連続深度ニューラルネットワークフレームワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-01-04T03:44:15Z) - Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。
我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
論文 参考訳（メタデータ） (2021-06-15T09:03:28Z) - Deep Kronecker neural networks: A general framework for neural networks
with adaptive activation functions [4.932130498861987]
我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。
適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
論文 参考訳（メタデータ） (2021-05-20T04:54:57Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。