論文の概要: Deep Phasor Networks: Connecting Conventional and Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2106.11908v1
• Date: Tue, 15 Jun 2021 21:37:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-27 09:06:38.140561
• Title: Deep Phasor Networks: Connecting Conventional and Spiking Neural Networks
• Title（参考訳）: Deep Phasor Networks: 従来のニューラルネットワークとスパイクニューラルネットワークの接続
• Authors: Wilkie Olin-Ammentorp, Maxim Bazhenov
• Abstract要約: 我々は、ニューロンの活性化が単位円上に横たわっている複素数の角度に対応するという仮定に基づいて、標準的なニューラルネットワークを拡張する。 このようなネットワークの各層は、前の層の位相を重み付けして新しい位相値を計算することにより、新しい活性化を生成する。 我々は,標準的な深層学習課題におけるファサーネットワークの時間的訓練を実演し,それらのネットワークを従来の時間的ドメインで実行したり,変換ステップを必要とせずに時間的ドメインをスパイクしたりすることができることを示す。
• 参考スコア（独自算出の注目度）: 3.616948583169635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we extend standard neural networks by building upon an assumption that neuronal activations correspond to the angle of a complex number lying on the unit circle, or 'phasor.' Each layer in such a network produces new activations by taking a weighted superposition of the previous layer's phases and calculating the new phase value. This generalized architecture allows models to reach high accuracy and carries the singular advantage that mathematically equivalent versions of the network can be executed with or without regard to a temporal variable. Importantly, the value of a phase angle in the temporal domain can be sparsely represented by a periodically repeating series of delta functions or 'spikes'. We demonstrate the atemporal training of a phasor network on standard deep learning tasks and show that these networks can then be executed in either the traditional atemporal domain or spiking temporal domain with no conversion step needed. This provides a novel basis for constructing deep networkswhich operate via temporal, spike-based calculations suitable for neuromorphic computing hardware.
• Abstract（参考訳）: 本研究では,ニューロンの活性化が単位円上に横たわっている複素数の角度に対応するという仮定に基づいて,標準的なニューラルネットワークを拡張する。 このようなネットワークの各層は、前の層の位相を重み付けして新しい位相値を計算することにより、新しい活性化を生成する。 この一般化されたアーキテクチャにより、モデルは高い精度に到達でき、時間変数の有無に関わらず、数学的に等価なバージョンのネットワークを実行できるという特異な利点を持つ。 重要なことに、時間領域における位相角の値は、周期的に繰り返されるデルタ関数や「スパイク」によってスパース的に表現することができる。 我々は,標準的な深層学習課題におけるファサーネットワークの時間的訓練を実演し,それらのネットワークを従来の時間的ドメインで実行したり,変換ステップを必要とせずに時間的ドメインをスパイクしたりすることができることを示す。 これはニューロモルフィックコンピューティングハードウェアに適した時間的スパイクベースの計算によって動作するディープネットワークを構築するための新しい基盤を提供する。

関連論文リスト

• Image segmentation with traveling waves in an exactly solvable recurrent neural network [71.74150501418039]
  繰り返しニューラルネットワークは、シーンの構造特性に応じて、画像をグループに効果的に分割できることを示す。 本稿では,このネットワークにおけるオブジェクトセグメンテーションのメカニズムを正確に記述する。 次に、グレースケール画像中の単純な幾何学的対象から自然画像まで、入力をまたいで一般化するオブジェクトセグメンテーションの簡単なアルゴリズムを実証する。
  論文  参考訳（メタデータ） (2023-11-28T16:46:44Z)
• From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks [68.8204255655161]
  本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。 損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-05T13:26:17Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Scalable Spatiotemporal Graph Neural Networks [14.415967477487692]
  グラフニューラルネットワーク(GNN)は、しばしば予測アーキテクチャのコアコンポーネントである。 ほとんどの時間前GNNでは、計算複雑性はグラフ内のリンクの回数のシーケンスの長さの2乗係数までスケールする。 本稿では,時間的・空間的両方のダイナミックスを効率的に符号化するスケーラブルなアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-09-14T09:47:38Z)
• Neural Network based on Automatic Differentiation Transformation of Numeric Iterate-to-Fixedpoint [1.1897857181479061]
  本研究では,反復固定点演算子を用いて深度を制御できるニューラルネットワークモデルを提案する。 既存のスキップ接続の概念とは対照的に,提案手法では,情報をネットワーク上で上下に流すことができる。 我々は,この機構を長期依存タスクに応用したモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-10-30T20:34:21Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Rethinking FUN: Frequency-Domain Utilization Networks [21.10493050675827]
  本稿では、新しい周波数領域利用ネットワークのファミリーであるFUNを紹介する。 これらのネットワークは、その領域で直接作業することで周波数領域の固有効率を利用する。 周波数領域での動作は、アーキテクチャに明示的な変更を加えることなく、推論時に入力を動的に圧縮できることを示す。
  論文  参考訳（メタデータ） (2020-12-06T19:16:37Z)
• Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning [0.0]
  本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。 繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。 シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
  論文  参考訳（メタデータ） (2020-10-20T18:55:32Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
  本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。 より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
  論文  参考訳（メタデータ） (2020-03-23T10:29:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。