論文の概要: FastONN -- Python based open-source GPU implementation for Operational Neural Networks

• arxiv url: http://arxiv.org/abs/2006.02267v1
• Date: Wed, 3 Jun 2020 13:33:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 17:19:50.940715
• Title: FastONN -- Python based open-source GPU implementation for Operational Neural Networks
• Title（参考訳）: FastONN -- PythonベースのオペレーショナルニューラルネットワークのためのオープンソースGPU実装
• Authors: Junaid Malik, Serkan Kiranyaz and Moncef Gabbouj
• Abstract要約: この作業では、オペレーショナルニューラルネットワークをトレーニングするための高速GPU対応ライブラリであるFastONNが導入されている。 FastONNは、オペレーショナルニューロンの新しいベクトル化された定式化に基づいている。 バンドルされた補助モジュールは、さまざまなデータパーティションとカスタマイズされたメトリクスにわたるパフォーマンストラッキングとチェックポイントのためのインターフェースを提供する。
• 参考スコア（独自算出の注目度）: 25.838282412957675
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Operational Neural Networks (ONNs) have recently been proposed as a special class of artificial neural networks for grid structured data. They enable heterogenous non-linear operations to generalize the widely adopted convolution-based neuron model. This work introduces a fast GPU-enabled library for training operational neural networks, FastONN, which is based on a novel vectorized formulation of the operational neurons. Leveraging on automatic reverse-mode differentiation for backpropagation, FastONN enables increased flexibility with the incorporation of new operator sets and customized gradient flows. Additionally, bundled auxiliary modules offer interfaces for performance tracking and checkpointing across different data partitions and customized metrics.
• Abstract（参考訳）: グリッド構造化データのためのニューラルネットワークの特殊クラスとして、運用ニューラルネットワーク(onns)が最近提案されている。 これにより、異種非線型操作により、広く採用されている畳み込みベースのニューロンモデルを一般化することができる。 この研究は、オペレーショナルニューラルネットワークをトレーニングするための高速GPU対応ライブラリであるFastONNを導入し、オペレーショナルニューロンの新しいベクトル化された定式化に基づいている。 バックプロパゲーションのための自動リバースモード微分を利用すると、FastONNは新しい演算子セットとカスタマイズされた勾配フローを組み込むことで柔軟性を向上させることができる。 さらに、バンドルされた補助モジュールは、さまざまなデータパーティションとカスタマイズされたメトリクスのパフォーマンストラッキングとチェックポイントのためのインターフェースを提供する。

関連論文リスト

• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Neural Network Structure Design based on N-Gauss Activation Function [0.2578242050187029]
  我々は、MNIST、CIFAR10、CIFAR100を訓練するために、コアブロックN-Gauss、N-Gauss、Swishニューラルネットワーク構造設計を導入する。 N-Gaussは、深い畳み込みニューラルネットワークが階層的な非線形マッピング学習能力を持つように、活性化関数の非線形モデリングの主要な役割を果たす。
  論文  参考訳（メタデータ） (2021-06-01T11:16:37Z)
• Contextual HyperNetworks for Novel Feature Adaptation [43.49619456740745]
  Contextual HyperNetwork(CHN)は、ベースモデルを新機能に拡張するためのパラメータを生成する。 予測時、CHNはニューラルネットワークを通る単一のフォワードパスのみを必要とし、大幅なスピードアップをもたらす。 本システムでは,既存のインプテーションやメタラーニングベースラインよりも,新しい特徴のマイズショット学習性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-04-12T23:19:49Z)
• Delay Differential Neural Networks [0.2538209532048866]
  遅延微分方程式 (DDE) に触発された新しいモデル, 遅延微分ニューラルネットワーク (DDNN) を提案する。 ddnnのトレーニングには,ネットワーク上での勾配計算とバックプロパゲーションを行うためのメモリ効率の良い随伴法を提案する。 Cifar10やCifar100のような合成および実世界の画像分類データセットで行った実験は、提案モデルの有効性を示した。
  論文  参考訳（メタデータ） (2020-12-12T12:20:54Z)
• Deep Neural Networks using a Single Neuron: Folded-in-Time Architecture using Feedback-Modulated Delay Loops [0.0]
  本稿では、任意の大きさのディープニューラルネットワークを、複数の時間遅延フィードバックループを持つ単一ニューロンに折り畳む方法を提案する。 本発明の単一ニューロン深部ニューラルネットワークは、単一の非線形性のみを含み、フィードバック信号の調整を適切に調整する。 Folded-in-time DNN(Fit-DNN)と呼ばれる新しい手法は、ベンチマークタスクのセットで有望な性能を示す。
  論文  参考訳（メタデータ） (2020-11-19T21:45:58Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。