論文の概要: Self-Organized Operational Neural Networks with Generative Neurons

• arxiv url: http://arxiv.org/abs/2004.11778v1
• Date: Fri, 24 Apr 2020 14:37:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 03:06:35.858262
• Title: Self-Organized Operational Neural Networks with Generative Neurons
• Title（参考訳）: 生成ニューロンを用いた自己組織化オペレーショナルニューラルネットワーク
• Authors: Serkan Kiranyaz, Junaid Malik, Habib Ben Abdallah, Turker Ince, Alexandros Iosifidis and Moncef Gabbouj
• Abstract要約: ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
• 参考スコア（独自算出の注目度）: 87.32169414230822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Operational Neural Networks (ONNs) have recently been proposed to address the well-known limitations and drawbacks of conventional Convolutional Neural Networks (CNNs) such as network homogeneity with the sole linear neuron model. ONNs are heterogenous networks with a generalized neuron model that can encapsulate any set of non-linear operators to boost diversity and to learn highly complex and multi-modal functions or spaces with minimal network complexity and training data. However, Greedy Iterative Search (GIS) method, which is the search method used to find optimal operators in ONNs takes many training sessions to find a single operator set per layer. This is not only computationally demanding, but the network heterogeneity is also limited since the same set of operators will then be used for all neurons in each layer. Moreover, the performance of ONNs directly depends on the operator set library used, which introduces a certain risk of performance degradation especially when the optimal operator set required for a particular task is missing from the library. In order to address these issues and achieve an ultimate heterogeneity level to boost the network diversity along with computational efficiency, in this study we propose Self-organized ONNs (Self-ONNs) with generative neurons that have the ability to adapt (optimize) the nodal operator of each connection during the training process. Therefore, Self-ONNs can have an utmost heterogeneity level required by the learning problem at hand. Moreover, this ability voids the need of having a fixed operator set library and the prior operator search within the library in order to find the best possible set of operators. We further formulate the training method to back-propagate the error through the operational layers of Self-ONNs.
• Abstract（参考訳）: オペレーショナルニューラルネットワーク(ONN)は、最近、唯一の線形ニューロンモデルによるネットワークの均一性のような、従来の畳み込みニューラルネットワーク(CNN)の既知の制限と欠点に対処するために提案されている。 ONNは、一般化されたニューロンモデルを持つ異種ネットワークであり、あらゆる非線形演算子をカプセル化して多様性を高め、ネットワークの複雑さとトレーニングデータを最小限に抑えて高度に複雑でマルチモーダルな関数や空間を学ぶことができる。 しかし、ONNの最適演算子を見つけるために使用される探索手法であるGreedy Iterative Search (GIS) 法は、複数のトレーニングセッションを要し、各層に1つの演算子集合を求める。 これは計算上要求されるだけでなく、ネットワークの不均一性も制限される。なぜなら同じオペレーターのセットが各層の全ニューロンで使用されるからである。 さらに、ONNの性能は使用する演算子セットライブラリに直接依存しており、特に特定のタスクに必要な最適演算子セットがライブラリから欠落した場合に、パフォーマンス劣化のリスクが生じる。 本研究は,これらの問題に対処し,ネットワークの多様性と計算効率を高めるために,学習過程において各接続の結節演算子を適応(最適化)できる生成ニューロンを備えた自己組織型ONN(Self-ONN)を提案する。 したがって、自己オンは、学習問題に必要となる最も不均質なレベルを持つことができる。 さらに、この機能は、最適な演算子のセットを見つけるために、固定演算子セットライブラリと事前演算子をライブラリ内で検索する必要性を無効にする。 さらに,自衛隊の運用層を通じてエラーをバックプロパゲートするためのトレーニング手法を定式化する。

関連論文リスト

• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Nonlocal Kernel Network (NKN): a Stable and Resolution-Independent Deep Neural Network [23.465930256410722]
  非ローカルカーネルネットワーク(NKN)は、ディープニューラルネットワークを特徴とする解像度独立である。 NKNは、支配方程式の学習や画像の分類など、さまざまなタスクを処理できる。
  論文  参考訳（メタデータ） (2022-01-06T19:19:35Z)
• Efficient and Robust Mixed-Integer Optimization Methods for Training Binarized Deep Neural Networks [0.07614628596146598]
  二元活性化関数と連続または整数重み付きディープニューラルネットワーク(BDNN)について検討する。 BDNNは、古典的な混合整数計画解法により、大域的最適性に解けるような、有界な重み付き混合整数線形プログラムとして再構成可能であることを示す。 トレーニング中にBDNNの堅牢性を強制するロバストモデルが初めて提示される。
  論文  参考訳（メタデータ） (2021-10-21T18:02:58Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Learning Power Control for Cellular Systems with Heterogeneous Graph Neural Network [37.060397377445504]
  電力制御ポリシには異なるPI特性とPE特性が組み合わさっており,既存のHetGNNはこれらの特性を満足していないことを示す。 We design a parameter sharing scheme for HetGNN that the learned relationship satisfed the desired properties。
  論文  参考訳（メタデータ） (2020-11-06T02:41:38Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• FastONN -- Python based open-source GPU implementation for Operational Neural Networks [25.838282412957675]
  この作業では、オペレーショナルニューラルネットワークをトレーニングするための高速GPU対応ライブラリであるFastONNが導入されている。 FastONNは、オペレーショナルニューロンの新しいベクトル化された定式化に基づいている。 バンドルされた補助モジュールは、さまざまなデータパーティションとカスタマイズされたメトリクスにわたるパフォーマンストラッキングとチェックポイントのためのインターフェースを提供する。
  論文  参考訳（メタデータ） (2020-06-03T13:33:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。