論文の概要: PAON: A New Neuron Model using Padé Approximants

• arxiv url: http://arxiv.org/abs/2403.11791v1
• Date: Mon, 18 Mar 2024 13:49:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 20:19:57.339978
• Title: PAON: A New Neuron Model using Padé Approximants
• Title（参考訳）: PAON:パデ近似を用いた新しいニューロンモデル
• Authors: Onur Keleş, A. Murat Tekalp,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、古典的なマカロック・ピッツニューロンモデルに基づいて構築されている。 パドニューロン(パオン)と呼ばれる新しいニューロンモデルを導入し、パド近似に着想を得た。 単一画像超解像タスクにおける実験により,PadeNetsは競合するアーキテクチャよりも優れた結果が得られることが示された。
• 参考スコア（独自算出の注目度）: 6.337675203577426
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Convolutional neural networks (CNN) are built upon the classical McCulloch-Pitts neuron model, which is essentially a linear model, where the nonlinearity is provided by a separate activation function. Several researchers have proposed enhanced neuron models, including quadratic neurons, generalized operational neurons, generative neurons, and super neurons, with stronger nonlinearity than that provided by the pointwise activation function. There has also been a proposal to use Pade approximation as a generalized activation function. In this paper, we introduce a brand new neuron model called Pade neurons (Paons), inspired by the Pade approximants, which is the best mathematical approximation of a transcendental function as a ratio of polynomials with different orders. We show that Paons are a super set of all other proposed neuron models. Hence, the basic neuron in any known CNN model can be replaced by Paons. In this paper, we extend the well-known ResNet to PadeNet (built by Paons) to demonstrate the concept. Our experiments on the single-image super-resolution task show that PadeNets can obtain better results than competing architectures.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は古典的なマカロック・ピッツニューロンモデルに基づいて構築されている。 いくつかの研究者は、二次ニューロン、一般化された操作ニューロン、生成ニューロン、スーパーニューロンを含む強化されたニューロンモデルを提案しており、ポイントワイド活性化関数によって提供されるものよりも強い非線形性を持っている。 また、Pade近似を一般化活性化関数として使う提案もある。 本稿では,異なる順序の多項式の比として超越関数の最適数学的近似であるPade近似にインスパイアされた,Padeニューロン(Paons)と呼ばれる新しいニューロンモデルを紹介する。 Paonsは、他のすべての提案されたニューロンモデルのスーパーセットであることを示す。 したがって、既知のCNNモデルの基本ニューロンは、Paonsに置き換えられる。 本稿では、よく知られたResNetをPaonsによって構築されたPadeNetに拡張し、そのコンセプトを実証する。 単一画像超解像タスクにおける実験により,PadeNetsは競合するアーキテクチャよりも優れた結果が得られることが示された。

関連論文リスト

• No One-Size-Fits-All Neurons: Task-based Neurons for Artificial Neural Networks [25.30801109401654]
  人間の脳はタスクベースのニューロンのユーザなので、人工ネットワークの設計はタスクベースのアーキテクチャ設計からタスクベースのニューロン設計に移行できるだろうか? 本稿では,タスクベースニューロンのプロトタイピングのための2段階のフレームワークを提案する。 実験により、提案されたタスクベースのニューロン設計は実現可能であるだけでなく、他の最先端モデルと競合する性能を提供することが示された。
  論文  参考訳（メタデータ） (2024-05-03T09:12:46Z)
• QuasiNet: a neural network with trainable product layers [0.0]
  製品ニューロンと呼ばれる既存のニューラルネットワークモデルと、古典的エラーバックプロパゲーションに基づく学習規則に着想を得た新しいニューラルネットワークモデルを提案する。 我々のモデルは従来のモデルよりも明らかに成功しており、多くのタスクやアプリケーションで使える可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-11-21T18:56:15Z)
• Efficient Vectorized Backpropagation Algorithms for Training Feedforward Networks Composed of Quadratic Neurons [1.6574413179773761]
  本稿では,1つの二次ニューロンを用いたXOR問題の解法を提案する。 これは$mathcalC$境界クラスタからなる任意のデータセットが、$mathcalC$二次ニューロンの単一の層でのみ分離可能であることを示している。
  論文  参考訳（メタデータ） (2023-10-04T15:39:57Z)
• Neural network with optimal neuron activation functions based on additive Gaussian process regression [0.0]
  より柔軟なニューロン活性化機能により、より少ない神経細胞や層を使用でき、表現力を向上させることができる。 加算ガウス過程回帰(GPR)は各ニューロンに特異的な最適なニューロン活性化関数を構築するのに有効であることを示す。 ニューラルネットワークパラメータの非線形フィッティングを回避するアプローチも導入されている。
  論文  参考訳（メタデータ） (2023-01-13T14:19:17Z)
• Parametrized constant-depth quantum neuron [56.51261027148046]
  本稿では,カーネルマシンをベースとした量子ニューロン構築フレームワークを提案する。 ここでは、指数的に大きい空間にテンソル積特徴写像を適用するニューロンについて述べる。 パラメトリゼーションにより、提案されたニューロンは、既存のニューロンが適合できない基礎となるパターンを最適に適合させることができることが判明した。
  論文  参考訳（メタデータ） (2022-02-25T04:57:41Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。