論文の概要: Padé Neurons for Efficient Neural Models

• arxiv url: http://arxiv.org/abs/2601.04005v1
• Date: Wed, 07 Jan 2026 15:15:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 02:15:23.66891
• Title: Padé Neurons for Efficient Neural Models
• Title（参考訳）: 効率的な神経モデルのためのパデニューロン
• Authors: Onur Keleş, A. Murat Tekalp,
• Abstract要約: 本稿では,パデニューロン (Paons) と呼ばれる新しい非線形ニューロンモデルを提案する。 ペインは入力の異なる非線形関数を学習するため、非線形性の多様性や層効率など、いくつかの利点がある。 私たちの総合的な実験結果と分析は、Paonsによって構築されたニューラルモデルが、従来のモデルよりも優れた、あるいは同等のパフォーマンスを提供することを示した。
• 参考スコア（独自算出の注目度）: 5.61537470581101
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Neural networks commonly employ the McCulloch-Pitts neuron model, which is a linear model followed by a point-wise non-linear activation. Various researchers have already advanced inherently non-linear neuron models, such as quadratic neurons, generalized operational neurons, generative neurons, and super neurons, which offer stronger non-linearity compared to point-wise activation functions. In this paper, we introduce a novel and better non-linear neuron model called Padé neurons (Paons), inspired by Padé approximants. Paons offer several advantages, such as diversity of non-linearity, since each Paon learns a different non-linear function of its inputs, and layer efficiency, since Paons provide stronger non-linearity in much fewer layers compared to piecewise linear approximation. Furthermore, Paons include all previously proposed neuron models as special cases, thus any neuron model in any network can be replaced by Paons. We note that there has been a proposal to employ the Padé approximation as a generalized point-wise activation function, which is fundamentally different from our model. To validate the efficacy of Paons, in our experiments, we replace classic neurons in some well-known neural image super-resolution, compression, and classification models based on the ResNet architecture with Paons. Our comprehensive experimental results and analyses demonstrate that neural models built by Paons provide better or equal performance than their classic counterparts with a smaller number of layers. The PyTorch implementation code for Paon is open-sourced at https://github.com/onur-keles/Paon.
• Abstract（参考訳）: ニューラルネットワークは通常、線形モデルであるMcCulloch-Pittsニューロンモデルを用いており、その後にポイントワイド非線形活性化が続く。 様々な研究者が、2次ニューロン、一般化された手術ニューロン、生成ニューロン、スーパーニューロンなど、本質的には非線形ニューロンモデルを開発しており、ポイントワイドアクティベーション機能よりも強い非線形性を提供している。 本稿ではパデニューロン(パデニューロン)と呼ばれる新しい非線形ニューロンモデルを紹介し,パデ近似に着想を得た。 ペインは、各ペインは入力の異なる非線形関数を学習するので、非線型性の多様性や、レイヤー効率などの利点がある。 さらに、パオンは、前述した全てのニューロンモデルを特別な場合として含み、任意のネットワーク内のニューロンモデルをパオンに置き換えることができる。 我々は、パデ近似を一般化されたポイントワイドアクティベーション関数として採用する提案があり、これは我々のモデルと根本的に異なることに留意する。 Paonsの有効性を検証するため、実験では、Paonsを用いたResNetアーキテクチャに基づく、よく知られた超解像、圧縮、分類モデルにおいて、古典的なニューロンを置き換えた。 包括的実験結果と分析により、Paonsによって構築されたニューラルネットワークは、階層数が少ない従来のモデルよりも優れた、あるいは同等のパフォーマンスを提供することが示された。 PaonのPyTorch実装コードはhttps://github.com/onur-keles/Paonでオープンソース化されている。

関連論文リスト

• NOBLE -- Neural Operator with Biologically-informed Latent Embeddings to Capture Experimental Variability in Biological Neuron Models [63.592664795493725]
  NOBLEは、解釈可能なニューロンの特徴を連続周波数変調した埋め込みから電流注入によって誘導されるソマティック電圧応答へのマッピングを学ぶ神経オペレーターフレームワークである。 内在的な実験変数を考慮したニューラルダイナミクスの分布を予測する。 NOBLEは、その一般化を実際の実験データで検証する最初の大規模ディープラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-06-05T01:01:18Z)
• PAON: A New Neuron Model using Padé Approximants [6.337675203577426]
  畳み込みニューラルネットワーク(CNN)は、古典的なマカロック・ピッツニューロンモデルに基づいて構築されている。 パドニューロン(パオン)と呼ばれる新しいニューロンモデルを導入し、パド近似に着想を得た。 単一画像超解像タスクにおける実験により,PadeNetsは競合するアーキテクチャよりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-18T13:49:30Z)
• QuasiNet: a neural network with trainable product layers [0.0]
  製品ニューロンと呼ばれる既存のニューラルネットワークモデルと、古典的エラーバックプロパゲーションに基づく学習規則に着想を得た新しいニューラルネットワークモデルを提案する。 我々のモデルは従来のモデルよりも明らかに成功しており、多くのタスクやアプリケーションで使える可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-11-21T18:56:15Z)
• Simple and complex spiking neurons: perspectives and analysis in a simple STDP scenario [0.7829352305480283]
  スパイキングニューラルネットワーク(SNN)は、生物学や神経科学にヒントを得て、高速で効率的な学習システムを構築する。 この研究は、文学における様々なニューロンモデルを考察し、単変数で効率的な計算ニューロンモデルを選択し、様々な種類の複雑さを提示する。 我々は, LIF, Quadratic I&F (QIF) および Exponential I&F (EIF) の3つの単純なI&Fニューロンモデルの比較研究を行い, より複雑なモデルの使用によってシステムの性能が向上するかどうかを検証した。
  論文  参考訳（メタデータ） (2022-06-28T10:01:51Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。