論文の概要: Efficient Vectorized Backpropagation Algorithms for Training Feedforward Networks Composed of Quadratic Neurons

• arxiv url: http://arxiv.org/abs/2310.02901v3
• Date: Mon, 04 Nov 2024 06:06:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 21:26:49.677223
• Title: Efficient Vectorized Backpropagation Algorithms for Training Feedforward Networks Composed of Quadratic Neurons
• Title（参考訳）: 二次ニューロンからなるフィードフォワードネットワークの学習のための効率的なベクトル化バックプロパゲーションアルゴリズム
• Authors: Mathew Mithra Noel, Venkataraman Muthiah-Nakarajan,
• Abstract要約: 本稿では,1つの二次ニューロンを用いたXOR問題の解法を提案する。 これは$mathcalC$境界クラスタからなる任意のデータセットが、$mathcalC$二次ニューロンの単一の層でのみ分離可能であることを示している。
• 参考スコア（独自算出の注目度）: 1.6574413179773761
• License:
• Abstract: Higher order artificial neurons whose outputs are computed by applying an activation function to a higher order multinomial function of the inputs have been considered in the past, but did not gain acceptance due to the extra parameters and computational cost. However, higher order neurons have significantly greater learning capabilities since the decision boundaries of higher order neurons can be complex surfaces instead of just hyperplanes. The boundary of a single quadratic neuron can be a general hyper-quadric surface allowing it to learn many nonlinearly separable datasets. Since quadratic forms can be represented by symmetric matrices, only $\frac{n(n+1)}{2}$ additional parameters are needed instead of $n^2$. A quadratic Logistic regression model is first presented. Solutions to the XOR problem with a single quadratic neuron are considered. The complete vectorized equations for both forward and backward propagation in feedforward networks composed of quadratic neurons are derived. A reduced parameter quadratic neural network model with just $ n $ additional parameters per neuron that provides a compromise between learning ability and computational cost is presented. Comparison on benchmark classification datasets are used to demonstrate that a final layer of quadratic neurons enables networks to achieve higher accuracy with significantly fewer hidden layer neurons. In particular this paper shows that any dataset composed of $\mathcal{C}$ bounded clusters can be separated with only a single layer of $\mathcal{C}$ quadratic neurons.
• Abstract（参考訳）: 入力の高次多重項関数にアクティベーション関数を適用して出力を計算する高次人工ニューロンはこれまで検討されてきたが、余分なパラメータや計算コストのために受け入れられなかった。 しかし、高次ニューロンは高次ニューロンの決定境界が超平面ではなく複素曲面となるため、学習能力が大幅に向上する。 単一の二次ニューロンの境界は、多くの非線形に分離可能なデータセットを学習できる一般的な超二次曲面である。 二次形式は対称行列で表すことができるので、$\frac{n(n+1)}{2}$以上のパラメータは$n^2$の代わりに必要である。 二次ロジスティック回帰モデルが最初に提示される。 単一二次ニューロンによるXOR問題の解について考察する。 二次ニューロンからなるフィードフォワードネットワークにおける前方および後方伝播の完全なベクトル化方程式を導出した。 学習能力と計算コストの妥協を提供する1ニューロンあたりのパラメータをわずか$n$追加する2次ニューラルネットワークモデルを提案する。 ベンチマーク分類データセットの比較により、二次ニューロンの最終層が、隠れた層ニューロンを著しく少ない精度でネットワークを高い精度で達成できることを示した。 具体的には、$\mathcal{C}$有界クラスタからなる任意のデータセットは、$\mathcal{C}$2次ニューロンの単一の層でのみ分離可能であることを示す。

関連論文リスト

• Interpolation with deep neural networks with non-polynomial activations: necessary and sufficient numbers of neurons [0.0]
  我々は、活性化関数が点ではなく点において実数である限り、$Theta(sqrtnd')$ニューロンは十分であることを示す。 これは、パワーを失うことなく、アクティベーション関数を問題依存的に自由に選択できることを意味する。
  論文  参考訳（メタデータ） (2024-05-22T15:29:45Z)
• No One-Size-Fits-All Neurons: Task-based Neurons for Artificial Neural Networks [25.30801109401654]
  人間の脳はタスクベースのニューロンのユーザなので、人工ネットワークの設計はタスクベースのアーキテクチャ設計からタスクベースのニューロン設計に移行できるだろうか? 本稿では,タスクベースニューロンのプロトタイピングのための2段階のフレームワークを提案する。 実験により、提案されたタスクベースのニューロン設計は実現可能であるだけでなく、他の最先端モデルと競合する性能を提供することが示された。
  論文  参考訳（メタデータ） (2024-05-03T09:12:46Z)
• PAON: A New Neuron Model using Padé Approximants [6.337675203577426]
  畳み込みニューラルネットワーク(CNN)は、古典的なマカロック・ピッツニューロンモデルに基づいて構築されている。 パドニューロン(パオン)と呼ばれる新しいニューロンモデルを導入し、パド近似に着想を得た。 単一画像超解像タスクにおける実験により,PadeNetsは競合するアーキテクチャよりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-18T13:49:30Z)
• One Neuron Saved Is One Neuron Earned: On Parametric Efficiency of Quadratic Networks [21.5187335186035]
  二次ネットワークがパラメトリック効率を享受していることを示し、それによって二次ネットワークの優れた性能が本質的な表現能力に起因することを確かめる。 バロン空間の観点からは、次元自由誤差で二次ネットワークで近似できる函数空間が存在することを示す。
  論文  参考訳（メタデータ） (2023-03-11T05:32:18Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。