論文の概要: Computationally Efficient Quadratic Neural Networks

• arxiv url: http://arxiv.org/abs/2310.02901v1
• Date: Wed, 4 Oct 2023 15:39:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 14:29:26.820072
• Title: Computationally Efficient Quadratic Neural Networks
• Title（参考訳）: 計算効率の良い二次ニューラルネットワーク
• Authors: Mathew Mithra Noel and Venkataraman Muthiah-Nakarajan
• Abstract要約: 本稿では,1つの二次ニューロンを用いたXOR問題に対する解を提案する。 ニューロン当たりのパラメータをわずか$n$追加した2次ニューラルネットワークモデルを示す。 本稿では、$C$境界クラスタからなる任意のデータセットは、$C$二次ニューロンの単一層でのみ分離可能であることを示す。
• 参考スコア（独自算出の注目度）: 1.9580473532948401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Higher order artificial neurons whose outputs are computed by applying an activation function to a higher order multinomial function of the inputs have been considered in the past, but did not gain acceptance due to the extra parameters and computational cost. However, higher order neurons have significantly greater learning capabilities since the decision boundaries of higher order neurons can be complex surfaces instead of just hyperplanes. The boundary of a single quadratic neuron can be a general hyper-quadric surface allowing it to learn many nonlinearly separable datasets. Since quadratic forms can be represented by symmetric matrices, only $\frac{n(n+1)}{2}$ additional parameters are needed instead of $n^2$. A quadratic Logistic regression model is first presented. Solutions to the XOR problem with a single quadratic neuron are considered. The complete vectorized equations for both forward and backward propagation in feedforward networks composed of quadratic neurons are derived. A reduced parameter quadratic neural network model with just $ n $ additional parameters per neuron that provides a compromise between learning ability and computational cost is presented. Comparison on benchmark classification datasets are used to demonstrate that a final layer of quadratic neurons enables networks to achieve higher accuracy with significantly fewer hidden layer neurons. In particular this paper shows that any dataset composed of $C$ bounded clusters can be separated with only a single layer of $C$ quadratic neurons.
• Abstract（参考訳）: 入力の高次多重項関数に活性化関数を適用して出力を計算する高次人工ニューロンはこれまで検討されてきたが、余分なパラメータや計算コストのために受け入れられなかった。 しかし、高次ニューロンの決定境界は超平面ではなく複雑な表面になるため、高次ニューロンは学習能力が大幅に向上する。 単一の二次ニューロンの境界は、多くの非線形分離可能なデータセットを学習できる一般的な超量子曲面である。 二次形式は対称行列で表現できるので、追加のパラメータは$n^2$ではなく$\frac{n(n+1)}{2}$である。 二次ロジスティック回帰モデルが最初に提示される。 単一二次ニューロンによるXOR問題の解について考察する。 二次ニューロンからなるフィードフォワードネットワークにおける前方および後方伝播の完全ベクトル化方程式を導出する。 学習能力と計算コストの妥協を提供するニューロン1つにつき1ドル追加のパラメータしか持たない縮小パラメータ2次ニューラルネットワークモデルが提示される。 ベンチマーク分類データセットの比較により、二次ニューロンの最終層が、隠れた層ニューロンを著しく少ない精度でネットワークを高い精度で達成できることを示した。 特に本論文は、$C$境界クラスタからなる任意のデータセットが、$C$二次ニューロンの単一層でのみ分離可能であることを示す。

関連論文リスト

• Interpolation with deep neural networks with non-polynomial activations: necessary and sufficient numbers of neurons [0.0]
  我々は、活性化関数が点ではなく点において実数である限り、$Theta(sqrtnd')$ニューロンは十分であることを示す。 これは、パワーを失うことなく、アクティベーション関数を問題依存的に自由に選択できることを意味する。
  論文  参考訳（メタデータ） (2024-05-22T15:29:45Z)
• No One-Size-Fits-All Neurons: Task-based Neurons for Artificial Neural Networks [25.30801109401654]
  人間の脳はタスクベースのニューロンのユーザなので、人工ネットワークの設計はタスクベースのアーキテクチャ設計からタスクベースのニューロン設計に移行できるだろうか? 本稿では,タスクベースニューロンのプロトタイピングのための2段階のフレームワークを提案する。 実験により、提案されたタスクベースのニューロン設計は実現可能であるだけでなく、他の最先端モデルと競合する性能を提供することが示された。
  論文  参考訳（メタデータ） (2024-05-03T09:12:46Z)
• PAON: A New Neuron Model using Padé Approximants [6.337675203577426]
  畳み込みニューラルネットワーク(CNN)は、古典的なマカロック・ピッツニューロンモデルに基づいて構築されている。 パドニューロン(パオン)と呼ばれる新しいニューロンモデルを導入し、パド近似に着想を得た。 単一画像超解像タスクにおける実験により,PadeNetsは競合するアーキテクチャよりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-18T13:49:30Z)
• One Neuron Saved Is One Neuron Earned: On Parametric Efficiency of Quadratic Networks [21.5187335186035]
  二次ネットワークがパラメトリック効率を享受していることを示し、それによって二次ネットワークの優れた性能が本質的な表現能力に起因することを確かめる。 バロン空間の観点からは、次元自由誤差で二次ネットワークで近似できる函数空間が存在することを示す。
  論文  参考訳（メタデータ） (2023-03-11T05:32:18Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。