論文の概要: One Neuron Saved Is One Neuron Earned: On Parametric Efficiency of
Quadratic Networks
- arxiv url: http://arxiv.org/abs/2303.06316v1
- Date: Sat, 11 Mar 2023 05:32:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 19:48:40.322217
- Title: One Neuron Saved Is One Neuron Earned: On Parametric Efficiency of
Quadratic Networks
- Title(参考訳): 保存されたニューロンは1つのニューロンである:二次ネットワークのパラメトリック効率について
- Authors: Feng-Lei Fan, Hang-Cheng Dong, Zhongming Wu, Lecheng Ruan, Tieyong
Zeng, Yiming Cui, Jing-Xiao Liao
- Abstract要約: 二次ネットワークがパラメトリック効率を享受していることを示し、それによって二次ネットワークの優れた性能が本質的な表現能力に起因することを確かめる。
バロン空間の観点からは、次元自由誤差で二次ネットワークで近似できる函数空間が存在することを示す。
- 参考スコア(独自算出の注目度): 21.5187335186035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inspired by neuronal diversity in the biological neural system, a plethora of
studies proposed to design novel types of artificial neurons and introduce
neuronal diversity into artificial neural networks. Recently proposed quadratic
neuron, which replaces the inner-product operation in conventional neurons with
a quadratic one, have achieved great success in many essential tasks. Despite
the promising results of quadratic neurons, there is still an unresolved issue:
\textit{Is the superior performance of quadratic networks simply due to the
increased parameters or due to the intrinsic expressive capability?} Without
clarifying this issue, the performance of quadratic networks is always
suspicious. Additionally, resolving this issue is reduced to finding killer
applications of quadratic networks. In this paper, with theoretical and
empirical studies, we show that quadratic networks enjoy parametric efficiency,
thereby confirming that the superior performance of quadratic networks is due
to the intrinsic expressive capability. This intrinsic expressive ability comes
from that quadratic neurons can easily represent nonlinear interaction, while
it is hard for conventional neurons. Theoretically, we derive the approximation
efficiency of the quadratic network over conventional ones in terms of real
space and manifolds. Moreover, from the perspective of the Barron space, we
demonstrate that there exists a functional space whose functions can be
approximated by quadratic networks in a dimension-free error, but the
approximation error of conventional networks is dependent on dimensions.
Empirically, experimental results on synthetic data, classic benchmarks, and
real-world applications show that quadratic models broadly enjoy parametric
efficiency, and the gain of efficiency depends on the task.
- Abstract(参考訳): 生体神経系の神経細胞多様性に触発されて、新しいタイプの人工ニューロンを設計し、ニューラルネットワークにニューロン多様性を導入するために多くの研究が提案された。
最近提案された2次ニューロンは、従来のニューロンの内積操作を2次ニューロンに置き換え、多くの重要なタスクで大きな成功を収めた。
二次ニューロンの有望な結果にもかかわらず、未解決の問題がある: \textit{Is the superior performance of quadratic network just due the increase parameters or the intrinsic expressive capabilities?
この問題を明確にすることなく、二次ネットワークの性能は常に疑わしい。
さらに、この問題の解決は二次ネットワークのキラーアプリケーションの発見に還元される。
本稿では,理論および実証的な研究により,二次ネットワークがパラメトリック効率を保ち,二次ネットワークの優れた性能は内在的な表現能力によるものであることを示す。
この内在的な表現能力は、通常のニューロンでは難しいが、二次ニューロンは容易に非線形相互作用を表現できるからである。
理論的には、実空間と多様体の観点から従来の2次ネットワークの近似効率を導出する。
さらに、バロン空間の観点からは、次元自由誤差で二次ネットワークで近似できる関数空間が存在するが、従来のネットワークの近似誤差は次元に依存する。
経験的に、合成データ、古典的ベンチマーク、実世界の応用に関する実験の結果、二次モデルはパラメトリックな効率を広く享受し、効率の獲得はタスクに依存する。
関連論文リスト
- Efficient Vectorized Backpropagation Algorithms for Training Feedforward Networks Composed of Quadratic Neurons [1.6574413179773761]
本稿では,1つの二次ニューロンを用いたXOR問題の解法を提案する。
これは$mathcalC$境界クラスタからなる任意のデータセットが、$mathcalC$二次ニューロンの単一の層でのみ分離可能であることを示している。
論文 参考訳(メタデータ) (2023-10-04T15:39:57Z) - Computational and Storage Efficient Quadratic Neurons for Deep Neural
Networks [10.379191500493503]
実験により、提案した二次ニューロン構造は、様々なタスクにおいて優れた計算効率と記憶効率を示すことが示された。
本研究は、2次計算情報の高度活用によって区別される2次ニューロンアーキテクチャを導入する。
論文 参考訳(メタデータ) (2023-06-10T11:25:31Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Two-argument activation functions learn soft XOR operations like
cortical neurons [6.88204255655161]
本研究では,基底と円錐状デンドライトに類似した2つの入力引数で正準活性化関数を学習する。
顕著なことに、結果として生じる非線形性はしばしばソフトなXOR関数を生成する。
これらの非線形性を持つネットワークは、一致したパラメータ数を持つ従来のReLU非線形性よりも高速に学習し、性能が向上する。
論文 参考訳(メタデータ) (2021-10-13T17:06:20Z) - On Expressivity and Trainability of Quadratic Networks [12.878230964137014]
二次人工ニューロンは 深層学習モデルにおいて 重要な役割を担います
従来のネットワークと従来のネットワークのどちらよりも優れた2次ネットワークの表現性は、完全には解明されていないことを示す。
本稿では,2次ネットワークのトレーニングプロセスを安定化させるために,ReLinearと呼ばれる効果的なトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2021-10-12T15:33:32Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳(メタデータ) (2021-07-14T03:03:56Z) - Recognizing and Verifying Mathematical Equations using Multiplicative
Differential Neural Units [86.9207811656179]
メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。
本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
論文 参考訳(メタデータ) (2021-04-07T03:50:11Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳(メタデータ) (2021-02-15T08:19:05Z) - Flexible Transmitter Network [84.90891046882213]
現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。
本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。
本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
論文 参考訳(メタデータ) (2020-04-08T06:55:12Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z) - Avoiding Spurious Local Minima in Deep Quadratic Networks [0.0]
ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。
2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
論文 参考訳(メタデータ) (2019-12-31T22:31:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。