論文の概要: Heterogeneous Autoencoder Empowered by Quadratic Neurons
- arxiv url: http://arxiv.org/abs/2204.01707v1
- Date: Sat, 2 Apr 2022 04:19:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-07 09:45:00.975359
- Title: Heterogeneous Autoencoder Empowered by Quadratic Neurons
- Title(参考訳): 二次ニューロンによる不均一なオートエンコーダ
- Authors: Jing-Xiao Liao, Bo-Jian Hou, Hang-Cheng Dong, Hao Zhang, Jianwei Ma,
Jinwei Sun, Shiping Zhang, Feng-Lei Fan
- Abstract要約: 生物学的ニューロンの複雑さと多様性にインスパイアされた二次ニューロンは、現在のニューロンの内部積を単純化された二次関数で置き換えることが提案されている。
このような新しいタイプのニューロンを使用して、深層学習の新たな視点を提供します。
異常検出実験により、異種オートエンコーダは他の最先端モデルと比較して競合的に機能することを確認した。
- 参考スコア(独自算出の注目度): 9.052094630940513
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inspired by the complexity and diversity of biological neurons, a quadratic
neuron is proposed to replace the inner product in the current neuron with a
simplified quadratic function. Employing such a novel type of neurons offers a
new perspective on developing deep learning. When analyzing quadratic neurons,
we find that there exists a function such that a heterogeneous network can
approximate it well with a polynomial number of neurons but a purely
conventional or quadratic network needs an exponential number of neurons to
achieve the same level of error. Encouraged by this inspiring theoretical
result on heterogeneous networks, we directly integrate conventional and
quadratic neurons in an autoencoder to make a new type of heterogeneous
autoencoders. Anomaly detection experiments confirm that heterogeneous
autoencoders perform competitively compared to other state-of-the-art models.
- Abstract(参考訳): 生物ニューロンの複雑さと多様性に触発されて、現在のニューロンの内積を単純化された二次機能に置き換える二次ニューロンが提案されている。
このような新しいタイプのニューロンを採用することは、ディープラーニングの開発に新たな視点をもたらす。
二次ニューロンの解析では、不均質ネットワークが多項式数のニューロンとよく近似できる関数が存在するが、純粋に従来的または二次的なネットワークは、同じレベルの誤差を達成するために指数関数的なニューロン数を必要とする。
ヘテロジニアスネットワークにおけるこの理論的な結果によって、我々は従来のニューロンと二次ニューロンを直接オートエンコーダに統合し、新しいタイプのヘテロジニアスオートエンコーダを作成する。
異常検出実験により、異種オートエンコーダは他の最先端モデルと比較して競合的に機能することを確認した。
関連論文リスト
- Learning to Act through Evolution of Neural Diversity in Random Neural
Networks [9.387749254963595]
ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。
本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
論文 参考訳(メタデータ) (2023-05-25T11:33:04Z) - Towards NeuroAI: Introducing Neuronal Diversity into Artificial Neural
Networks [20.99799416963467]
ヒトの脳では、神経の多様性はあらゆる生物学的知的行動に有効である。
本稿では,まず,生物ニューロンの多様性と情報伝達・処理の特徴について論じる。
論文 参考訳(メタデータ) (2023-01-23T02:23:45Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳(メタデータ) (2022-12-08T15:16:04Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳(メタデータ) (2022-01-19T09:26:34Z) - Two-argument activation functions learn soft XOR operations like
cortical neurons [6.88204255655161]
本研究では,基底と円錐状デンドライトに類似した2つの入力引数で正準活性化関数を学習する。
顕著なことに、結果として生じる非線形性はしばしばソフトなXOR関数を生成する。
これらの非線形性を持つネットワークは、一致したパラメータ数を持つ従来のReLU非線形性よりも高速に学習し、性能が向上する。
論文 参考訳(メタデータ) (2021-10-13T17:06:20Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳(メタデータ) (2020-12-07T01:20:38Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。