論文の概要: Quadratic Neuron-empowered Heterogeneous Autoencoder for Unsupervised Anomaly Detection
- arxiv url: http://arxiv.org/abs/2204.01707v2
- Date: Thu, 25 Apr 2024 08:24:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-27 00:37:16.483622
- Title: Quadratic Neuron-empowered Heterogeneous Autoencoder for Unsupervised Anomaly Detection
- Title(参考訳): 非教師付き異常検出のための二次ニューロンを用いた異種オートエンコーダ
- Authors: Jing-Xiao Liao, Bo-Jian Hou, Hang-Cheng Dong, Hao Zhang, Xiaoge Zhang, Jinwei Sun, Shiping Zhang, Feng-Lei Fan,
- Abstract要約: 新しいタイプのニューロンが、現在のニューロンの内積を単純化された二次関数で置き換えることが提案されている。
我々の知る限りでは、異なる種類のニューロンから構成される最初の異種自己エンコーダである。
実験により、異種オートエンコーダは他の最先端モデルと比較して競合的に機能することが示された。
- 参考スコア(独自算出の注目度): 8.271989261355785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inspired by the complexity and diversity of biological neurons, a quadratic neuron is proposed to replace the inner product in the current neuron with a simplified quadratic function. Employing such a novel type of neurons offers a new perspective on developing deep learning. When analyzing quadratic neurons, we find that there exists a function such that a heterogeneous network can approximate it well with a polynomial number of neurons but a purely conventional or quadratic network needs an exponential number of neurons to achieve the same level of error. Encouraged by this inspiring theoretical result on heterogeneous networks, we directly integrate conventional and quadratic neurons in an autoencoder to make a new type of heterogeneous autoencoders. To our best knowledge, it is the first heterogeneous autoencoder that is made of different types of neurons. Next, we apply the proposed heterogeneous autoencoder to unsupervised anomaly detection for tabular data and bearing fault signals. The anomaly detection faces difficulties such as data unknownness, anomaly feature heterogeneity, and feature unnoticeability, which is suitable for the proposed heterogeneous autoencoder. Its high feature representation ability can characterize a variety of anomaly data (heterogeneity), discriminate the anomaly from the normal (unnoticeability), and accurately learn the distribution of normal samples (unknownness). Experiments show that heterogeneous autoencoders perform competitively compared to other state-of-the-art models.
- Abstract(参考訳): 生物学的ニューロンの複雑さと多様性にインスパイアされた二次ニューロンは、現在のニューロンの内部積を単純化された二次関数で置き換えることが提案されている。
このような新しいタイプのニューロンを採用することで、ディープラーニングの開発に新たな視点がもたらされる。
二次ニューロンを解析する際には、不均一ネットワークがニューロンの多項式数とよく近似できる関数が存在するが、純粋に従来的あるいは二次的ネットワークは、同じレベルのエラーを達成するために指数的な数のニューロンを必要とする。
ヘテロジニアスネットワークにおけるこの理論的な結果によって、我々は従来のニューロンと二次ニューロンを直接オートエンコーダに統合し、新しいタイプのヘテロジニアスオートエンコーダを作成する。
我々の知る限りでは、異なる種類のニューロンから構成される最初の異種自己エンコーダである。
次に、提案した異種オートエンコーダを、表データの教師なし異常検出と故障信号の保持に適用する。
異常検出は、データ未知性、異常特徴の不均一性、特徴不明性などの困難に直面し、提案した異種オートエンコーダに適している。
その特徴表現能力は、様々な異常データ(異種性)を特徴付けることができ、異常を正常(通知不能)から識別し、正常サンプル(未知)の分布を正確に学習することができる。
実験により、異種オートエンコーダは他の最先端モデルと比較して競合的に機能することが示された。
関連論文リスト
- Learning to Act through Evolution of Neural Diversity in Random Neural
Networks [9.387749254963595]
ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。
本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
論文 参考訳(メタデータ) (2023-05-25T11:33:04Z) - Towards NeuroAI: Introducing Neuronal Diversity into Artificial Neural
Networks [20.99799416963467]
ヒトの脳では、神経の多様性はあらゆる生物学的知的行動に有効である。
本稿では,まず,生物ニューロンの多様性と情報伝達・処理の特徴について論じる。
論文 参考訳(メタデータ) (2023-01-23T02:23:45Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳(メタデータ) (2022-12-08T15:16:04Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳(メタデータ) (2022-01-19T09:26:34Z) - Two-argument activation functions learn soft XOR operations like
cortical neurons [6.88204255655161]
本研究では,基底と円錐状デンドライトに類似した2つの入力引数で正準活性化関数を学習する。
顕著なことに、結果として生じる非線形性はしばしばソフトなXOR関数を生成する。
これらの非線形性を持つネットワークは、一致したパラメータ数を持つ従来のReLU非線形性よりも高速に学習し、性能が向上する。
論文 参考訳(メタデータ) (2021-10-13T17:06:20Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳(メタデータ) (2020-12-07T01:20:38Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。