論文の概要: Heterogeneous Autoencoder Empowered by Quadratic Neurons

• arxiv url: http://arxiv.org/abs/2204.01707v1
• Date: Sat, 2 Apr 2022 04:19:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-07 09:45:00.975359
• Title: Heterogeneous Autoencoder Empowered by Quadratic Neurons
• Title（参考訳）: 二次ニューロンによる不均一なオートエンコーダ
• Authors: Jing-Xiao Liao, Bo-Jian Hou, Hang-Cheng Dong, Hao Zhang, Jianwei Ma, Jinwei Sun, Shiping Zhang, Feng-Lei Fan
• Abstract要約: 生物学的ニューロンの複雑さと多様性にインスパイアされた二次ニューロンは、現在のニューロンの内部積を単純化された二次関数で置き換えることが提案されている。 このような新しいタイプのニューロンを使用して、深層学習の新たな視点を提供します。 異常検出実験により、異種オートエンコーダは他の最先端モデルと比較して競合的に機能することを確認した。
• 参考スコア（独自算出の注目度）: 9.052094630940513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inspired by the complexity and diversity of biological neurons, a quadratic neuron is proposed to replace the inner product in the current neuron with a simplified quadratic function. Employing such a novel type of neurons offers a new perspective on developing deep learning. When analyzing quadratic neurons, we find that there exists a function such that a heterogeneous network can approximate it well with a polynomial number of neurons but a purely conventional or quadratic network needs an exponential number of neurons to achieve the same level of error. Encouraged by this inspiring theoretical result on heterogeneous networks, we directly integrate conventional and quadratic neurons in an autoencoder to make a new type of heterogeneous autoencoders. Anomaly detection experiments confirm that heterogeneous autoencoders perform competitively compared to other state-of-the-art models.
• Abstract（参考訳）: 生物ニューロンの複雑さと多様性に触発されて、現在のニューロンの内積を単純化された二次機能に置き換える二次ニューロンが提案されている。 このような新しいタイプのニューロンを採用することは、ディープラーニングの開発に新たな視点をもたらす。 二次ニューロンの解析では、不均質ネットワークが多項式数のニューロンとよく近似できる関数が存在するが、純粋に従来的または二次的なネットワークは、同じレベルの誤差を達成するために指数関数的なニューロン数を必要とする。 ヘテロジニアスネットワークにおけるこの理論的な結果によって、我々は従来のニューロンと二次ニューロンを直接オートエンコーダに統合し、新しいタイプのヘテロジニアスオートエンコーダを作成する。 異常検出実験により、異種オートエンコーダは他の最先端モデルと比較して競合的に機能することを確認した。

関連論文リスト

• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• Neuroevolutionary algorithms driven by neuron coverage metrics for semi-supervised classification [60.60571130467197]
  一部の機械学習アプリケーションでは、ラベル付けされていないインスタンスが豊富であるのに対して、教師付き分類のためのラベル付きインスタンスの可用性は制限されている。 本稿では、ニューラルネットワークアーキテクチャ上で計算されたニューラルネットワークカバレッジメトリクスを用いて、未ラベルのインスタンスを利用する神経進化的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-03-05T23:38:44Z)
• A Vision Inspired Neural Network for Unsupervised Anomaly Detection in Unordered Data [0.0]
  教師なし機械学習の分野における根本的な問題は、まれで異常な関心の観測に対応する異常の検出である。 本研究は、知覚アルゴリズムが用いたアプローチと、神経生理学と計算神経科学におけるこれまでの数十年の研究の間に重要な、実践的なつながりを確立することを目的とする。 このアルゴリズムは、予期せぬ観察を異常として信号する学習を行う教師なしニューラルネットワークのカーネルを形成するニューロンモデルとして概念化されている。
  論文  参考訳（メタデータ） (2022-05-13T15:50:57Z)
• Fault-Tolerant Neural Networks from Biological Error Correction Codes [45.82537918529782]
  哺乳類大脳皮質の格子細胞では、アナログ誤差補正符号が神経スパイクノイズから状態を保護するために観測されている。 ここでは、これらの生物学的エラー訂正符号を用いて、各ニューロンの欠陥がシャープしきい値以下である場合、信頼性の高い計算を実現する、普遍的なフォールトトレラントニューラルネットワークを開発する。 フォールトからフォールトトレラントニューラルネットワークへの位相遷移の発見は、大脳皮質における信頼性の高い計算のメカニズムを示唆している。
  論文  参考訳（メタデータ） (2022-02-25T18:55:46Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• Two-argument activation functions learn soft XOR operations like cortical neurons [6.88204255655161]
  本研究では,基底と円錐状デンドライトに類似した2つの入力引数で正準活性化関数を学習する。 顕著なことに、結果として生じる非線形性はしばしばソフトなXOR関数を生成する。 これらの非線形性を持つネットワークは、一致したパラメータ数を持つ従来のReLU非線形性よりも高速に学習し、性能が向上する。
  論文  参考訳（メタデータ） (2021-10-13T17:06:20Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Manifold GPLVMs for discovering non-Euclidean latent structure in neural data [5.949779668853555]
  神経科学における一般的な問題は、行動的に重要な変数の集合的神経表現を解明することである。 本稿では,新しい確率潜在変数モデルを提案し,各ニューロンがその表現に寄与する潜在状態を同時に同定する。
  論文  参考訳（メタデータ） (2020-06-12T19:08:54Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。