論文の概要: Two-argument activation functions learn soft XOR operations like cortical neurons

• arxiv url: http://arxiv.org/abs/2110.06871v2
• Date: Fri, 15 Oct 2021 05:02:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-18 10:28:28.043961
• Title: Two-argument activation functions learn soft XOR operations like cortical neurons
• Title（参考訳）: 皮質ニューロンのような軟XOR操作を学習する2関節活性化機能
• Authors: Kijung Yoon, Emin Orhan, Juhyun Kim, Xaq Pitkow
• Abstract要約: 本研究では,基底と円錐状デンドライトに類似した2つの入力引数で正準活性化関数を学習する。 顕著なことに、結果として生じる非線形性はしばしばソフトなXOR関数を生成する。 これらの非線形性を持つネットワークは、一致したパラメータ数を持つ従来のReLU非線形性よりも高速に学習し、性能が向上する。
• 参考スコア（独自算出の注目度）: 6.88204255655161
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neurons in the brain are complex machines with distinct functional compartments that interact nonlinearly. In contrast, neurons in artificial neural networks abstract away this complexity, typically down to a scalar activation function of a weighted sum of inputs. Here we emulate more biologically realistic neurons by learning canonical activation functions with two input arguments, analogous to basal and apical dendrites. We use a network-in-network architecture where each neuron is modeled as a multilayer perceptron with two inputs and a single output. This inner perceptron is shared by all units in the outer network. Remarkably, the resultant nonlinearities often produce soft XOR functions, consistent with recent experimental observations about interactions between inputs in human cortical neurons. When hyperparameters are optimized, networks with these nonlinearities learn faster and perform better than conventional ReLU nonlinearities with matched parameter counts, and they are more robust to natural and adversarial perturbations.
• Abstract（参考訳）: 脳内のニューロンは、非線形に相互作用する異なる機能的コンパートメントを持つ複雑な機械である。 対照的に、ニューラルネットワークのニューロンはこの複雑さを抽象化し、通常、重み付けされた入力の合計のスカラーアクティベーション関数に分解する。 ここでは、2つの入力引数で正準活性化関数を学習することで、より生物学的に現実的なニューロンをエミュレートする。 各ニューロンは2つの入力と1つの出力を持つ多層パーセプトロンとしてモデル化されるネットワーク・イン・ネットワークアーキテクチャを用いる。 この内部パーセプトロンは、外部ネットワーク内の全てのユニットによって共有される。 顕著なことに、結果として生じる非線形性はしばしばソフトなXOR関数を生成し、ヒト大脳皮質ニューロンの入力間の相互作用に関する最近の実験的観察と一致している。 ハイパーパラメータが最適化されると、これらの非線形性を持つネットワークは、パラメータ数が一致する従来のrelu非線形よりも高速に学習し、より優れた性能を発揮する。

関連論文リスト

• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• Learning dynamic representations of the functional connectome in neurobiological networks [41.94295877935867]
  我々は、生きた行動する動物のニューロン間の動的親和性を学ぶために、教師なしのアプローチを導入する。 本研究では,ニューロン間の因果関係を強く予測し,行動を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T19:54:25Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Complex Dynamic Neurons Improved Spiking Transformer Network for Efficient Automatic Speech Recognition [8.998797644039064]
  リークインテグレーテッド・アンド・ファイア(LIF)ニューロンを用いたスパイクニューラルネットワーク(SNN)は、音声認識(ASR)タスクで一般的に用いられている。 ここでは、スパイキングトランスから生成された逐次パターンを後処理する4種類の神経力学を紹介する。 その結果,DyTr-SNNは音素誤り率の低下,計算コストの低下,ロバスト性の向上など,非トイ自動音声認識タスクをうまく処理できることがわかった。
  論文  参考訳（メタデータ） (2023-02-02T16:20:27Z)
• Neural network with optimal neuron activation functions based on additive Gaussian process regression [0.0]
  より柔軟なニューロン活性化機能により、より少ない神経細胞や層を使用でき、表現力を向上させることができる。 加算ガウス過程回帰(GPR)は各ニューロンに特異的な最適なニューロン活性化関数を構築するのに有効であることを示す。 ニューラルネットワークパラメータの非線形フィッティングを回避するアプローチも導入されている。
  論文  参考訳（メタデータ） (2023-01-13T14:19:17Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• Continual Learning with Deep Artificial Neurons [0.0]
  本稿では,Deep Artificial Neurons (DAN)を導入し,ディープニューラルネットワークとして実現した。 ネットワーク内のすべてのDANが共有する神経表現型をダブする単一パラメータベクトルをメタ学習することが可能であることを示す。 適切な神経表現型は,最小限の忘れを伴ってシナプスを更新する能力を持つ単一ネットワークを育むことができることを示す。
  論文  参考訳（メタデータ） (2020-11-13T17:50:10Z)
• Estimating Multiplicative Relations in Neural Networks [0.0]
  対数関数の特性を用いて、積を線形表現に変換し、バックプロパゲーションを用いて学習できるアクティベーション関数のペアを提案する。 いくつかの複雑な算術関数に対してこのアプローチを一般化し、トレーニングセットとの不整合分布の精度を検証しようと試みる。
  論文  参考訳（メタデータ） (2020-10-28T14:28:24Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。