論文の概要: Learning Neural Activations

• arxiv url: http://arxiv.org/abs/1912.12187v1
• Date: Fri, 27 Dec 2019 15:52:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 23:25:19.319578
• Title: Learning Neural Activations
• Title（参考訳）: 学習神経活性化
• Authors: Fayyaz ul Amir Afsar Minhas and Amina Asif
• Abstract要約: 人工ニューラルネットワークにおける各ニューロンの活性化関数がデータのみから学習されるとどうなるかを検討する。 これは、各ニューロンの活性化機能を、元のネットワーク内のすべてのニューロンによって共有される小さなニューラルネットワークとしてモデル化することで達成される。
• 参考スコア（独自算出の注目度）: 2.842794675894731
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An artificial neuron is modelled as a weighted summation followed by an activation function which determines its output. A wide variety of activation functions such as rectified linear units (ReLU), leaky-ReLU, Swish, MISH, etc. have been explored in the literature. In this short paper, we explore what happens when the activation function of each neuron in an artificial neural network is learned natively from data alone. This is achieved by modelling the activation function of each neuron as a small neural network whose weights are shared by all neurons in the original network. We list our primary findings in the conclusions section. The code for our analysis is available at: https://github.com/amina01/Learning-Neural-Activations.
• Abstract（参考訳）: 人工ニューロンは重み付き和としてモデル化され、その出力を決定する活性化関数が続く。 文献では, 整流線形ユニット (ReLU) , 漏洩ReLU, Swish, MISH など, 多様な活性化関数が検討されている。 本稿では,人工ニューラルネットワークにおける各ニューロンの活性化関数が,データのみからネイティブに学習された場合について考察する。 これは、各ニューロンの活性化関数を、元のネットワーク内の全てのニューロンで重みが共有される小さなニューラルネットワークとしてモデル化することで達成される。 結論のセクションに主要な発見をリストアップします。 私たちの分析のコードは、https://github.com/amina01/learning-neural-activatedsで利用可能です。

関連論文リスト

• Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
  CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。 ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。 以上の結果から,ニューロンのスケーラブルな理解は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-06T17:59:52Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• A Hybrid Training Algorithm for Continuum Deep Learning Neuro-Skin Neural Network [0.0]
  Deep Learning NeuroSkin Neural Networkは、著者らが最近発表した新しいタイプのニューラルネットワークである。 神経骨格は有限要素を用いてモデル化される。有限要素の各要素は細胞を表す。 神経骨格は望ましい反応を提示できないが、徐々に所望のレベルに改善することが示されている。
  論文  参考訳（メタデータ） (2023-02-03T15:54:06Z)
• A survey on recently proposed activation functions for Deep Learning [0.0]
  本稿では,ニューラルネットワークにおけるアクティベーション関数の主な概念について述べる。 これには、ディープニューラルネットワークの簡単な紹介、アクティベーション関数とは何なのか、ニューラルネットワークでどのように使用されるのか、最も一般的な性質、異なるタイプのアクティベーション関数、いくつかの課題、制限、アクティベーション関数が直面する代替ソリューションなどが含まれる。
  論文  参考訳（メタデータ） (2022-04-06T16:21:52Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• Activation Functions in Artificial Neural Networks: A Systematic Overview [0.3553493344868413]
  活性化関数は人工ニューロンの出力を形成する。 本稿では、一般的なアクティベーション関数とその特性の解析的かつ最新の概要を提供する。
  論文  参考訳（メタデータ） (2021-01-25T08:55:26Z)
• Training of Deep Learning Neuro-Skin Neural Network [0.0]
  Deep Learning Neuro-Skin Neural Networkは、著者らが最近発表した新しいタイプのニューラルネットワークである。 神経骨格は有限要素を用いてモデル化される。有限要素の各要素は細胞を表す。 神経骨格は望ましい反応を提示できないが、徐々に所望のレベルに改善することが示されている。
  論文  参考訳（メタデータ） (2020-07-03T18:51:45Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。