論文の概要: Advantages of biologically-inspired adaptive neural activation in RNNs during learning

• arxiv url: http://arxiv.org/abs/2006.12253v1
• Date: Mon, 22 Jun 2020 13:49:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 04:19:26.769119
• Title: Advantages of biologically-inspired adaptive neural activation in RNNs during learning
• Title（参考訳）: 学習中のRNNにおける生物学的刺激による適応的神経活性化の利点
• Authors: Victor Geadah, Giancarlo Kerg, Stefan Horoi, Guy Wolf, Guillaume Lajoie
• Abstract要約: 生体ニューロンの入力周波数応答曲線にインスパイアされた非線形活性化関数のパラメトリックファミリーを導入する。 アクティベーション適応はタスク固有のソリューションを提供し、場合によっては学習速度と性能の両方を改善する。
• 参考スコア（独自算出の注目度）: 10.357949759642816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic adaptation in single-neuron response plays a fundamental role in neural coding in biological neural networks. Yet, most neural activation functions used in artificial networks are fixed and mostly considered as an inconsequential architecture choice. In this paper, we investigate nonlinear activation function adaptation over the large time scale of learning, and outline its impact on sequential processing in recurrent neural networks. We introduce a novel parametric family of nonlinear activation functions, inspired by input-frequency response curves of biological neurons, which allows interpolation between well-known activation functions such as ReLU and sigmoid. Using simple numerical experiments and tools from dynamical systems and information theory, we study the role of neural activation features in learning dynamics. We find that activation adaptation provides distinct task-specific solutions and in some cases, improves both learning speed and performance. Importantly, we find that optimal activation features emerging from our parametric family are considerably different from typical functions used in the literature, suggesting that exploiting the gap between these usual configurations can help learning. Finally, we outline situations where neural activation adaptation alone may help mitigate changes in input statistics in a given task, suggesting mechanisms for transfer learning optimization.
• Abstract（参考訳）: 単一ニューロン応答の動的適応は、生物学的ニューラルネットワークにおける神経コーディングにおいて基本的な役割を果たす。 しかし、人工ネットワークで使用されるほとんどの神経活性化機能は固定されており、ほとんどが不連続なアーキテクチャの選択と見なされている。 本稿では,大規模学習における非線形アクティベーション関数の適応について検討し,繰り返しニューラルネットワークにおける逐次処理への影響について概説する。 本稿では,生物ニューロンの入力周波数応答曲線に触発された新しい非線形活性化関数のパラメトリックファミリーを導入し,reluやsgmoidなどの既知の活性化関数間の補間を可能にする。 力学系と情報理論による単純な数値実験とツールを用いて,学習ダイナミクスにおける神経活性化機能の役割について検討する。 アクティベーション適応はタスク固有のソリューションを提供し、場合によっては学習速度と性能の両方を改善する。 重要なことに、パラメトリックファミリーから出現する最適なアクティベーション機能は、文献で使われる典型的な機能とはかなり異なり、これらの通常の構成間のギャップを利用することが学習に役立つことを示唆しています。 最後に,神経アクティベーション適応が与えられたタスクにおける入力統計の変化を緩和し,トランスファー学習の最適化のメカニズムを示唆する。

関連論文リスト

• Fast gradient-free activation maximization for neurons in spiking neural networks [5.805438104063613]
  このようなループのための効率的な設計のフレームワークを提案する。 トレーニング中の人工ニューロンの最適刺激の変化を追跡する。 この洗練された最適刺激の形成は、分類精度の増大と関連している。
  論文  参考訳（メタデータ） (2023-12-28T18:30:13Z)
• Astrocytes as a mechanism for meta-plasticity and contextually-guided network function [2.66269503676104]
  アストロサイトは、ユビキタスでエニグマティックな非神経細胞である。 アストロサイトは脳機能や神経計算においてより直接的で活発な役割を果たす。
  論文  参考訳（メタデータ） (2023-11-06T20:31:01Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na previsao de series temporais [0.0]
  本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。 定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。 ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
  論文  参考訳（メタデータ） (2021-07-29T23:32:15Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• Activation Functions in Artificial Neural Networks: A Systematic Overview [0.3553493344868413]
  活性化関数は人工ニューロンの出力を形成する。 本稿では、一般的なアクティベーション関数とその特性の解析的かつ最新の概要を提供する。
  論文  参考訳（メタデータ） (2021-01-25T08:55:26Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)
• Rational neural networks [3.4376560669160394]
  我々は合理的な活性化機能を持つニューラルネットワークを考える。 有理ニューラルネットワークが指数関数的に小さいReLUネットワークよりもスムーズな関数を効率的に近似していることを証明する。
  論文  参考訳（メタデータ） (2020-04-04T10:36:11Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。