論文の概要: Bio-Inspired Adaptive Neurons for Dynamic Weighting in Artificial Neural Networks
- arxiv url: http://arxiv.org/abs/2412.01454v1
- Date: Mon, 02 Dec 2024 12:45:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:51:00.019736
- Title: Bio-Inspired Adaptive Neurons for Dynamic Weighting in Artificial Neural Networks
- Title（参考訳）: バイオインスパイアされた適応ニューロンによるニューラルネットワークの動的重み付け
- Authors: Ashhadul Islam, Abdesselam Bouzerdoum, Samir Brahim Belhaouari,
- Abstract要約: 従来のニューラルネットワークは、推論中に一定の重みを使い、入力条件の変化に適応する能力を制限する。
本稿では,ニューロン重みを入力信号の関数としてモデル化する,適応型ニューラルネットワークのための新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 6.931200003384122
- License:
- Abstract: Traditional neural networks employ fixed weights during inference, limiting their ability to adapt to changing input conditions, unlike biological neurons that adjust signal strength dynamically based on stimuli. This discrepancy between artificial and biological neurons constrains neural network flexibility and adaptability. To bridge this gap, we propose a novel framework for adaptive neural networks, where neuron weights are modeled as functions of the input signal, allowing the network to adjust dynamically in real-time. Importantly, we achieve this within the same traditional architecture of an Artificial Neural Network, maintaining structural familiarity while introducing dynamic adaptability. In our research, we apply Chebyshev polynomials as one of the many possible decomposition methods to achieve this adaptive weighting mechanism, with polynomial coefficients learned during training. Out of the 145 datasets tested, our adaptive Chebyshev neural network demonstrated a marked improvement over an equivalent MLP in approximately 8\% of cases, performing strictly better on 121 datasets. In the remaining 24 datasets, the performance of our algorithm matched that of the MLP, highlighting its ability to generalize standard neural network behavior while offering enhanced adaptability. As a generalized form of the MLP, this model seamlessly retains MLP performance where needed while extending its capabilities to achieve superior accuracy across a wide range of complex tasks. These results underscore the potential of adaptive neurons to enhance generalization, flexibility, and robustness in neural networks, particularly in applications with dynamic or non-linear data dependencies.
- Abstract（参考訳）: 従来のニューラルネットワークでは、推論中に一定の重みを使い、刺激に基づいて信号強度を動的に調整する生物学的ニューロンとは異なり、入力条件の変化に適応する能力を制限する。
この人工ニューロンと生物学的ニューロンの相違は、ニューラルネットワークの柔軟性と適応性を制約する。
このギャップを埋めるために,ニューロン重みを入力信号の関数としてモデル化し,ネットワークをリアルタイムに動的に調整する,適応型ニューラルネットワークの新しいフレームワークを提案する。
重要なのは、ニューラルネットワークの従来のアーキテクチャでこれを実現し、動的適応性を導入しながら構造的親しみを保ちます。
本研究では、この適応重み付け機構を実現するために、チェビシェフ多項式を多くの可能な分解方法の1つとして応用し、訓練中に多項式係数を学習する。
テストされた145のデータセットのうち、我々の適応型Chebyshevニューラルネットワークは、約86%のケースで同等のMLPよりも顕著に改善され、121のデータセットで厳格に改善された。
残りの24データセットでは、我々のアルゴリズムの性能はMLPのパフォーマンスと一致し、適応性を高めつつ、標準的なニューラルネットワークの振る舞いを一般化する能力を強調した。
MLPの一般化形式として、このモデルは必要に応じてMPP性能をシームレスに保ちながら、その能力を拡張して幅広い複雑なタスクにまたがる精度を向上する。
これらの結果は、特に動的または非線形なデータ依存関係を持つアプリケーションにおいて、ニューラルネットワークの一般化、柔軟性、堅牢性を高める適応ニューロンの可能性を強調している。
関連論文リスト
- Trainable Adaptive Activation Function Structure (TAAFS) Enhances Neural Network Force Field Performance with Only Dozens of Additional Parameters [0.0]
TAAFS(Treatable Adaptive Function Activation Structure)
非線形なアクティベーションのための数学的定式化を選択する方法を提案する。
本研究では、TAAFSを様々なニューラルネットワークモデルに統合し、精度の向上を観察する。
論文 参考訳（メタデータ） (2024-12-19T09:06:39Z) - Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳（メタデータ） (2024-12-05T09:41:33Z) - Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
本稿では、適応LIFニューロンとそのネットワークの動的、計算的、および学習特性について分析する。
適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。
論文 参考訳（メタデータ） (2024-08-14T12:49:58Z) - Neuroevolving Electronic Dynamical Networks [0.0]
ニューロ進化(Neuroevolution)は、自然選択によって人工ニューラルネットワークの性能を改良するために進化的アルゴリズムを適用する方法である。
連続時間リカレントニューラルネットワーク(CTRNN)の適合性評価は、時間と計算コストがかかる可能性がある。
フィールドプログラマブルゲートアレイ(FPGA)は、高性能で消費電力の少ないため、ますます人気が高まっている。
論文 参考訳（メタデータ） (2024-04-06T10:54:35Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。
LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Expressive architectures enhance interpretability of dynamics-based
neural population models [2.294014185517203]
シミュレーションされたニューラルネットワークから潜在カオスを引き付ける際のシーケンシャルオートエンコーダ(SAE)の性能を評価する。
広帯域再帰型ニューラルネットワーク(RNN)を用いたSAEでは,真の潜在状態次元での正確な発射速度を推定できないことがわかった。
論文 参考訳（メタデータ） (2022-12-07T16:44:26Z) - Effective and Efficient Computation with Multiple-timescale Spiking
Recurrent Neural Networks [0.9790524827475205]
本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。
我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
論文 参考訳（メタデータ） (2020-05-24T01:04:53Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z) - Flexible Transmitter Network [84.90891046882213]
現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。
本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。
本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
論文 参考訳（メタデータ） (2020-04-08T06:55:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。