論文の概要: Bio-Inspired Mamba: Temporal Locality and Bioplausible Learning in Selective State Space Models
- arxiv url: http://arxiv.org/abs/2409.11263v1
- Date: Tue, 17 Sep 2024 15:11:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 16:13:33.982771
- Title: Bio-Inspired Mamba: Temporal Locality and Bioplausible Learning in Selective State Space Models
- Title（参考訳）: バイオインスパイアされたマンバ--選択状態空間モデルにおける時間的局所性と生物工学的学習
- Authors: Jiahao Qin,
- Abstract要約: Bio-Inspired Mambaは、生物学習の原則とMambaアーキテクチャを統合する、選択的な状態空間モデルのための新しいオンライン学習フレームワークである。
BIMはリアルタイム・リカレント・ラーニング(RTRL)とSpike-Timing-Dependent Plasticity(STDP)のようなローカル・ラーニング・ルールを組み合わせることで、スパイキングニューラルネットワークのトレーニングにおける時間的局所性と生物学的妥当性の課題に対処する。
言語モデリング,音声認識,バイオメディカル信号解析におけるBIMの評価を行い,生物学習の原則を順守しつつ,従来の手法と競合する性能を実証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces Bio-Inspired Mamba (BIM), a novel online learning framework for selective state space models that integrates biological learning principles with the Mamba architecture. BIM combines Real-Time Recurrent Learning (RTRL) with Spike-Timing-Dependent Plasticity (STDP)-like local learning rules, addressing the challenges of temporal locality and biological plausibility in training spiking neural networks. Our approach leverages the inherent connection between backpropagation through time and STDP, offering a computationally efficient alternative that maintains the ability to capture long-range dependencies. We evaluate BIM on language modeling, speech recognition, and biomedical signal analysis tasks, demonstrating competitive performance against traditional methods while adhering to biological learning principles. Results show improved energy efficiency and potential for neuromorphic hardware implementation. BIM not only advances the field of biologically plausible machine learning but also provides insights into the mechanisms of temporal information processing in biological neural networks.
- Abstract（参考訳）: 本稿では,バイオインスパイアされたマンバ(BIM)について紹介する。BIMは,生物学習の原則をマンバアーキテクチャと統合した,選択状態空間モデルのための新しいオンライン学習フレームワークである。
BIMはリアルタイム・リカレント・ラーニング(RTRL)とSpike-Timing-Dependent Plasticity(STDP)のようなローカル・ラーニング・ルールを組み合わせることで、スパイキングニューラルネットワークのトレーニングにおける時間的局所性と生物学的妥当性の課題に対処する。
我々のアプローチは、時間とSTDPによるバックプロパゲーションの本質的にの接続を活用し、長距離依存関係をキャプチャする能力を維持するための計算効率の良い代替手段を提供する。
言語モデリング,音声認識,バイオメディカル信号解析におけるBIMの評価を行い,生物学習の原則を順守しつつ,従来の手法と競合する性能を実証した。
その結果、ニューロモルフィックハードウェアの実装におけるエネルギー効率とポテンシャルが改善された。
BIMは生物学的に妥当な機械学習の分野を前進させるだけでなく、生物学的ニューラルネットワークにおける時間情報処理のメカニズムに関する洞察も提供する。
関連論文リスト
- Memory Networks: Towards Fully Biologically Plausible Learning [2.7013801448234367]
現在の人工ニューラルネットワークは、バックプロパゲーションやウェイトシェアリングのような技術に依存しており、脳の自然な情報処理方法と一致しない。
本稿では,逆伝播や畳み込みを回避し,単一のパスで動作させる生物学的原理にインスパイアされたメモリネットワークを提案する。
論文 参考訳（メタデータ） (2024-09-18T06:01:35Z) - Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Unlocking the Potential of Similarity Matching: Scalability, Supervision
and Pre-training [9.160910754837754]
バックプロパゲーション(BP)アルゴリズムは、生物学的な妥当性、計算コスト、オンライン学習に適した限界を示す。
本研究は, 生体系における観察機構と整合する, 主に教師なし類似性マッチング(SM)フレームワークに焦点を当てた。
論文 参考訳（メタデータ） (2023-08-02T20:34:55Z) - Spiking Neural Networks and Bio-Inspired Supervised Deep Learning: A
Survey [9.284385189718236]
バイオインスパイアされたディープラーニングは、現在のモデルの計算能力と生物学的妥当性を向上させる。
近年のバイオインスパイアされたトレーニング手法は、従来のネットワークとスパイクネットワークの両方において、バックプロップの代替手段として機能している。
論文 参考訳（メタデータ） (2023-07-30T13:57:25Z) - TS-MoCo: Time-Series Momentum Contrast for Self-Supervised Physiological
Representation Learning [8.129782272731397]
ラベルを必要とせずに様々な生理領域から表現を学習するために,モーメントコントラストを持つ自己教師型学習に依存した新しい符号化フレームワークを提案する。
我々の自己教師型学習アプローチは、下流の分類タスクで活用できる差別的特徴を実際に学習できることを示します。
論文 参考訳（メタデータ） (2023-06-10T21:17:42Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - ETLP: Event-based Three-factor Local Plasticity for online learning with
neuromorphic hardware [105.54048699217668]
イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。
また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
論文 参考訳（メタデータ） (2023-01-19T19:45:42Z) - BioLeaF: A Bio-plausible Learning Framework for Training of Spiking
Neural Networks [4.698975219970009]
本稿では,新しいアーキテクチャと学習ルールをサポートする2つのコンポーネントからなる,生物工学的な新しい学習フレームワークを提案する。
マイクロ回路アーキテクチャでは,Spyke-Timing-Dependent-Plasticity(STDP)ルールをローカルコンパートメントで運用し,シナプス重みを更新する。
実験の結果,提案手法はBP法則に匹敵する学習精度を示す。
論文 参考訳（メタデータ） (2021-11-14T10:32:22Z) - Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。
能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。
その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
論文 参考訳（メタデータ） (2021-06-05T01:31:51Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。