論文の概要: Parallel Delayed Memory Units for Enhanced Temporal Modeling in Biomedical and Bioacoustic Signal Analysis
- arxiv url: http://arxiv.org/abs/2512.01626v1
- Date: Mon, 01 Dec 2025 12:46:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-02 19:46:34.851604
- Title: Parallel Delayed Memory Units for Enhanced Temporal Modeling in Biomedical and Bioacoustic Signal Analysis
- Title(参考訳): 生体・生体音響信号解析における時間モデル強化のための並列遅延メモリユニット
- Authors: Pengfei Sun, Wenyu Jiang, Paul Devos, Dick Botteldooren,
- Abstract要約: Parallel Delayed Memory Unit (PDMU) は、短期的クレジット割り当てのための遅延ゲート状態空間モジュールである。
PDMUは、ゲート遅延ライン機構を介して、短期的な時間的状態相互作用とメモリ効率を高める。
PDMUは並列トレーニングとシーケンシャル推論をサポートしており、既存の線形RNNフレームワークに簡単に統合できる。
- 参考スコア(独自算出の注目度): 17.73662095849247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Advanced deep learning architectures, particularly recurrent neural networks (RNNs), have been widely applied in audio, bioacoustic, and biomedical signal analysis, especially in data-scarce environments. While gated RNNs remain effective, they can be relatively over-parameterised and less training-efficient in some regimes, while linear RNNs tend to fall short in capturing the complexity inherent in bio-signals. To address these challenges, we propose the Parallel Delayed Memory Unit (PDMU), a {delay-gated state-space module for short-term temporal credit assignment} targeting audio and bioacoustic signals, which enhances short-term temporal state interactions and memory efficiency via a gated delay-line mechanism. Unlike previous Delayed Memory Units (DMU) that embed temporal dynamics into the delay-line architecture, the PDMU further compresses temporal information into vector representations using Legendre Memory Units (LMU). This design serves as a form of causal attention, allowing the model to dynamically adjust its reliance on past states and improve real-time learning performance. Notably, in low-information scenarios, the gating mechanism behaves similarly to skip connections by bypassing state decay and preserving early representations, thereby facilitating long-term memory retention. The PDMU is modular, supporting parallel training and sequential inference, and can be easily integrated into existing linear RNN frameworks. Furthermore, we introduce bidirectional, efficient, and spiking variants of the architecture, each offering additional gains in performance or energy efficiency. Experimental results on diverse audio and biomedical benchmarks demonstrate that the PDMU significantly enhances both memory capacity and overall model performance.
- Abstract(参考訳): 高度なディープラーニングアーキテクチャ、特にリカレントニューラルネットワーク(RNN)は、音声、バイオ音響、バイオメディカル信号分析、特にデータ共有環境で広く応用されている。
ゲートRNNは依然として有効であるが、一部のレジームでは比較的過度にパラメータ化され、トレーニング効率が低下するが、リニアRNNは生体信号に固有の複雑さを捉えるのに不足する傾向にある。
これらの課題に対処するために,音声および生体音響信号を対象とした,短期的時間的クレジット割当のための<delay-gated state-space>モジュールであるParallel Delayed Memory Unit (PDMU)を提案する。
従来の遅延メモリユニット (DMU) とは異なり、PDMUは時相情報をレジェンダーメモリユニット (LMU) を用いてベクトル表現に圧縮する。
この設計は因果的注意の一形態として機能し、モデルが過去の状態への依存を動的に調整し、リアルタイムの学習性能を向上させる。
特に、低情報シナリオでは、ゲーティング機構は状態崩壊を回避し、初期表現を保存することで接続をスキップするように振る舞うため、長期記憶の保持が容易になる。
PDMUはモジュール化されており、並列トレーニングとシーケンシャル推論をサポートしており、既存の線形RNNフレームワークに簡単に統合できる。
さらに、アーキテクチャの双方向的、効率的、スパイク的なバリエーションを導入し、それぞれがパフォーマンスやエネルギー効率のさらなる向上を提供します。
様々なオーディオ・バイオメディカル・ベンチマーク実験の結果、PDMUはメモリ容量と全体的なモデル性能の両方を著しく向上させることが示された。
関連論文リスト
- DNN-Based Precoding in RIS-Aided mmWave MIMO Systems With Practical Phase Shift [43.56429251312585]
本稿では、直接通信路を妨害したミリ波マルチインプット多重出力(MIMO)システムのスループットを最大化する。
リコンフィギュアブルインテリジェントサーフェス(RIS)は、視線(LoS)とマルチパス効果に関連するmmWave特性を考慮して伝送性を高めるために使用される。
ディープニューラルネットワーク(DNN)は、より高速なコードワード選択を容易にするために開発された。
論文 参考訳(メタデータ) (2025-07-03T17:35:06Z) - Neuromorphic Wireless Split Computing with Resonate-and-Fire Neurons [69.73249913506042]
本稿では、共振器(RF)ニューロンを用いて時間領域信号を直接処理する無線スプリットコンピューティングアーキテクチャについて検討する。
可変周波数で共鳴することにより、RFニューロンは低スパイク活性を維持しながら時間局在スペクトル特徴を抽出する。
実験の結果,提案したRF-SNNアーキテクチャは従来のLIF-SNNやANNと同等の精度を達成できることがわかった。
論文 参考訳(メタデータ) (2025-06-24T21:14:59Z) - Multivariate Long-term Time Series Forecasting with Fourier Neural Filter [42.60778405812048]
我々はFNFをバックボーンとして、DBDをアーキテクチャとして導入し、空間時間モデルのための優れた学習能力と最適な学習経路を提供する。
FNFは、局所時間領域とグローバル周波数領域の情報処理を単一のバックボーン内で統合し、空間的モデリングに自然に拡張することを示す。
論文 参考訳(メタデータ) (2025-06-10T18:40:20Z) - An Efficient Self-Supervised Framework for Long-Sequence EEG Modeling [2.1232375739287006]
脳波表現学習のための自己教師型フレームワークであるEEGM2を提案する。
EEGM2は、ショートシーケンスとロングシーケンスの両方のモデリングと分類において最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-02-25T05:57:56Z) - REST: Efficient and Accelerated EEG Seizure Analysis through Residual State Updates [54.96885726053036]
本稿では,リアルタイム脳波信号解析のための新しいグラフベース残状態更新機構(REST)を提案する。
グラフニューラルネットワークとリカレント構造の組み合わせを活用することで、RESTは、非ユークリッド幾何学とEEGデータ内の時間的依存関係の両方を効率的にキャプチャする。
本モデルは,発作検出と分類作業において高い精度を示す。
論文 参考訳(メタデータ) (2024-06-03T16:30:19Z) - PRES: Toward Scalable Memory-Based Dynamic Graph Neural Networks [22.47336262812308]
メモリベースの動的グラフニューラルネットワーク(MDGNN)は、動的グラフニューラルネットワークのファミリーであり、メモリモジュールを利用して、長期の時間的依存関係を抽出、抽出、抽出する。
本稿では,時間的バッチサイズが大きいMDGNNの訓練における時間的不連続性に着目し,大規模MDGNNの効率的な訓練について検討する。
論文 参考訳(メタデータ) (2024-02-06T01:34:56Z) - Delayed Memory Unit: Modelling Temporal Dependency Through Delay Gate [16.4160685571157]
リカレントニューラルネットワーク(RNN)は、時間的依存をモデル化する能力で広く認識されている。
本稿では、ゲートRNNのための新しい遅延メモリユニット(DMU)を提案する。
DMUは遅延線構造と遅延ゲートをバニラRNNに組み込み、時間的相互作用を高め、時間的信用割り当てを容易にする。
論文 参考訳(メタデータ) (2023-10-23T14:29:48Z) - Recurrence-in-Recurrence Networks for Video Deblurring [58.49075799159015]
最先端のビデオデブロアリング法は、しばしばフレーム間の時間的依存性をモデル化するために、リカレントニューラルネットワークを採用する。
本稿では,短距離メモリの限界に対処する再帰型ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-03-12T11:58:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。