論文の概要: Benchmarking Neural Decoding Backbones towards Enhanced On-edge iBCI Applications

• arxiv url: http://arxiv.org/abs/2406.06626v1
• Date: Sat, 8 Jun 2024 02:45:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 20:54:41.202449
• Title: Benchmarking Neural Decoding Backbones towards Enhanced On-edge iBCI Applications
• Title（参考訳）: 拡張オンエッジiBCIアプリケーションに向けたニューラルネットワークデコードバックボーンのベンチマーク
• Authors: Zhou Zhou, Guohang He, Zheng Zhang, Luziwei Leng, Qinghai Guo, Jianxing Liao, Xuan Song, Ran Cheng,
• Abstract要約: 本研究は、エッジ展開に適した堅牢な性能と迅速な推論能力を有する最適な神経復号バックボーンを特定することを目的とする。 我々は、GRU(Gated Recurrent Unit)、Transformer、Receptance Weighted Key Value(RWKV)、Selective State Space Model(Mamba)の4つの予測モデルを評価した。 これらの結果から, GRUモデルでは十分な精度が得られたが, RWKVモデルとMambaモデルの方が推論速度とキャリブレーション速度が優れていることが示唆された。
• 参考スコア（独自算出の注目度）: 28.482461973598593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional invasive Brain-Computer Interfaces (iBCIs) typically depend on neural decoding processes conducted on workstations within laboratory settings, which prevents their everyday usage. Implementing these decoding processes on edge devices, such as the wearables, introduces considerable challenges related to computational demands, processing speed, and maintaining accuracy. This study seeks to identify an optimal neural decoding backbone that boasts robust performance and swift inference capabilities suitable for edge deployment. We executed a series of neural decoding experiments involving nonhuman primates engaged in random reaching tasks, evaluating four prospective models, Gated Recurrent Unit (GRU), Transformer, Receptance Weighted Key Value (RWKV), and Selective State Space model (Mamba), across several metrics: single-session decoding, multi-session decoding, new session fine-tuning, inference speed, calibration speed, and scalability. The findings indicate that although the GRU model delivers sufficient accuracy, the RWKV and Mamba models are preferable due to their superior inference and calibration speeds. Additionally, RWKV and Mamba comply with the scaling law, demonstrating improved performance with larger data sets and increased model sizes, whereas GRU shows less pronounced scalability, and the Transformer model requires computational resources that scale prohibitively. This paper presents a thorough comparative analysis of the four models in various scenarios. The results are pivotal in pinpointing an optimal backbone that can handle increasing data volumes and is viable for edge implementation. This analysis provides essential insights for ongoing research and practical applications in the field.
• Abstract（参考訳）: 従来の侵入型脳-コンピュータインタフェース(iBCI)は、通常、実験室内のワークステーションで実行される神経デコードプロセスに依存しており、日常的な使用を妨げている。 ウェアラブルのようなエッジデバイスにこれらのデコーディングプロセスを実装すると、計算要求、処理速度、精度の維持に関する大きな課題が生じる。 本研究は、エッジ展開に適した堅牢な性能と迅速な推論能力を有する最適な神経復号バックボーンを特定することを目的とする。 我々は、ランダムな到達タスクに従事する非ヒト霊長類を含む一連の神経復号実験を行い、新しいセッション微調整、推論速度、キャリブレーション速度、スケーラビリティの4つの予測モデル、トランスフォーマー、Receptance Weighted Key Value(RWKV)、Selective State Space Model(Mamba)を評価した。 これらの結果から, GRUモデルでは十分な精度が得られたが, RWKVモデルとMambaモデルの方が推論速度とキャリブレーション速度が優れていることが示唆された。 さらに、RWKVとMambaはスケール法に従い、より大きなデータセットとモデルサイズの増加によるパフォーマンスの向上を示す一方、GRUはスケーラビリティの低下を示し、Transformerモデルは違法にスケールする計算資源を必要とする。 本稿では,各シナリオにおける4つのモデルの比較分析について述べる。 結果は、データボリュームの増加に対処し、エッジ実装で実行可能な最適なバックボーンをピンポイントする上で重要なものだ。 この分析は、この分野における継続的な研究と実践的な応用に不可欠な洞察を与える。

関連論文リスト

• BiDense: Binarization for Dense Prediction [62.70804353158387]
  BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
  論文  参考訳（メタデータ） (2024-11-15T16:46:04Z)
• Scaling Laws for Task-Optimized Models of the Primate Visual Ventral Stream [3.4526439922541705]
  霊長類視覚腹側流(VVS)のモデリングにおけるスケーリング法則の評価を行った。 行動アライメントはより大きなモデルでスケールし続けるが、ニューラルアライメントは飽和する。 スケーリングの増加は、少数のサンプルでトレーニングされた小さなモデルでは、アライメントが不十分である、高レベルの視覚領域において特に有益である。
  論文  参考訳（メタデータ） (2024-11-08T17:13:53Z)
• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• Efficient Model Adaptation for Continual Learning at the Edge [15.334881190102895]
  ほとんどの機械学習(ML)システムは、トレーニングとデプロイメントの間、定常的で一致したデータ分散を前提としている。 データ分布は、環境要因、センサー特性、タスク・オブ・関心などの変化により、時間とともに変化することが多い。 本稿では,ドメインシフト下での効率的な連続学習のためのアダプタ・リコンフィグレータ(EAR)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T23:55:17Z)
• IB-UQ: Information bottleneck based uncertainty quantification for neural function regression and neural operator learning [11.5992081385106]
  本稿では,科学的機械学習タスクのための情報ボトルネック(IB-UQ)による不確実性定量化のための新しいフレームワークを提案する。 我々は,入力データの信頼度に応じて,入力を潜在表現に符号化する信頼認識エンコーダによってボトルネックを埋め込む。 また,外挿不確かさの質を高めるために,データ拡張に基づく情報ボトルネック目標を提案する。
  論文  参考訳（メタデータ） (2023-02-07T05:56:42Z)
• NCTV: Neural Clamping Toolkit and Visualization for Neural Network Calibration [66.22668336495175]
  ニューラルネットワークのキャリブレーションに対する考慮の欠如は、人間から信頼を得ることはないだろう。 我々はNeural Clamping Toolkitを紹介した。これは開発者が最先端のモデルに依存しないキャリブレーションモデルを採用するのを支援するために設計された最初のオープンソースフレームワークである。
  論文  参考訳（メタデータ） (2022-11-29T15:03:05Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• T4PdM: a Deep Neural Network based on the Transformer Architecture for Fault Diagnosis of Rotating Machinery [0.0]
  本稿では,Transformerアーキテクチャの修正版であるT4PdMに基づいて,自動故障分類器モデルを構築した。 T4PdMは2つのデータセットの総合精度99.98%と98%を達成した。 回転する産業機械の故障の検出・分類におけるモデルの有用性を実証した。
  論文  参考訳（メタデータ） (2022-04-07T20:31:45Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)
• Designing Accurate Emulators for Scientific Processes using Calibration-Driven Deep Models [33.935755695805724]
  Learn-by-Calibrating (LbC)は、科学応用においてエミュレータを設計するための新しいディープラーニングアプローチである。 また,LbCは広く適応された損失関数の選択に対して,一般化誤差を大幅に改善することを示した。 LbCは、小さなデータレギュレータでも高品質なエミュレータを実現し、さらに重要なことは、明確な事前条件なしで固有のノイズ構造を復元する。
  論文  参考訳（メタデータ） (2020-05-05T16:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。