論文の概要: Scheduled Knowledge Acquisition on Lightweight Vector Symbolic Architectures for Brain-Computer Interfaces

• arxiv url: http://arxiv.org/abs/2403.13844v1
• Date: Mon, 18 Mar 2024 01:06:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 18:28:52.694772
• Title: Scheduled Knowledge Acquisition on Lightweight Vector Symbolic Architectures for Brain-Computer Interfaces
• Title（参考訳）: 脳-コンピュータインタフェースのための軽量ベクトル記号アーキテクチャのスケジューリング知識獲得
• Authors: Yejia Liu, Shijin Duan, Xiaolin Xu, Shaolei Ren,
• Abstract要約: 古典的特徴エンジニアリングは計算効率は高いが精度は低いが、最近のニューラルネットワーク(DNN)は精度を向上するが、計算コストが高く、レイテンシが高い。 有望な代替として、ベクトル記号アーキテクチャ(VSA)に基づく低次元計算(LDC)分類器は、古典的な特徴工学手法よりも小さいモデルサイズで精度が高い。
• 参考スコア（独自算出の注目度）: 18.75591257735207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Brain-Computer interfaces (BCIs) are typically designed to be lightweight and responsive in real-time to provide users timely feedback. Classical feature engineering is computationally efficient but has low accuracy, whereas the recent neural networks (DNNs) improve accuracy but are computationally expensive and incur high latency. As a promising alternative, the low-dimensional computing (LDC) classifier based on vector symbolic architecture (VSA), achieves small model size yet higher accuracy than classical feature engineering methods. However, its accuracy still lags behind that of modern DNNs, making it challenging to process complex brain signals. To improve the accuracy of a small model, knowledge distillation is a popular method. However, maintaining a constant level of distillation between the teacher and student models may not be the best way for a growing student during its progressive learning stages. In this work, we propose a simple scheduled knowledge distillation method based on curriculum data order to enable the student to gradually build knowledge from the teacher model, controlled by an $\alpha$ scheduler. Meanwhile, we employ the LDC/VSA as the student model to enhance the on-device inference efficiency for tiny BCI devices that demand low latency. The empirical results have demonstrated that our approach achieves better tradeoff between accuracy and hardware efficiency compared to other methods.
• Abstract（参考訳）: Brain-Computer Interface (BCI) は通常、ユーザがタイムリーなフィードバックを提供するために、軽量でリアルタイムに応答できるように設計されている。 古典的特徴エンジニアリングは計算効率は高いが精度は低いが、最近のニューラルネットワーク(DNN)は精度を向上するが、計算コストが高く、レイテンシが高い。 有望な代替として、ベクトル記号アーキテクチャ(VSA)に基づく低次元計算(LDC)分類器は、古典的な特徴工学手法よりも小さいモデルサイズで精度が高い。 しかし、その精度は現代のDNNと比べても遅れており、複雑な脳信号を処理することは困難である。 小モデルの精度を向上させるため、知識蒸留は一般的な方法である。 しかし、教師と生徒のモデルの蒸留レベルを一定に保つことは、成長する学生にとって、その進歩的な学習段階において最善の方法ではないかもしれない。 そこで本研究では,カリキュラムデータに基づく簡易な知識蒸留手法を提案し,学生が授業モデルから徐々に知識を構築できるようにし,それを$\alpha$スケジューラで制御する。 一方,LDC/VSAを学生モデルとして採用し,低レイテンシを必要とする小型BCIデバイスにおいて,デバイス上での推論効率を向上させる。 実験結果から,本手法は他の手法に比べて精度とハードウェア効率のトレードオフが良好であることが示された。

関連論文リスト

• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Benchmarking Learning Efficiency in Deep Reservoir Computing [23.753943709362794]
  我々は、機械学習モデルがトレーニングデータからいかに早く学習するかを測定するために、データ効率の指標とともに、ますます困難なタスクのベンチマークを導入する。 我々は、RNN、LSTM、Transformersなどの確立された逐次教師付きモデルの学習速度を、貯水池計算に基づく比較的知られていない代替モデルと比較する。
  論文  参考訳（メタデータ） (2022-09-29T08:16:52Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• A Brain-Inspired Low-Dimensional Computing Classifier for Inference on Tiny Devices [17.976792694929063]
  超次元コンピューティング(HDC)に代わる低次元コンピューティング(LDC)を提案する。 我々は、LCC分類器をニューラルネットワークにマッピングし、原則化されたトレーニングアプローチを用いてモデルを最適化する。 我々のLCC分類器は、既存の脳にインスパイアされたHDCモデルに対して圧倒的な優位性を提供し、特に小さなデバイスでの推論に適している。
  論文  参考訳（メタデータ） (2022-03-09T17:20:12Z)
• Light-weight Deformable Registration using Adversarial Learning with Distilling Knowledge [17.475408305030278]
  本稿では,競争精度を向上しつつ計算コストを大幅に削減する軽量変形型レジストレーションネットワークを提案する。 特に,有効だが高価な教師ネットワークから学生ネットワークへの有意義な情報を活用した蒸留知識アルゴリズムを用いた新たな逆学習を提案する。 各種公開データセットに対する実験結果から,提案手法は最先端の精度を達成できる一方で,最近の手法よりもはるかに高速であることがわかった。
  論文  参考訳（メタデータ） (2021-10-04T09:59:01Z)
• Boosting Light-Weight Depth Estimation Via Knowledge Distillation [21.93879961636064]
  本稿では,最小限の計算資源を用いて深度マップを正確に推定できる軽量ネットワークを提案する。 モデル複雑性を最大に低減するコンパクトなモデルアーキテクチャを設計することで、これを実現する。 本手法は, パラメータの1%しか使用せず, 最先端手法に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2021-05-13T08:42:42Z)
• SynergicLearning: Neural Network-Based Feature Extraction for Highly-Accurate Hyperdimensional Learning [3.5024680868164437]
  機械学習モデルは、精度、計算/メモリの複雑さ、トレーニング時間、適応性という点で異なる。 本研究は, チップ上でのインクリメンタルなオンライン学習に適したハイブリッド・シナジー型機械学習モデルを提案する。 提案したモデルは、NNと同じレベルの精度(すなわち$pm$1%)を持ち、HD学習モデルと比較して少なくとも10%の精度向上を実現している。
  論文  参考訳（メタデータ） (2020-07-30T04:35:20Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。