論文の概要: CLANE: Continual Learning of Actions on Neuromorphic Hardware from Event Cameras
- arxiv url: http://arxiv.org/abs/2605.28387v1
- Date: Wed, 27 May 2026 12:24:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:56.040198
- Title: CLANE: Continual Learning of Actions on Neuromorphic Hardware from Event Cameras
- Title（参考訳）: CLANE: イベントカメラからのニューロモルフィックハードウェアに対するアクションの継続的な学習
- Authors: Elvin Hajizada, Michael Neumeier, Edward Paxon Frady, Yulia Sandamirskaya, Axel von Arnim, Bing Li, Eyke Hüllermeier,
- Abstract要約: 我々は、Intel Loihi 2.0上にエンドツーエンドに展開したCLANE(Continuous Learning of Actions on Neuromorphic Hardware from Event Cameras)を紹介する。
CNN+GRU+CLPエッジGPUベースライン上で,100倍以上のエネルギー削減と16倍のレイテンシを実現するとともに,連続的な学習タスクにおいて70.4%の精度を実現する。
- 参考スコア（独自算出の注目度）: 28.615063153642144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recognizing and continuously learning novel human actions without forgetting prior classes is a requirement for emerging AR/VR and robotics applications. For these applications, both on-device processing and learning are essential for privacy and low-latency adaptation. Event cameras address the efficiency of visual sensing with sparse, asynchronous output that is naturally compatible with neuromorphic processing. Yet no prior system has deployed a continual on-device learning pipeline for event-based action recognition using neuromorphic hardware. We present CLANE, Continual Learning of Actions on Neuromorphic Hardware from Event Cameras, deployed end-to-end on Intel Loihi 2. CLANE combines a spiking 2D CNN for spatiotemporal feature extraction with CLP-SNN as its on-chip learning head, extended to action clips via a Temporal Aggregation Layer and a fixed-point Normalization Layer, both novel Loihi 2 modules. On THU E-ACT-50, a 50-class dataset captured under real-world conditions, CLANE achieves 70.4% accuracy in a continual learning task while delivering more than 100x energy reduction and 16x lower latency over a sequential CNN+GRU+CLP edge GPU baseline, validated through iso-algorithm cross-platform benchmarking across three evaluation levels.
- Abstract（参考訳）: 従来のクラスを忘れずに新しい人間の行動を認識し、継続的に学習することは、新しいAR/VRおよびロボティクスアプリケーションに必要なものだ。
これらのアプリケーションでは、オンデバイス処理と学習の両方が、プライバシと低レイテンシ適応に不可欠である。
イベントカメラは、ニューロモルフィック処理と自然に互換性のあるスパースで非同期な出力で視覚センシングの効率に対処する。
しかし、ニューロモルフィックハードウェアを使用したイベントベースのアクション認識のために、デバイス上で連続的な学習パイプラインをデプロイした以前のシステムは存在しない。
我々は、Intel Loihi 2.0上にエンドツーエンドに展開したCLANE(Continuous Learning of Actions on Neuromorphic Hardware from Event Cameras)を紹介する。
CLANEは、時空間の特徴抽出のためのスパイク2D CNNと、CLP-SNNをオンチップ学習ヘッドとして組み合わせ、テンポラルアグリゲーション層と固定点正規化層を介してアクションクリップに拡張した。
現実の条件下でキャプチャされた50クラスのデータセットTHU E-ACT-50では、CLANEは連続的な学習タスクにおいて70.4%の精度を実現し、連続的なCNN+GRU+CLPエッジGPUベースライン上で100倍以上のエネルギー削減と16倍のレイテンシを実現した。
関連論文リスト
- Real-time Continual Learning on Intel Loihi 2 [22.180269101937565]
オンライン連続学習のためのCLP-SNNと呼ばれるニューロモルフィックなソリューションを提案する。
CLP-SNNは変換効率の向上を提供する。
これは、共同設計のブレインインインスパイアされたアルゴリズムとニューロモーフィックなハードウェアが、将来のエッジAIシステムに対する従来の精度と効率のトレードオフを壊すことを実証している。
論文 参考訳（メタデータ） (2025-11-03T13:16:16Z) - POET: Prompt Offset Tuning for Continual Human Action Adaptation [61.63831623094721]
ユーザと開発者に対して,デバイスモデルに新たなアクションクラスを継続的に追加することで,エクスペリエンスをパーソナライズする機能の提供を目標としています。
我々はこれをプライバシーに配慮した数発の連続的な行動認識として定式化する。
本稿では,新しい時間的学習可能なプロンプトチューニング手法を提案し,グラフニューラルネットワークにこのようなプロンプトチューニングを適用した。
論文 参考訳（メタデータ） (2025-04-25T04:11:24Z) - EON-1: A Brain-Inspired Processor for Near-Sensor Extreme Edge Online Feature Extraction [32.343120409334475]
EON-1は脳にインスパイアされた、極端端端のオンライン特徴抽出のためのプロセッサである。
学習に要するエネルギーオーバーヘッドは1%に過ぎず,他のSoTAソリューションと比較した場合のオーバーヘッドは極端に低い。
論文 参考訳（メタデータ） (2024-06-25T05:23:41Z) - Low-power event-based face detection with asynchronous neuromorphic
hardware [2.0774873363739985]
本稿では、SynSense Speckニューロモルフィックチップ上に展開されたイベントベースの顔検出のためのオンチップスパイクニューラルネットワークの最初の例を示す。
トレーニングに用いるオフチップクロック駆動シミュレーションとオンチップイベント駆動推論との精度の相違について述べる。
オンチップ顔検出のmAP[0.5]は0.6で、20mWしか消費しない。
論文 参考訳（メタデータ） (2023-12-21T19:23:02Z) - NeuroCLIP: Neuromorphic Data Understanding by CLIP and SNN [16.104055742259128]
我々は2D CLIPと2つの特別設計モジュールからなるNeuroCLIPを開発した。
N-MNIST、CIFAR10-DVS、ES-ImageNetなどのニューロモルフィックデータセットに関する様々な実験は、NeuroCLIPの有効性を実証している。
論文 参考訳（メタデータ） (2023-06-21T07:46:27Z) - ETLP: Event-based Three-factor Local Plasticity for online learning with
neuromorphic hardware [105.54048699217668]
イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。
また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
論文 参考訳（メタデータ） (2023-01-19T19:45:42Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern
Recognition on Neuromorphic Hardware [50.380319968947035]
近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。
文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。
フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。
LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
論文 参考訳（メタデータ） (2022-05-30T14:30:45Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。