論文の概要: Low-Latency Activation-Regularized Sparse Neural Operators with Distillation Assistance Towards Real-Time Edge-Deployable Virtual Sensing
- arxiv url: http://arxiv.org/abs/2608.23987v1
- Date: Tue, 25 Aug 2026 02:26:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.761485
- Title: Low-Latency Activation-Regularized Sparse Neural Operators with Distillation Assistance Towards Real-Time Edge-Deployable Virtual Sensing
- Title（参考訳）: リアルタイムエッジ展開型仮想センシングに向けた蒸留支援による低レイテンシ活性化型スパースニューラル演算子
- Abstract要約: スパイキングニューロンとニューロモルフィックコンピューティングは効率を向上するが、代理段階のトレーニングと多段階スパイキングは収束とレイテンシの課題をもたらす。
本稿では,SAR(Sparse-Activation-ReLU)層を提案する。
これらのアプローチは、それぞれ2倍以上の誤差と7倍近い誤差を減少させ、スパイキングと空間アグリゲーションを減少させる。
- 参考スコア（独自算出の注目度）: 1.2744523252873352
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Virtual sensing enables digital twins and safety-critical systems to reconstruct and forecast spatial-temporal physics in real time. However, conventional computational and data-driven methods often face challenges in generalization, latency, and energy efficiency for edge deployment. Neural operators offer a promising alternative but remain reliant on power-intensive hardware. Spiking neurons and neuromorphic computing can improve efficiency, yet surrogate-gradient training and multi-step spiking introduce convergence and latency challenges. We propose the Sparse-Activation-ReLU (SAR) layer, a single-step alternative that promotes activation sparsity without surrogate-gradient training while remaining compatible with event-based computing. Within a trunk-based NOMAD architecture, SAR achieves over a fivefold improvement in the combined Latency-Error-Energy (LEE) metric compared with Variable Spiking Neuron (VSN) and Leaky Integrate-and-Fire (LIF) implementations. We further analyze spiking entropy and feature usage and introduce synthetic knowledge distillation, reducing the LEE score by more than twofold. Finally, we improve VSN through a ReLU-based spiking loss and graph-neighbor thresholding. On the Heat Exchanger dataset, these approaches reduce L2 error by more than twofold and nearly sevenfold, respectively, while reducing spiking and spatial aggregation. Overall, the work presented is a step towards energy-efficient virtual sensing by providing an alternative framework that can be positioned towards neuromorphic or other edge device integration that can be a gold standard to compare latency, energy, and error performance for future efficient designs that are sparsity or brain-inspired spiking based.
- Abstract（参考訳）: 仮想センシングにより、デジタル双生児と安全クリティカルシステムは、リアルタイムに空間時間物理学を再構築し、予測することができる。
しかしながら、従来の計算とデータ駆動の手法は、エッジデプロイメントの一般化、レイテンシ、エネルギー効率の面で課題に直面していることが多い。
ニューラル演算子は有望な代替手段を提供するが、電力集約型ハードウェアに依存している。
スパイキングニューロンとニューロモルフィックコンピューティングは効率を向上するが、代理段階のトレーニングと多段階スパイキングは収束とレイテンシの課題をもたらす。
本稿では,SAR(Sparse-Activation-ReLU)層を提案する。
トランクベースのNOMADアーキテクチャでは、VSN(Variable Spiking Neuron)とLIF(Leaky Integrate-and-Fire)の実装と比較して、SARはLEE(Latency-Error-Energy)とLEE(Latency-Energy)の合計で5倍以上の改善を実現している。
さらに,スパイキングエントロピーと特徴量を分析し,合成知識蒸留を導入し,LEEスコアを2倍以上に低減した。
最後に、ReLUに基づくスパイキング損失とグラフ近傍のしきい値設定によりVSNを改善する。
熱交換器のデータセットでは、これらの手法によってL2の誤差をそれぞれ2倍以上と7倍に減らし、スパイキングと空間アグリゲーションを減らした。
全体として、提示された研究はエネルギー効率のよいバーチャルセンシングへの一歩であり、神経型や他のエッジデバイスとの統合に向けた代替フレームワークを提供する。
関連論文リスト
- Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment [52.910770415431244]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。
ANN-SNN変換は、低レイテンシでエネルギー効率のよい推論のために、よく訓練されたANN重みを再利用することで問題を回避している。
既存の変換方式は、小さなタイミングで精度の低下、大きな推論遅延、累積量子化誤差に悩まされている。
論文 参考訳（メタデータ） (2026-08-14T04:46:03Z) - WiFuse: An Attention Mechanism for Human Activity Recognition using Fused CSI Amplitude and Delay-Doppler Channel Features [1.0554048699217669]
WiFuseは、人間の活動認識のためのデュアルストリームチャネル状態情報フレームワークである。
デュアルストリーム戦略内で振幅と遅延ドップラー表現をペアリングし、転送学習によって強化される。
XRF55データセットの4つの環境で最高95.28%、マルチユーザWi-MIRデータセットで最大98.20%に達する。
論文 参考訳（メタデータ） (2026-08-01T12:54:09Z) - ReSCom: A Reconfigurable Spiking Neural Network Accelerator Using Stochastic Computing [0.0]
ReSComは、安定した推論を維持しながらハードウェアの複雑さを低減する再構成可能なSNNアクセラレータである。
統一された再構成可能な設計では、単一のハードウェアフレームワーク内でIntegrate-and-Fire、Leaky-and-Fire、Synapticニューロンモデルをサポートする。
論文 参考訳（メタデータ） (2026-06-11T16:44:08Z) - Where to Refine, When to Stop: Rethinking Redundancy via Latent Discrepancy for Efficient Visual Autoregressive Generation [50.139984798361375]
遅延不一致による冗長性を除去する学習自由フレームワークを提案する。
LD-Pruningは、Infinity-8Bの最大2.35倍のスピードアップを実現し、高い生成品質を維持しながら推論を大幅に削減する。
論文 参考訳（メタデータ） (2026-05-29T19:34:39Z) - Neuroscience Inspired Graph Operators Towards Edge-Deployable Virtual Sensing for Irregular Geometries [4.190153363488523]
スパイキングニューロンの統合は、ニューロモルフィックハードウェアに組み込む際に潜在的な解決策を提供する。
現在のニューロンモデルでは、回帰に基づく仮想センシングに向け、パフォーマンスが著しく低下する。
本稿では、スペクトル-誤差畳み込み解析とエネルギー-エラーバランス損失関数を統合した可変スパイキンググラフニューラルネットワーク(VS-GNO)を提案する。
論文 参考訳（メタデータ） (2026-04-17T21:53:20Z) - Towards Green Wearable Computing: A Physics-Aware Spiking Neural Network for Energy-Efficient IMU-based Human Activity Recognition [0.22618128882498598]
スパイキングニューラルネットワーク(SNN)は、イベント駆動のエネルギー効率を極端に向上させるが、標準的なアーキテクチャは複雑な生体力学トポロジと時間的勾配劣化に苦しむ。
グリーンHARに適した完全乗算器のないアーキテクチャであるPhysor-Aware Spiking Neural Network (PAS-Net)を提案する。
PAS-Netは、厳密な演算を0.1pJ整数蓄積に置き換えながら、最先端の精度を達成する。
論文 参考訳（メタデータ） (2026-04-12T04:52:52Z) - Ge$^\text{2}$mS-T: Multi-Dimensional Grouping for Ultra-High Energy Efficiency in Spiking Transformer [84.8831358775386]
スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも優れたエネルギー効率を提供する
ANN-SNN ConversionやSpatial-Temporal Backpropagation (STBP)といった既存のパラダイムは、固有の制限に悩まされている。
Ge$text2$mS-Tを提案する。これは時間的・空間的・ネットワーク的構造次元にまたがるグループ計算を実装した新しいアーキテクチャである。
論文 参考訳（メタデータ） (2026-04-10T02:58:46Z) - A Latency Coding Framework for Deep Spiking Neural Networks with Ultra-Low Latency [51.75891259753546]
スパイキングニューラルネットワーク(SNN)は、エネルギー効率のよいニューラル処理に重要な可能性を持つ生物学的にインスパイアされたコンピューティングパラダイムを提供する。
Time-To-First-Spike (TTFS)コーディングは、ニューロンの最初のスパイクの正確なタイミングを通じて情報を符号化する。
TTFSモデルには効率的なトレーニング方法がなく、高い推論遅延と限られたパフォーマンスに悩まされている。
本稿では,バックプロパゲーション・スロー・タイム(BPTT)アルゴリズムを用いて,深層TTFS符号化SNNの効率的なトレーニングを可能にする包括的フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-24T13:52:03Z) - USEFUSE: Uniform Stride for Enhanced Performance in Fused Layer Architecture of Deep Neural Networks [0.6435156676256051]
本研究では,低レイテンシ左から右へのビットシリアル演算を用いた畳み込みのためのSum-of-Products (SOP)ユニットを提案する。
有効メカニズムは、ReLU層の後、非効率な畳み込みを検出し、スキップし、消費電力を最小化する。
ひとつはミッションクリティカルなアプリケーションの応答時間を最小限にすること、もうひとつはリソースに制約のあるデバイスに同じレイテンシでフォーカスすることである。
論文 参考訳（メタデータ） (2024-12-18T11:04:58Z) - Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳（メタデータ） (2024-12-05T09:41:33Z) - Low-power event-based face detection with asynchronous neuromorphic
hardware [2.0774873363739985]
本稿では、SynSense Speckニューロモルフィックチップ上に展開されたイベントベースの顔検出のためのオンチップスパイクニューラルネットワークの最初の例を示す。
トレーニングに用いるオフチップクロック駆動シミュレーションとオンチップイベント駆動推論との精度の相違について述べる。
オンチップ顔検出のmAP[0.5]は0.6で、20mWしか消費しない。
論文 参考訳（メタデータ） (2023-12-21T19:23:02Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。
LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。