論文の概要: Otters: An Energy-Efficient SpikingTransformer via Optical Time-to-First-Spike Encoding
- arxiv url: http://arxiv.org/abs/2509.18968v1
- Date: Tue, 23 Sep 2025 13:23:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-24 20:41:27.854924
- Title: Otters: An Energy-Efficient SpikingTransformer via Optical Time-to-First-Spike Encoding
- Title（参考訳）: オッタース:光時間から最初のスパイクエンコーディングによるエネルギー効率の良いスパイキングトランスフォーマ
- Authors: Zhanglu Yan, Jiayi Mao, Qianhui Liu, Fanfan Li, Gang Pan, Tao Luo, Bowen Zhu, Weng-Fai Wong,
- Abstract要約: スパイクニューラルネットワーク(SNN)は高エネルギー効率、特にTTFSエンコーディングを約束する。
本稿は,光電子デバイスにおける「物理ハードウェアバグ」,すなわち自然信号減衰を再利用することで,このコストのかかるアプローチに挑戦する。
我々は酸化インジウム光電子シナプスを作製し、その天然の物理的崩壊が要求される時間関数を直接実装する様子を示した。
- 参考スコア（独自算出の注目度）: 22.30455217693273
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) promise high energy efficiency, particularly with time-to-first-spike (TTFS) encoding, which maximizes sparsity by emitting at most one spike per neuron. However, such energy advantage is often unrealized because inference requires evaluating a temporal decay function and subsequent multiplication with the synaptic weights. This paper challenges this costly approach by repurposing a physical hardware `bug', namely, the natural signal decay in optoelectronic devices, as the core computation of TTFS. We fabricated a custom indium oxide optoelectronic synapse, showing how its natural physical decay directly implements the required temporal function. By treating the device's analog output as the fused product of the synaptic weight and temporal decay, optoelectronic synaptic TTFS (named Otters) eliminates these expensive digital operations. To use the Otters paradigm in complex architectures like the transformer, which are challenging to train directly due to the sparsity issue, we introduce a novel quantized neural network-to-SNN conversion algorithm. This complete hardware-software co-design enables our model to achieve state-of-the-art accuracy across seven GLUE benchmark datasets and demonstrates a 1.77$\times$ improvement in energy efficiency over previous leading SNNs, based on a comprehensive analysis of compute, data movement, and memory access costs using energy measurements from a commercial 22nm process. Our work thus establishes a new paradigm for energy-efficient SNNs, translating fundamental device physics directly into powerful computational primitives. All codes and data are open source.
- Abstract（参考訳）: スパイクニューラルネットワーク(SNN)は高エネルギー効率、特にTTFSエンコーディングを約束する。
しかし、このエネルギー優位性は時相減衰関数の評価とその後のシナプス重みとの乗算を必要とするため、しばしば実現されない。
本稿では,物理ハードウェアの‘bug’,すなわち光電子デバイスにおける自然信号減衰をTTFSのコア計算として再利用することで,このコストのかかるアプローチに挑戦する。
我々は酸化インジウム光電子シナプスを作製し、その天然の物理的崩壊が要求される時間関数を直接実装する様子を示した。
アナログ出力をシナプス重みと時間減衰の融合生成物として扱うことにより、光電子シナプスTTFS(オッタース)はこれらの高価なデジタル操作を除去する。
Ottersのパラダイムをトランスフォーマーのような複雑なアーキテクチャで使用するには、ポーシャリティの問題により直接トレーニングすることが難しいため、新しい量子化されたニューラルネットワーク-SNN変換アルゴリズムを導入する。
この完全ハードウェア・ソフトウェア共同設計により,市販の22nmプロセスからのエネルギー測定による計算,データ移動,メモリアクセスコストの包括的分析に基づいて,GLUEベンチマークの7つのデータセットにおける最先端の精度を実現し,従来のSNNよりも1.77$\times$のエネルギー効率の向上を実証する。
我々の研究は、エネルギー効率の良いSNNのための新しいパラダイムを確立し、基本的なデバイス物理を直接強力な計算プリミティブに変換する。
すべてのコードとデータはオープンソースである。
関連論文リスト
- Neuromorphic Wireless Split Computing with Resonate-and-Fire Neurons [69.73249913506042]
本稿では、共振器(RF)ニューロンを用いて時間領域信号を直接処理する無線スプリットコンピューティングアーキテクチャについて検討する。
可変周波数で共鳴することにより、RFニューロンは低スパイク活性を維持しながら時間局在スペクトル特徴を抽出する。
実験の結果,提案したRF-SNNアーキテクチャは従来のLIF-SNNやANNと同等の精度を達成できることがわかった。
論文 参考訳（メタデータ） (2025-06-24T21:14:59Z) - A Fully Hardware Implemented Accelerator Design in ReRAM Analog Computing without ADCs [5.6496088684920345]
ReRAMベースのアクセラレータは、アナログ・コンピューティング・イン・メモリ(CiM)を介してニューラルネットワークを処理し、超高エネルギー効率を実現する。
本研究では、交叉二項化ニューロンを持つニューラルネットワークのSigmoidおよびSoftMaxアクティベーション機能のハードウェア実装について検討する。
本稿では、推論二項化ニューロンを活用することにより、ニューラルネットワークの計算を高速化する完全なReRAMベースのアナログコンピューティング加速器(RACA)を提案する。
論文 参考訳（メタデータ） (2024-12-27T09:38:19Z) - Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
ニューロモルフィックコンピューティングは、スパイキングニューラルネットワーク(SNN)を使用して推論タスクを実行する。
スパイクニューロン間で交換される各スパイクに小さなペイロードを埋め込むことで、エネルギー消費を増大させることなく推論精度を高めることができる。
分割コンピューティング — SNNを2つのデバイスに分割する — は、有望なソリューションだ。
本稿では,マルチレベルSNNを用いたニューロモルフィック無線分割コンピューティングアーキテクチャの総合的研究について述べる。
論文 参考訳（メタデータ） (2024-11-07T14:08:35Z) - Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。
有望な解決策の1つは、アナログコンピューティングを再考することである。
ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文 参考訳（メタデータ） (2023-11-13T08:59:01Z) - On-Sensor Data Filtering using Neuromorphic Computing for High Energy
Physics Experiments [1.554920942634392]
本稿では, 粒子の逆運動量に基づいてセンサデータをフィルタリングする小型ニューロモルフィックモデルを提案する。
入ってくる電荷波形は二値イベントのストリームに変換され、SNNによって処理される。
論文 参考訳（メタデータ） (2023-07-20T21:25:25Z) - RF-Photonic Deep Learning Processor with Shannon-Limited Data Movement [0.0]
光ニューラルネットワーク(ONN)は、超低レイテンシとエネルギー消費を持つ有望な加速器である。
我々は、周波数領域のデータを符号化する乗法的アナログ周波数変換ONN(MAFT-ONN)を導入する。
我々は、生のRF信号で完全にアナログのディープラーニングを演算する最初のハードウェアアクセラレータを実験的に実証した。
論文 参考訳（メタデータ） (2022-07-08T16:37:13Z) - Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern
Recognition on Neuromorphic Hardware [50.380319968947035]
近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。
文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。
フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。
LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
論文 参考訳（メタデータ） (2022-05-30T14:30:45Z) - Single-Shot Optical Neural Network [55.41644538483948]
深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。
我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
論文 参考訳（メタデータ） (2022-05-18T17:49:49Z) - Hardware-Friendly Synaptic Orders and Timescales in Liquid State
Machines for Speech Classification [0.0]
Liquid State Machinesは、ランダムな貯水池接続を備えた脳にインスパイアされたスパイクニューラルネットワーク(SNN)である。
差分(単一時間ステップの高出力)、0位(有限パルス幅の矩形)、第1位(指数降下)、第2位(指数昇降)といったシナプス的順序の役割を解析する。
論文 参考訳（メタデータ） (2021-04-29T11:20:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。