論文の概要: Otters++: A Time-to-first-spike Based Energy Efficient Optical Spiking Transformer

• arxiv url: http://arxiv.org/abs/2606.13016v1
• Date: Thu, 11 Jun 2026 07:53:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.652889
• Title: Otters++: A Time-to-first-spike Based Energy Efficient Optical Spiking Transformer
• Title（参考訳）: Otters++: タイム・ツー・ファースト・スパイクに基づく高効率光スパイク変換器
• Authors: Zhanglu Yan, Jiayi Mao, Kaiwen Tang, Fanfan Li, Gang Pan, Tao Luo, Bowen Zhu, Qianhui Liu, Weng-Fai Wong,
• Abstract要約: スパイキングニューラルネットワーク(SNN)はエネルギー効率の高い推論を約束している。 TTFSコーディングは、各ニューロンが最大で一度発火するため、特に魅力的である。 TTFSコンピューティングは、現実的なハードウェア効果の下で、効率的で、トレーニング可能で、堅牢である。
• 参考スコア（独自算出の注目度）: 21.767045800309088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNNs) are promising for energy-efficient inference, and time-to-first-spike (TTFS) coding is especially attractive because each neuron fires at most once. In practice, however, this benefit is often reduced by the cost of computing a temporal decay term and multiplying it by the synaptic weight. We address this issue by turning a physical hardware "bug," the natural signal decay in optoelectronic devices, into the main computation of TTFS, named Otters++. Specifically, we use the measured decay of a custom In$_2$O$_3$ optoelectronic synapse to directly realize the TTFS temporal term, removing the need for explicit digital decay computation. To scale this idea to Transformer models, we establish a layer-wise functional equivalence between the Otters++ and a quantized neural network (QNN), and develop a hybrid training method that uses device-faithful SNN computation in the forward pass and QNN straight-through gradients through the equivalent QNN path in the backward pass, together with model distillation. This avoids differentiation through discrete first-spike events and reduces the over-sparsity problem in direct TTFS-SNN training. We further make training aware of measured device noise by sampling run-to-run variation, and refine the system-level energy model by accounting for device sharing and multi-hop communication. On GLUE dataset, Otters++ improves the average score to 84.17\% while maintaining a clear energy advantage over prior spiking Transformer baselines. These results show that physically grounded TTFS computing can be efficient, trainable, and robust under realistic hardware effects.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)はエネルギー効率の高い推論を約束している。 しかし実際には、この利点は時間的減衰項を計算し、シナプス重みで乗算することでしばしば減少する。 光電子デバイスにおける自然信号の減衰である物理ハードウェア「バグ」を、Otters++と呼ばれるTTFSの主計算に変換することで、この問題に対処する。 具体的には、カスタムIn$_2$O$_3$光電子シナプスの測定減衰を用いて、TTFSの時間項を直接実現し、明示的なデジタル崩壊計算の必要性を除去する。 このアイデアをTransformerモデルに拡張するために,Otters++と量子ニューラルネットワーク(QNN)の階層的機能等価性を確立し,モデル蒸留とともに,後方パスの等価QNN経路を経由するデバイス忠実SNN計算とQNNストレートスルー勾配を用いたハイブリッドトレーニング手法を開発した。 これにより、離散的なファーストスパイクイベントによる差別化が回避され、直接TTFS-SNNトレーニングにおけるオーバースパーシリティの問題が軽減される。 さらに, デバイス共有とマルチホップ通信を考慮に入れて, ラン・ツー・ランの変動をサンプリングし, システムレベルのエネルギーモデルを改善することで, 測定されたデバイスノイズを学習する。 GLUEデータセットでは、Otters++は平均スコアを84.17\%に改善し、以前のスパイクトランスフォーマーベースラインよりも明確なエネルギー優位性を維持している。 これらの結果から,物理的基盤を持つTTFSコンピューティングは,現実的なハードウェア効果下では効率的で,トレーニング可能で,堅牢であることが示唆された。

関連論文リスト

• A Latency Coding Framework for Deep Spiking Neural Networks with Ultra-Low Latency [51.75891259753546]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率のよいニューラル処理に重要な可能性を持つ生物学的にインスパイアされたコンピューティングパラダイムを提供する。 Time-To-First-Spike (TTFS)コーディングは、ニューロンの最初のスパイクの正確なタイミングを通じて情報を符号化する。 TTFSモデルには効率的なトレーニング方法がなく、高い推論遅延と限られたパフォーマンスに悩まされている。 本稿では,バックプロパゲーション・スロー・タイム(BPTT)アルゴリズムを用いて,深層TTFS符号化SNNの効率的なトレーニングを可能にする包括的フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-24T13:52:03Z)
• Otters: An Energy-Efficient SpikingTransformer via Optical Time-to-First-Spike Encoding [22.30455217693273]
  スパイクニューラルネットワーク(SNN)は高エネルギー効率、特にTTFSエンコーディングを約束する。 本稿は,光電子デバイスにおける「物理ハードウェアバグ」,すなわち自然信号減衰を再利用することで,このコストのかかるアプローチに挑戦する。 我々は酸化インジウム光電子シナプスを作製し、その天然の物理的崩壊が要求される時間関数を直接実装する様子を示した。
  論文  参考訳（メタデータ） (2025-09-23T13:23:48Z)
• Neuromorphic Wireless Split Computing with Resonate-and-Fire Neurons [69.73249913506042]
  本稿では、共振器(RF)ニューロンを用いて時間領域信号を直接処理する無線スプリットコンピューティングアーキテクチャについて検討する。 可変周波数で共鳴することにより、RFニューロンは低スパイク活性を維持しながら時間局在スペクトル特徴を抽出する。 実験の結果,提案したRF-SNNアーキテクチャは従来のLIF-SNNやANNと同等の精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2025-06-24T21:14:59Z)
• Towards High-performance Spiking Transformers from ANN to SNN Conversion [43.53538629484375]
  スパイクニューラルネットワーク(SNN)は、そのエネルギー効率、高速処理能力、ロバスト性によって大きな可能性を秘めている。 現在の変換方法は、主に畳み込みニューラルネットワーク(CNN)をSNNに変換することに焦点を当てている。 本稿では,変換の精度を維持するための期待補償モジュールを提案する。
  論文  参考訳（メタデータ） (2025-02-28T16:12:37Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• RF-Photonic Deep Learning Processor with Shannon-Limited Data Movement [0.0]
  光ニューラルネットワーク(ONN)は、超低レイテンシとエネルギー消費を持つ有望な加速器である。 我々は、周波数領域のデータを符号化する乗法的アナログ周波数変換ONN(MAFT-ONN)を導入する。 我々は、生のRF信号で完全にアナログのディープラーニングを演算する最初のハードウェアアクセラレータを実験的に実証した。
  論文  参考訳（メタデータ） (2022-07-08T16:37:13Z)
• Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern Recognition on Neuromorphic Hardware [50.380319968947035]
  近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。 文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。 フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。 LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
  論文  参考訳（メタデータ） (2022-05-30T14:30:45Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Spike time displacement based error backpropagation in convolutional spiking neural networks [0.6193838300896449]
  本稿では,STiDi-BPアルゴリズムを拡張し,より深く,畳み込み型アーキテクチャに応用する。 MNISTとFashion-MNISTの2つのベンチマークに基づく画像分類タスクの評価結果から,このアルゴリズムが深部SNNに適用可能であることを確認した。 後進パスで更新される実数値重みと、フィードフォワードプロセスで使用される2値重みと、その記号と2値重みの2つの重みを持つ畳み込みSNNを考える。
  論文  参考訳（メタデータ） (2021-08-31T05:18:59Z)
• A Spike in Performance: Training Hybrid-Spiking Neural Networks with Quantized Activation Functions [6.574517227976925]
  Spiking Neural Network(SNN)は、エネルギー効率の高いコンピューティングに対する有望なアプローチである。 我々は、非スパイキングネットワークをSNNに変換する際に、最先端の精度を維持する方法を示す。
  論文  参考訳（メタデータ） (2020-02-10T05:24:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。