論文の概要: Exploiting heterogeneous delays for efficient computation in low-bit neural networks
- arxiv url: http://arxiv.org/abs/2510.27434v1
- Date: Fri, 31 Oct 2025 12:41:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-03 17:52:16.10089
- Title: Exploiting heterogeneous delays for efficient computation in low-bit neural networks
- Title（参考訳）: 低ビットニューラルネットワークにおける効率的な計算のためのヘテロジニアス遅延の爆発
- Authors: Pengfei Sun, Jascha Achterberg, Zhe Su, Dan F. M. Goodman, Danyal Akarca,
- Abstract要約: 本研究では,タスク関連情報が時間領域にコンテキスト的に置かれている状況において,遅延の不均一性を活用可能であることを示す。
遅延の不均一性は、時間的に複雑なニューロモルフィック問題に対する最先端のパフォーマンスを実現する。
遅延や時間制約がいかに適応的にトレードオフされるかを示し、タスク性能がタスクに適した遅延分布に依存することをアブレーションを通じて明らかにする。
- 参考スコア（独自算出の注目度）: 8.489639265804822
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks rely on learning synaptic weights. However, this overlooks other neural parameters that can also be learned and may be utilized by the brain. One such parameter is the delay: the brain exhibits complex temporal dynamics with heterogeneous delays, where signals are transmitted asynchronously between neurons. It has been theorized that this delay heterogeneity, rather than a cost to be minimized, can be exploited in embodied contexts where task-relevant information naturally sits contextually in the time domain. We test this hypothesis by training spiking neural networks to modify not only their weights but also their delays at different levels of precision. We find that delay heterogeneity enables state-of-the-art performance on temporally complex neuromorphic problems and can be achieved even when weights are extremely imprecise (1.58-bit ternary precision: just positive, negative, or absent). By enabling high performance with extremely low-precision weights, delay heterogeneity allows memory-efficient solutions that maintain state-of-the-art accuracy even when weights are compressed over an order of magnitude more aggressively than typically studied weight-only networks. We show how delays and time-constants adaptively trade-off, and reveal through ablation that task performance depends on task-appropriate delay distributions, with temporally-complex tasks requiring longer delays. Our results suggest temporal heterogeneity is an important principle for efficient computation, particularly when task-relevant information is temporal - as in the physical world - with implications for embodied intelligent systems and neuromorphic hardware.
- Abstract（参考訳）: ニューラルネットワークはシナプス重みの学習に依存している。
しかし、これは学習可能な他の神経パラメータを見落とし、脳によって利用される可能性がある。
そのようなパラメータの1つは遅延であり、脳は異種遅延を伴う複雑な時間的ダイナミクスを示し、そこで信号はニューロン間で非同期に伝達される。
この遅延不均一性は、最小化されるコストではなく、時間領域においてタスク関連情報が自然にコンテキスト的に置かれる、具体的コンテキストで利用することができると理論化されている。
我々は、この仮説を、スパイクニューラルネットワークをトレーニングして、その重みだけでなく、異なるレベルの精度で遅延を修正することで検証する。
重みが極めて不正確である場合(正・負・欠の3次精度1.58ビット)においても、遅延の不均一性が時間的に複雑なニューロモルフィック問題に対する最先端のパフォーマンスを実現することが判明した。
極めて低精度の重みで高い性能を実現することで、遅延不均一性は、通常研究されている重みのみのネットワークよりもはるかに積極的に重みが圧縮された場合でも、最先端の精度を維持するメモリ効率の高いソリューションを可能にする。
遅延や時間制約がいかに適応的にトレードオフするかを示し、タスク性能がタスクに適した遅延分布に依存し、時間的に複雑なタスクはより長い遅延を必要とすることをアブレーションを通じて明らかにする。
この結果から,時間的不均一性は,特にタスク関連情報が時間的(物理的)な場合において,時間的不均一性が重要な計算原理であることが示唆された。
関連論文リスト
- Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。
既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。
本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
論文 参考訳（メタデータ） (2025-07-22T18:20:56Z) - An Exact Gradient Framework for Training Spiking Neural Networks [0.7366405857677227]
スパイクニューラルネットワークは本質的に、離散スパイクイベントの正確なタイミングを情報処理に頼っている。
本稿では、シナプス重みと伝送遅延に関して正確な損失勾配を計算するイベント駆動学習フレームワークを提案する。
複数のベンチマークの実験では、既存の手法と比較して精度(最大7%)、タイミング精度、堅牢性が顕著に向上した。
論文 参考訳（メタデータ） (2025-07-08T11:55:27Z) - Extending Spike-Timing Dependent Plasticity to Learning Synaptic Delays [50.45313162890861]
シナプス接続強度と遅延を同時に学習するための新しい学習規則を導入する。
我々は、教師なし学習で訓練された分類のための広く使われているSNNモデルを拡張して、我々のアプローチを検証する。
その結果,提案手法は様々なテストシナリオにおいて常に優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2025-06-17T21:24:58Z) - Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。
本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
論文 参考訳（メタデータ） (2024-05-27T05:53:30Z) - DelGrad: Exact event-based gradients for training delays and weights on spiking neuromorphic hardware [1.5226147562426895]
スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。
我々は,シナプス重みと遅延の両方について,正確な損失勾配を計算するイベントベース手法であるDelGradを提案する。
ノイズの多い混合信号ハードウェア上でSNNに遅延を追加する際のメモリ効率と精度の利点を実験的に示す。
論文 参考訳（メタデータ） (2024-04-30T00:02:34Z) - Adapting to time: Why nature may have evolved a diverse set of neurons [5.024813922014977]
我々は、異なるパラメータサブセットを一定に保ちながら、時間的複雑さの異なるタスクでニューラルネットワークを訓練した。
厳密なリソース制約の下で全てのテスト条件を解決するためには,遅延の適応が不可欠であることがわかった。
論文 参考訳（メタデータ） (2024-04-22T16:38:38Z) - Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。
実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。
したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
論文 参考訳（メタデータ） (2023-07-14T08:51:03Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Impact of spiking neurons leakages and network recurrences on
event-based spatio-temporal pattern recognition [0.0]
ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。
スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
論文 参考訳（メタデータ） (2022-11-14T21:34:02Z) - Latent Equilibrium: A unified learning theory for arbitrarily fast
computation with arbitrarily slow neurons [0.7340017786387767]
遅いコンポーネントのネットワークにおける推論と学習のための新しいフレームワークであるLatent Equilibriumを紹介する。
我々は, ニューロンとシナプスのダイナミクスを, 将来的なエネルギー関数から導出する。
本稿では,大脳皮質微小循環の詳細なモデルに我々の原理を適用する方法について述べる。
論文 参考訳（メタデータ） (2021-10-27T16:15:55Z) - Optimal Learning with Excitatory and Inhibitory synapses [91.3755431537592]
相関関係の存在下でアナログ信号間の関連性を保持するという課題について検討する。
ランダムな入力および出力プロセスのパワースペクトルの観点から、典型的な学習性能を特徴付ける。
論文 参考訳（メタデータ） (2020-05-25T18:25:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。