論文の概要: Heterogeneous quantization regularizes spiking neural network activity

• arxiv url: http://arxiv.org/abs/2409.18396v1
• Date: Fri, 27 Sep 2024 02:25:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 06:31:22.333132
• Title: Heterogeneous quantization regularizes spiking neural network activity
• Title（参考訳）: 不均一な量子化はスパイキングニューラルネットワークの活性を規則化する
• Authors: Roy Moyal, Kyrus R. Mama, Matthew Einhorn, Ayon Borthakur, Thomas A. Cleland,
• Abstract要約: 本稿では、アナログデータを正規化し、スパイク位相表現に量子化する、データブラインドニューロモルフィック信号条件付け戦略を提案する。 我々は、量子化重みの範囲と密度が蓄積された入力統計に適応するデータ認識キャリブレーションステップを追加することで、このメカニズムを拡張した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The learning and recognition of object features from unregulated input has been a longstanding challenge for artificial intelligence systems. Brains are adept at learning stable representations given small samples of noisy observations; across sensory modalities, this capacity is aided by a cascade of signal conditioning steps informed by domain knowledge. The olfactory system, in particular, solves a source separation and denoising problem compounded by concentration variability, environmental interference, and unpredictably correlated sensor affinities. To function optimally, its plastic network requires statistically well-behaved input. We present a data-blind neuromorphic signal conditioning strategy whereby analog data are normalized and quantized into spike phase representations. Input is delivered to a column of duplicated spiking principal neurons via heterogeneous synaptic weights; this regularizes layer utilization, yoking total activity to the network's operating range and rendering internal representations robust to uncontrolled open-set stimulus variance. We extend this mechanism by adding a data-aware calibration step whereby the range and density of the quantization weights adapt to accumulated input statistics, optimizing resource utilization by balancing activity regularization and information retention.
• Abstract（参考訳）: 非規制入力からの物体の特徴の学習と認識は、人工知能システムにとって長年の課題であった。 脳は、小さなノイズの観測サンプルを与えられた安定した表現を学ぶのに適しており、感覚のモダリティを通じて、この能力は、ドメインの知識によって知らされる信号条件のステップのカスケードによって支援される。 特に、嗅覚系は、濃度変動、環境干渉、予測不可能に相関するセンサ親和性によって合成されるソース分離およびノイズ化問題を解消する。 最適に機能させるためには、そのプラスティックネットワークは統計的に良好な入力を必要とする。 本稿では、アナログデータを正規化し、スパイク位相表現に量子化する、データブラインドニューロモルフィック信号条件付け戦略を提案する。 入力は、不均一なシナプス重みによって複製された主ニューロンの列に配信される。これは、層利用を規則化し、ネットワークの操作範囲に全アクティビティをヨーキングし、制御されていないオープンセット刺激のばらつきに頑健な内部表現をレンダリングする。 我々は、このメカニズムを、量子化重みの範囲と密度が蓄積された入力統計に適応し、アクティビティの正規化と情報保持のバランスをとることで資源利用を最適化するデータ認識キャリブレーションステップを追加することで拡張する。

関連論文リスト

• Nonlinear Neural Dynamics and Classification Accuracy in Reservoir Computing [3.196204482566275]
  複雑度の異なる人工分類タスクにおける貯水池コンピュータの精度について検討する。 極端に非線形性が低下した活性化関数や弱いリカレント相互作用、小さな入力信号であっても、貯水池は有用な表現を計算することができる。
  論文  参考訳（メタデータ） (2024-11-15T08:52:12Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Impact of spiking neurons leakages and network recurrences on event-based spatio-temporal pattern recognition [0.0]
  ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。 スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
  論文  参考訳（メタデータ） (2022-11-14T21:34:02Z)
• SPIQ: Data-Free Per-Channel Static Input Quantization [37.82255888371488]
  効率的な推論手法は、機械学習コミュニティで注目を集めている。 本研究では,静的な入力量子化が,チャネルごとの入力量子化方式によって動的手法の精度レベルに達することを論じる。 提案手法はSPIQと呼ばれ、静的な推論速度で動的アプローチに匹敵する精度を実現する。
  論文  参考訳（メタデータ） (2022-03-28T10:59:18Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Deep Metric Learning with Locality Sensitive Angular Loss for Self-Correcting Source Separation of Neural Spiking Signals [77.34726150561087]
  本稿では, 深層学習に基づく手法を提案し, 自動掃除とロバスト分離フィルタの必要性に対処する。 本手法は, ソース分離した高密度表面筋電図記録に基づいて, 人工的に劣化したラベルセットを用いて検証する。 このアプローチにより、ニューラルネットワークは、信号のラベル付けの不完全な方法を使用して、神経生理学的時系列を正確に復号することができる。
  論文  参考訳（メタデータ） (2021-10-13T21:51:56Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• 'Place-cell' emergence and learning of invariant data with restricted Boltzmann machines: breaking and dynamical restoration of continuous symmetries in the weight space [0.0]
  本稿では,表現学習のためのニューラルネットワークパラダイムである拘束ボルツマンマシン(RBM)の学習力学について検討する。 ネットワーク重みのランダムな構成から学習が進むにつれて、対称性を破る現象の存在が示される。 この対称性を破る現象は、トレーニングに利用できるデータの量がいくつかの臨界値を超える場合にのみ起こる。
  論文  参考訳（メタデータ） (2019-12-30T14:37:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。