論文の概要: Word2Spike: Poisson Rate Coding for Associative Memories and Neuromorphic Algorithms
- arxiv url: http://arxiv.org/abs/2509.07361v1
- Date: Tue, 09 Sep 2025 03:15:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-10 14:38:27.173143
- Title: Word2Spike: Poisson Rate Coding for Associative Memories and Neuromorphic Algorithms
- Title（参考訳）: Word2Spike: 連想記憶とニューロモーフィックアルゴリズムのためのポアソンレート符号化
- Authors: Archit Kalra, Midhun Sadanand,
- Abstract要約: スパイクニューラルネットワークは、エネルギー効率が高く、脳に似た連想記憶への有望な道を提供する。
本稿では,連続語埋め込みとニューロモルフィックアーキテクチャを組み合わせた新しいレート符号化機構であるWord2Spikeを紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Spiking neural networks offer a promising path toward energy-efficient, brain-like associative memory. This paper introduces Word2Spike, a novel rate coding mechanism that combines continuous word embeddings and neuromorphic architectures. We develop a one-to-one mapping that converts multi-dimensional word vectors into spike-based attractor states using Poisson processes. Using BitNet b1.58 quantization, we maintain 97% semantic similarity of continuous embeddings on SimLex-999 while achieving 100% reconstruction accuracy on 10,000 words from OpenAI's text-embedding-3-large. We preserve analogy performance (100% of original embedding performance) even under intentionally introduced noise, indicating a resilient mechanism for semantic encoding in neuromorphic systems. Next steps include integrating the mapping with spiking transformers and liquid state machines (resembling Hopfield Networks) for further evaluation.
- Abstract（参考訳）: スパイクニューラルネットワークは、エネルギー効率が高く、脳に似た連想記憶への有望な道を提供する。
本稿では,連続語埋め込みとニューロモルフィックアーキテクチャを組み合わせた新しいレート符号化機構であるWord2Spikeを紹介する。
ポアソン過程を用いて多次元ワードベクトルをスパイクに基づくアトラクタ状態に変換するワンツーワンマッピングを開発した。
BitNet b1.58量子化を用いて、SimLex-999上の連続埋め込みのセマンティックな類似性を97%維持し、OpenAIのテキスト埋め込み3-largeから1万ワードの再構成精度を100%達成する。
我々は、意図的に導入されたノイズであっても、アナログ性能(オリジナル埋め込み性能の100%)を保ち、ニューロモルフィックシステムにおけるセマンティックエンコーディングのレジリエントなメカニズムを示す。
次のステップは、さらなる評価のために、マッピングをスパイキングトランスフォーマーと液体状態マシン(Hopfield Networksを組み込む)と統合することである。
関連論文リスト
- Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。
スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。
我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
論文 参考訳（メタデータ） (2024-04-08T16:34:35Z) - Self-consistent context aware conformer transducer for speech recognition [0.06008132390640294]
ニューラルネットワークアーキテクチャにおいて、再帰的なデータフローを順応的に処理する新しいニューラルネットワークモジュールを導入する。
本手法は, 単語誤り率に悪影響を及ぼすことなく, 稀な単語の認識精度を向上させる。
その結果,両手法の組み合わせにより,まれな単語を最大4.5倍の精度で検出できることが判明した。
論文 参考訳（メタデータ） (2024-02-09T18:12:11Z) - Polariton lattices as binarized neuromorphic networks [0.0]
本研究では, 励起子-偏光子縮合格子に基づく新規なニューロモルフィックネットワークアーキテクチャを導入し, 非共鳴光ポンピングにより複雑に相互接続し, エネルギー化する。
このネットワークは、ペア結合された凝縮体の空間コヒーレンスによって促進される各ニューロンがバイナリ操作を行うバイナリ・フレームワークを採用している。
論文 参考訳（メタデータ） (2024-01-14T08:32:41Z) - Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。
有望な解決策の1つは、アナログコンピューティングを再考することである。
ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文 参考訳（メタデータ） (2023-11-13T08:59:01Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Sparse Coding in a Dual Memory System for Lifelong Learning [13.041607703862724]
Brainは、重複しないスパースコードの情報を効率的にエンコードする。
我々はマルチメモリ再生機構においてスパース符号化を用いる。
本手法は,作業モデルのシナプス重みに符号化された情報を集約し,集約する,長期的セマンティックメモリを新たに維持する。
論文 参考訳（メタデータ） (2022-12-28T12:56:15Z) - A Lexicon and Depth-wise Separable Convolution Based Handwritten Text
Recognition System [3.9097549127191473]
我々は、トレーニング対象のパラメータの総数を減らすために、標準の畳み込みの代わりに奥行きの畳み込みを使用してきた。
テスト段階では辞書ベースのワードビーム検索デコーダも含んでいる。
IAMデータセットでは3.84%の文字誤り率と9.40%のワードエラー率、4.88%の文字エラー率、14.56%のワードエラー率を得た。
論文 参考訳（メタデータ） (2022-07-11T06:24:26Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - Robust High-dimensional Memory-augmented Neural Networks [13.82206983716435]
メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。
この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。
本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-10-05T12:01:56Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。