論文の概要: Modern Neuromorphic AI: From Intra-Token to Inter-Token Processing

• arxiv url: http://arxiv.org/abs/2601.00245v2
• Date: Thu, 08 Jan 2026 15:17:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 15:04:17.502482
• Title: Modern Neuromorphic AI: From Intra-Token to Inter-Token Processing
• Title（参考訳）: 現代型ニューロモーフィックAI : コンピュータ内処理からコンピュータ間処理へ
• Authors: Osvaldo Simeone,
• Abstract要約: 現代のAIアーキテクチャは、高度に定量化されたアクティベーション、状態空間のダイナミクス、スパースアテンションメカニズムを通じて、ニューロモルフィックの原則を具現化している。 本稿では、ニューロモルフィックモデル、状態空間モデル、トランスフォーマーアーキテクチャ間の接続について詳述する。
• 参考スコア（独自算出の注目度）: 35.36148913066079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid growth of artificial intelligence (AI) has brought novel data processing and generative capabilities but also escalating energy requirements. This challenge motivates renewed interest in neuromorphic computing principles, which promise brain-like efficiency through discrete and sparse activations, recurrent dynamics, and non-linear feedback. In fact, modern AI architectures increasingly embody neuromorphic principles through heavily quantized activations, state-space dynamics, and sparse attention mechanisms. This paper elaborates on the connections between neuromorphic models, state-space models, and transformer architectures through the lens of the distinction between intra-token processing and inter-token processing. Most early work on neuromorphic AI was based on spiking neural networks (SNNs) for intra-token processing, i.e., for transformations involving multiple channels, or features, of the same vector input, such as the pixels of an image. In contrast, more recent research has explored how neuromorphic principles can be leveraged to design efficient inter-token processing methods, which selectively combine different information elements depending on their contextual relevance. Implementing associative memorization mechanisms, these approaches leverage state-space dynamics or sparse self-attention. Along with a systematic presentation of modern neuromorphic AI models through the lens of intra-token and inter-token processing, training methodologies for neuromorphic AI models are also reviewed. These range from surrogate gradients leveraging parallel convolutional processing to local learning rules based on reinforcement learning mechanisms.
• Abstract（参考訳）: 人工知能(AI)の急速な成長は、新しいデータ処理と生成能力をもたらしたが、エネルギー要求もエスカレートした。 この課題は、離散的かつスパースなアクティベーション、リカレントダイナミクス、非線形フィードバックを通じて脳のような効率を約束する、ニューロモルフィックコンピューティングの原則への新たな関心を動機付けている。 実際、現代のAIアーキテクチャは、高度に量子化されたアクティベーション、状態空間のダイナミクス、スパースアテンションメカニズムを通じて、ニューロモルフィックの原則を具現化している。 本稿では,ニューロモルフィックモデル,状態空間モデル,トランスフォーマーアーキテクチャ間の接続を,トケン内処理とトケン間処理の区別のレンズを通して詳述する。 ニューロモルフィックAIに関する初期の研究は、画像のピクセルのような同じベクトル入力の複数のチャネルや特徴を含む変換のためのスパイクニューラルネットワーク(SNN)に基づいていた。 対照的に、より最近の研究では、異なる情報要素を文脈的関連性に応じて選択的に組み合わせた効率的な情報間処理法を設計するために、ニューロモルフィックの原則をどのように活用するかを研究している。 これらの手法は連想記憶機構を実装し、状態空間力学やスパース自己認識を利用する。 トーケン内およびトーケン間処理のレンズによる最新のニューロモーフィックAIモデルの体系的なプレゼンテーションとともに、ニューロモーフィックAIモデルのトレーニング方法論についてもレビューする。 これらは、並列畳み込み処理を利用した代理勾配から強化学習機構に基づく局所学習規則まで様々である。

関連論文リスト

• Fast weight programming and linear transformers: from machine learning to neurobiology [20.18882578320406]
  機械学習のための人工知能ニューラルネットワークの最近の進歩は、リカレントニューラルネットワーク(RNN)アーキテクチャのファミリーを確立している。 FWP(Fast Weight Programmers)は、入力観測の関数として、シナプス重みが時間とともに動的に変化するニューラルネットワークとして解釈することができる。 我々は、FWPと脳のシナプス可塑性モデルとの関係について論じ、自然と人工知能の収束を示唆する。
  論文  参考訳（メタデータ） (2025-08-11T19:50:03Z)
• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Graph-Based Representation Learning of Neuronal Dynamics and Behavior [2.3859858429583665]
  本稿では,時間変動ニューロン接続をモデル化する新しいフレームワークTAVRNNを紹介する。 TAVRNNは、解釈可能な集団レベルの表現を維持しながら、単一単位レベルで潜伏ダイナミクスを学習する。 TAVRNNは,(1)自由行動ラットの電気生理学的データ,(2)到達作業中の霊長類体性感覚皮質記録,(3)仮想ゲーム環境と相互作用するDishBrainプラットフォーム内の生物学的ニューロンの3つのデータセットで検証した。
  論文  参考訳（メタデータ） (2024-10-01T13:19:51Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Neuromorphic Artificial Intelligence Systems [58.1806704582023]
  フォン・ノイマンアーキテクチャと古典的ニューラルネットワークに基づく現代のAIシステムは、脳と比較して多くの基本的な制限がある。 この記事では、そのような制限と、それらが緩和される方法について論じる。 これは、これらの制限が克服されている現在利用可能なニューロモーフィックAIプロジェクトの概要を示す。
  論文  参考訳（メタデータ） (2022-05-25T20:16:05Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Bottom-up and top-down approaches for the design of neuromorphic processing systems: Tradeoffs and synergies between natural and artificial intelligence [3.874729481138221]
  ムーアの法則は指数計算能力の期待を加速させており、システム全体の性能を改善するための新たな方法を求める最終段階に近づいている。 これらの方法の1つは、生物学的ニューラルネットワークシステムの柔軟性と計算効率を達成することを目的とした、脳にインスパイアされた代替コンピューティングアーキテクチャの探索である。 我々は、このパラダイムシフトが実現される際の粒度の異なるレベルについて、その分野の包括的概要を提供する。
  論文  参考訳（メタデータ） (2021-06-02T16:51:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。