論文の概要: Rank-Order N-of-M Codes for Sparse Distributed Memory: Disentangling Representation and Learning Effects in Noise Robustness Against Contemporary Neuromorphic Architectures

• arxiv url: http://arxiv.org/abs/2607.02967v2
• Date: Tue, 07 Jul 2026 14:20:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 14:37:43.076086
• Title: Rank-Order N-of-M Codes for Sparse Distributed Memory: Disentangling Representation and Learning Effects in Noise Robustness Against Contemporary Neuromorphic Architectures
• Title（参考訳）: スパース分散メモリのためのランク順N-of-M符号:現代ニューロモルフィックアーキテクチャに対するノイズロバスト性における表現と学習効果の分散化
• Abstract要約: 本稿では,CALMにおけるしきい値バイナリエンコーダの代替として,ランク順N-of-M符号化の評価を行う。 GloVe-100埋め込みの実験では、実際の構造化データに対して、この小さいが一貫した符号化の利点が確認されている。 結果は、従来の階数順SDMアーキテクチャのどのコンポーネントが、現代のメモリ拡張AIシステムに測定可能な利点をもたらすかを特定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models remain limited as continual learning systems, motivating renewed interest in Sparse Distributed Memory (SDM) as an explicit online episodic memory. CALM (Nechesov and Ruponen, 2025) identifies its threshold-binary encoder as an open design question. This paper evaluates rank-order N-of-M encoding (Furber et al., 2007) as an alternative. We make three contributions. First, a faithful reimplementation validates the published architecture by confirming exact equivalence between WheelSDM and RankOrderSDM (cosine similarity 1.0000 across 10 seeds) and reproducing the documented divergence of RDLIF neurons under interference. Second, multi-seed capacity experiments show RankOrderSDM outperforming StandardSDM by 13.4 percentage points at saturation in the scaled configuration and by 0.8 percentage points at the published architecture scale. Third, BER robustness experiments disentangle representation and learning effects, showing that the large robustness gain arises primarily from the interaction of rank-order encoding with MAX-Hebbian learning, while the encoder alone provides only a small advantage under matched learning conditions. Experiments on GloVe-100 embeddings confirm this small but consistent encoding benefit on real structured data, whereas sentence embeddings exhibit a ceiling effect at low memory load. A secondary analysis shows that idealized rank-order encoding requires half the component-level encoding energy of SpikingMamba's SI-LIF neurons at four-bit precision, although decoder costs dominate overall system energy. These results identify which components of the original rank-order SDM architecture provide measurable benefits for contemporary memory-augmented AI systems, offering practical guidance for architectures such as CALM.
• Abstract（参考訳）: 大規模な言語モデルは継続学習システムとして制限され続けており、明示的なオンラインエピソードメモリとしてスパース分散メモリ(SDM)への新たな関心を動機付けている。 CALM(Nechesov and Ruponen, 2025)は、そのしきい値バイナリエンコーダをオープン設計問題として認識している。 本論文は,N-of-Mエンコーディング(Furber et al , 2007)を代替として評価する。 私たちは3つの貢献をします。 第一に、忠実な再実装は、WheelSDMとRanOrderSDM(10種に10万の類似性)の正確な等価性を確認し、RDLIFニューロンの文書化された分岐を干渉下で再現することによって、公表されたアーキテクチャを検証する。 第二に、マルチシードキャパシティ実験では、StandardSDMよりも13.4ポイント、スケールした構成で飽和し、アーキテクチャスケールで0.8ポイント向上している。 第3に、BERロバストネス実験は表現と学習効果を歪め、大きなロバストネスが主にMAX-ヘビアン学習と階数エンコーディングの相互作用によって生じることを示した。 GloVe-100埋め込みの実験では、実際の構造化データに対して、この小さいが一貫した符号化の利点が確認されている。 二次解析により、理想化された階数エンコーディングは4ビット精度でSpikeMambaのSI-LIFニューロンのコンポーネントレベルのエンコーディングエネルギーの半分を必要とすることが示されたが、デコーダのコストはシステム全体のエネルギーを支配している。 これらの結果から、従来の階数順SDMアーキテクチャのどのコンポーネントが、現在のメモリ拡張AIシステムに測定可能なメリットを提供するかを特定し、CALMのようなアーキテクチャの実践的なガイダンスを提供する。

関連論文リスト

• Decoder-Free Supervoxel GNN for Accurate Brain-Tumor Localization in Multi-Modal MRI [1.209913077217557]
  SVGFormerはデコーダフリーのパイプラインで、ボリュームをスーパーボクセルのセマンティックグラフに分割する。 その階層エンコーダは、パッチレベルのトランスフォーマーとスーパーボクセルレベルのグラフアテンションネットワークを組み合わせることで、リッチなノード表現を学習する。 以上の結果から,グラフベースのエンコーダのみのパラダイムが,3次元医用画像表現の正確かつ本質的に解釈可能な代替手段であることが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-20T15:13:04Z)
• BrainCSD: A Hierarchical Consistency-Driven MoE Foundation Model for Unified Connectome Synthesis and Multitask Brain Trait Prediction [33.650792366699385]
  機能的および構造的接続(FC/SC)は、脳分析の鍵となるバイオマーカーであるが、その臨床的有用性は、高価な取得、複雑な前処理、そして頻繁に欠落するモダリティによって妨げられている。 我々は、FC/SCバイオマーカーを共同で合成し、下流デコードタスク(診断と予測)をサポートする階層的混合専門家基盤モデルであるBrainCSDを提案する。 FC RMSE:0.038、SC RMSE:0.006、脳年齢予測(MAE:4.04年)、MMSEスコア(MAE:1.72点)
  論文  参考訳（メタデータ） (2025-11-07T04:40:47Z)
• Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
  本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。 KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
  論文  参考訳（メタデータ） (2025-10-23T07:12:26Z)
• Decoder-Hybrid-Decoder Architecture for Efficient Reasoning with Long Generation [108.0657508755532]
  我々は、レイヤ間の効率的なメモリ共有のためのシンプルで効果的なメカニズムであるGated Memory Unit(GMU)を紹介した。 これは、GMUを組み込んでSambaベースのセルフデコーダからメモリ読み出し状態を共有するデコーダ・ハイブリッド・デコーダアーキテクチャである。
  論文  参考訳（メタデータ） (2025-07-09T07:27:00Z)
• Unified CNNs and transformers underlying learning mechanism reveals multi-head attention modus vivendi [0.0]
  畳み込みニューラルネットワーク(CNN)は、層に沿って進行する入力画像の短距離相関を評価する。 視覚変換器(ViT)アーキテクチャは、完全に接続された層からなる繰り返し変換器エンコーダを用いて、長距離相関を評価する。 本研究は,CNNとViTアーキテクチャが基盤となる学習機構の統一に由来することを示す。
  論文  参考訳（メタデータ） (2025-01-22T14:19:48Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• RCMHA: Relative Convolutional Multi-Head Attention for Natural Language Modelling [0.0]
  相対的マルチヘッドアテンション(RMHA)は、他のアテンションモジュールと比較して0.572のスコアを持つ。 RMHAは、3.5GBを必要とするRMHAを上回り、平均2.98GBの消費を誇っている。
  論文  参考訳（メタデータ） (2023-08-07T09:24:24Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
  TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。 DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。 300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
  論文  参考訳（メタデータ） (2020-07-17T08:32:11Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。