論文の概要: Spiking Sequence Machines and Transformers

• arxiv url: http://arxiv.org/abs/2605.00662v1
• Date: Fri, 01 May 2026 13:45:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.971759
• Title: Spiking Sequence Machines and Transformers
• Title（参考訳）: スパイキングシーケンスマシンと変圧器
• Authors: Joy Bose,
• Abstract要約: シーケンス学習は、時間的インデックス付き表現空間上の類似性に基づく検索を減らす。 正弦波の位置位相とスパイクタイミングが線形に関連していることを示す位相ラテ同型を定式化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequence learning reduces to similarity-based retrieval over a temporally indexed representation space, a constraint on any sequence model, not a property of a specific architecture. We show that a spiking Sparse Distributed Memory sequence machine (2007) and the transformer (2017) independently instantiate the same five functional operations (encoding, context maintenance, associative retrieval, storage, and decoding), with cosine similarity as the shared retrieval primitive in both. We formalise a Phase-Latency Isomorphism showing that sinusoidal positional phase and spike timing are linearly related, and prove that dot product attention is invariant to this mapping up to a global scale factor on the positional component (Lemma 1). Empirically, frequency-compressed positional encoding fails to converge on a positionally demanding copy task, while a learned rank-based embedding matches or exceeds sinusoidal encoding, indicating that the critical property for positional representation is distance discriminability under dot-product similarity, not sinusoidal form. Time, phase, and rank are three instantiations of the same computational primitive, an ordered index whose structure survives similarity-based retrieval.
• Abstract（参考訳）: シーケンス学習は、特定のアーキテクチャの特性ではなく、任意のシーケンスモデル上の制約である時間的インデックス付き表現空間上の類似性に基づく検索を減らす。 スパイキングスパース分散メモリシーケンスマシン(2007)とトランスフォーマー(2017)は、同じ5つの機能操作(エンコード、コンテキスト保守、連想検索、記憶、復号)を独立にインスタンス化し、共有検索プリミティブとコサイン類似性を示す。 正弦波の位置位相とスパイクタイミングが線形に関連していることを示す位相-遅延同型を定式化し、この写像にドット積の注意が位置成分のグローバルスケール係数まで不変であることを証明する(Lemma 1)。 経験的に、周波数圧縮された位置符号化は、所望のコピータスクに収束しないが、学習されたランクベースの埋め込みは正弦波符号化と一致し、位置表現の重要な性質は、正弦波形式ではなくドット積類似性の下で距離判別可能であることを示す。 時間、位相、ランクは、同じ計算プリミティブの3つのインスタンスであり、構造が類似性に基づく検索を生き残る順序付きインデックスである。

関連論文リスト

• Gaussian Match-and-Copy: A Minimalist Benchmark for Studying Transformer Induction [44.83333974000826]
  本稿では,2階相関信号による長距離検索を分離するミニマリストベンチマークを提案する。 数値的な研究により、このタスクは変換器のマッチング・アンド・コピー回路開発における重要な質的な側面を保っていることが示されている。 明示的な技術的条件下での経験的損失を解消するGD軌道に対して,この極大アライメントを証明した。
  論文  参考訳（メタデータ） (2026-02-07T14:18:11Z)
• Causality-Induced Positional Encoding for Transformer-Based Representation Learning of Non-Sequential Features [2.945172427769856]
  CAPEは、非順序性上の因果構造を重み付き有向非巡回グラフ(DAG)として同定する新しい方法である DAGは双曲型空間に埋め込まれており、幾何構造は双曲型モデルに基づくアプローチを用いて保存されている。 このステップでは、特徴に対して因果認識された位置符号化が得られ、変換器の自己保持機構と統合するために回転形式に変換される。
  論文  参考訳（メタデータ） (2025-09-20T11:08:02Z)
• Wave-Based Semantic Memory with Resonance-Based Retrieval: A Phase-Aware Alternative to Vector Embedding Stores [51.56484100374058]
  本稿では,波動パターン$psi(x) = A(x) eiphi(x)$として知識をモデル化し,共振に基づく干渉によってそれを検索する新しいフレームワークを提案する。 このアプローチは振幅情報と位相情報の両方を保存し、より表現的かつ堅牢な意味的類似性を実現する。
  論文  参考訳（メタデータ） (2025-08-21T10:13:24Z)
• PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
  PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-05-22T08:36:09Z)
• 'Memory States' from Almost Nothing: Representing and Computing in a Non-associative Algebra [0.0]
  本稿では,高次元空間における情報項目の表現と計算のための非連想的フレームワークを提案する。 これは空間コンピューティングの原理と、記憶に関する認知科学の実証的な発見と一致している。
  論文  参考訳（メタデータ） (2025-05-13T08:43:02Z)
• EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
  複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。 意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。 意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
  論文  参考訳（メタデータ） (2024-03-26T14:18:43Z)
• Entangled Residual Mappings [59.02488598557491]
  残余接続の構造を一般化するために、絡み合った残余写像を導入する。 絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。 絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-06-02T19:36:03Z)
• Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
  計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。 既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。 自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2021-07-12T22:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。