論文の概要: Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space

• arxiv url: http://arxiv.org/abs/2604.05030v1
• Date: Mon, 06 Apr 2026 18:00:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.412201
• Title: Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space
• Title（参考訳）: 位相連想記憶:複素ヒルベルト空間におけるシーケンスモデリング
• Authors: Gowrav Vishwakarma, Christopher J. Agostino,
• Abstract要約: 本稿では,すべての表現が複雑に評価された繰り返しシーケンスモデルであるPAMについて述べる。 WikiText-103の$sim$100Mパラメータで、PAMは同じ条件でトレーニングされたマッチしたトランスフォーマー(27.1)の$sim$10%の範囲で、検証の難易度30.0に達する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Phase-Associative Memory (PAM), a recurrent sequence model in which all representations are complex-valued, associations accumulate in a matrix state $S_{t}$ $\in$ $\mathbb{C}^{d \times d}$ via outer products, and retrieval operates through the conjugate inner product $K_t^* \cdot Q_t / \sqrt{d}$. At $\sim$100M parameters on WikiText-103, PAM reaches validation perplexity 30.0, within $\sim$10\% of a matched transformer (27.1) trained under identical conditions, despite $4\times$ arithmetic overhead from complex computation and no custom kernels. We trace the experimental path from vector-state models, where holographic binding fails due to the $O(1/\sqrt{n})$ capacity degradation of superposed associations, to the matrix state that resolves it. The competitiveness of an architecture whose native operations are complex-valued superposition and conjugate retrieval is consistent with recent empirical evidence that semantic interpretation in both humans and large language models exhibits non-classical contextuality, and we discuss what this implies for the choice of computational formalism in language modeling.
• Abstract（参考訳）: ここでは、すべての表現が複素数値化され、結合が行列状態 $S_{t}$$\in$$\mathbb{C}^{d \times d}$ に蓄積され、共役内積 $K_t^* \cdot Q_t / \sqrt{d}$ を介して検索が実行されるような、繰り返しシーケンスモデルである位相連想記憶(PAM)を提案する。 PAMはWikiText-103の$\sim$100Mパラメータで、複雑な計算による演算オーバーヘッドとカスタムカーネルがないにもかかわらず、同じ条件でトレーニングされたマッチしたトランスフォーマー(27.1)の$\sim$10\%の範囲内で、検証の難易度30.0に達する。 我々はベクトル状態モデルから実験経路を辿り、O(1/\sqrt{n})$の重ね合わせのキャパシティ劣化によりホログラム結合が失敗し、それを解く行列状態へと辿る。 複雑に評価された重ね合わせと共役検索によるアーキテクチャの競争性は、人間と大言語モデルの両方における意味論的解釈が非古典的文脈性を示すという最近の実証的証拠と一致しており、言語モデリングにおける計算形式の選択にどのような意味があるのかを論じる。

関連論文リスト

• Rethinking Dense Linear Transformations: Stagewise Pairwise Mixing (SPM) for Near-Linear Training in Neural Networks [0.0]
  本稿では,高密度行列をスパースなペアワイズ混合段階の合成に置き換える構造的線形作用素であるStagewise Pairwise Mixers (SPM)を紹介する。 実世界のベンチマークでは競合性能を維持しつつ,ウォールクロックコストを大幅に削減し,構造化学習問題に対する精度を向上した。
  論文  参考訳（メタデータ） (2025-12-30T00:03:22Z)
• Optimal quantum simulation of linear non-unitary dynamics [0.31439717339537293]
  有界時間依存演算子$-A$によって生成される時間進化をシミュレートする量子アルゴリズムを提案する。 本稿では,最近のLinear-Combination-of-Hamiltonian-Simulation (LCHS)フレームワークを一般化する。
  論文  参考訳（メタデータ） (2025-08-26T17:58:27Z)
• The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective [55.15192437680943]
  連続状態と行動空間を持つ非線形力学系の一般設定におけるオンライン強化学習のサンプル複雑性について検討した。 我々のアルゴリズムは、$mathcalO(N epsilon2 + Mathrmln(m(epsilon)/epsilon2)$のポリシーを後悔する。 力学がコンパクトで実数値のパラメータ集合によってパラメータ化される特別な場合、$mathcalO(sqrt)のポリシー後悔を証明する。
  論文  参考訳（メタデータ） (2025-01-27T10:01:28Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• An Online Riemannian PCA for Stochastic Canonical Correlation Analysis [37.8212762083567]
  投影行列の再パラメータ化を用いた正準相関解析(CCA)のための効率的なアルゴリズム(RSG+)を提案する。 本論文は,その特性の定式化と技術的解析に主眼を置いているが,本実験により,一般的なデータセットに対する経験的挙動が極めて有望であることが確認された。
  論文  参考訳（メタデータ） (2021-06-08T23:38:29Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。