論文の概要: Phasor Memory Networks: Stable Backpropagation Through Time for Scalable Explicit Memory

• arxiv url: http://arxiv.org/abs/2605.13370v1
• Date: Wed, 13 May 2026 11:28:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.012561
• Title: Phasor Memory Networks: Stable Backpropagation Through Time for Scalable Explicit Memory
• Title（参考訳）: Phasor Memory Networks: スケーラブルな明示的メモリのための時間による安定的なバックプロパゲーション
• Authors: Sungwoo Goo, Hwi-yeol Yun, Sangkeun Jung,
• Abstract要約: ニューラルチューリングマシンのような明示的なメモリアーキテクチャは、バックプロパゲーション・オブ・タイムにおいて破滅的な不安定さのため、言語モデリングには理論上は魅力的だが実用上は魅力的である。 この研究は、textitPhasor Memory Network (PMNet) によって、この不安定な状態を破り、textitUnitary Phasor Dynamics と textitHierarchical Learnable Anchors によって、メモリのボラティリティを構造的に解決する新しいアーキテクチャである。 我々のアブレーション研究と勾配解析により、明示的メモリの歴史的故障は構造的アライメントの問題であり、PMNetが効果的に克服し、拡張性のあるシーケンスの理論的基礎となることが確認された。
• 参考スコア（独自算出の注目度）: 3.0459410574367314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For over a decade, explicit memory architectures like the Neural Turing Machine have remained theoretically appealing yet practically intractable for language modeling due to catastrophic gradient instability during Backpropagation Through Time. In this work, we break this stalemate with \textit{Phasor Memory Network} (PMNet), a novel architecture that structurally resolves memory volatility through \textit{Unitary Phasor Dynamics} and \textit{Hierarchical Learnable Anchors}. Rather than relying on brute-force scaling, we present a mechanistic proof-of-concept in a controlled byte-level setting. By constraining recurrent state updates to phase rotations on a complex unit circle, PMNet preserves gradient norms and inherently prevents divergence without the need for specialized initialization. We empirically demonstrate the active actuation of the memory module through a synthetic Copy-Paste task, where PMNet utilizes an expansive \textit{85-slot hierarchical memory tree} ($=\sum^{4}_{h=1}4^{h-1}$) to achieve near 100\% exact retrieval across temporal distances that completely exceed the local sliding window attention's receptive field. Furthermore, despite being a compact 119M parameter model trained on 18.8B tokens, PMNet matches the zero-shot long-context robustness of a Mamba model that is three times larger. Our ablation studies and gradient analyses confirm that the historical failure of explicit memory was a structural alignment problem, which PMNet effectively overcomes, providing a theoretically grounded foundation for scalable sequence modeling.
• Abstract（参考訳）: この10年以上、Neural Turing Machineのような明示的なメモリアーキテクチャは、時間によるバックプロパゲーションの間、壊滅的な勾配不安定のため、言語モデリングには理論上は魅力的だが、実際は魅力的である。 In this work, we break this stalemate with \textit{Phasor Memory Network} (PMNet), a novel architecture that structurely resolve memory volatility through \textit{Unitary Phasor Dynamics} and \textit{Hierarchical Learnable Anchors}。 ブルートフォーススケーリングに頼るのではなく、制御されたバイトレベルの設定で概念の機械的証明を示す。 PMNetは、複雑な単位円上の位相回転に対する繰り返し状態の更新を制限することにより、勾配ノルムを保ち、特殊初期化を必要とせずに本質的に発散を防ぐ。 PMNetでは,局所スライディングウインドウの知覚野を完全に超越した時間的距離を100倍近い精度で検索するために,拡張型 \textit{85-slothierarchical memory tree} ($=\sum^{4}_{h=1}4^{h-1}$) を用いてメモリモジュールのアクティブな動作を実証的に実証する。 さらに、PMNetは18.8Bトークンで訓練されたコンパクトな119Mパラメータモデルであるにもかかわらず、3倍のMambaモデルのゼロショット長コンテキストロバスト性と一致する。 我々のアブレーション研究と勾配解析により、明示的メモリの歴史的故障は構造的アライメントの問題であり、PMNetが効果的に克服し、拡張性のあるシーケンスモデリングの理論的基礎となることが確認された。

関連論文リスト

• DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks [54.32016216994156]
  本稿では,DINOv3特徴を生成対象として用い,視覚ノイズから相互作用意味を乱す因果潜在世界モデル(CLWM)を提案する。 メモリスケーリングを克服するため、CLWMはDual-State Test-Time Training (TTT)メモリを備えている。 EmbodiChainは、トレーニング中に物理基底軌道の無限の流れを注入することによって効率法を確立するオンラインフレームワークである。
  論文  参考訳（メタデータ） (2026-04-13T03:19:36Z)
• LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory [97.14005794889134]
  提案するLoGeRは,高密度な3次元再構成を,後最適化なしで極めて長いシーケンスに拡張する新しいアーキテクチャである。 LoGeRはビデオストリームをチャンクで処理し、高忠実度なチャンク内推論に強力な双方向の事前処理を活用する。 このメモリアーキテクチャにより、LoGeRは128フレームのシーケンスでトレーニングでき、推論中に数千フレームまで一般化できる。
  論文  参考訳（メタデータ） (2026-03-03T18:55:37Z)
• From Verbatim to Gist: Distilling Pyramidal Multimodal Memory via Semantic Information Bottleneck for Long-Horizon Video Agents [78.30630000529133]
  本稿ではファジィトレース理論に基づくピラミッド型マルチモーダルメモリアーキテクチャMM-Memを提案する。 MM-Memメモリは階層的に感覚バッファ、エピソードストリーム、シンボリックに構造する。 実験により、MM-Memがオフラインタスクとストリーミングタスクの両方で有効であることが確認された。
  論文  参考訳（メタデータ） (2026-03-02T05:12:45Z)
• AllMem: A Memory-centric Recipe for Efficient Long-context Modeling [32.025154452526856]
  大規模言語モデル(LLM)は、長時間のタスクにおいて重大なパフォーマンスボトルネックに直面する。 SWA(Sliding Window Attention)とTTT(Non-linear Test-Time Training)メモリネットワークを統合した,新規で効率的なハイブリッドアーキテクチャであるtextscAllMemを紹介する。
  論文  参考訳（メタデータ） (2026-02-14T09:04:28Z)
• Aeon: High-Performance Neuro-Symbolic Memory Management for Long-Horizon LLM Agents [0.0]
  大規模言語モデル(LLM)は、自己注意の2次計算コストと「中道の失われた」現象によって制約される。 我々は,静的ストアではなく,管理OSリソースとしてメモリを再定義するニューロシンボリック認知オペレーティングシステムであるAeonを提案する。
  論文  参考訳（メタデータ） (2026-01-14T15:23:22Z)
• B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
  我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
  論文  参考訳（メタデータ） (2024-07-08T18:41:01Z)
• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• DCT-Former: Efficient Self-Attention with Discrete Cosine Transform [4.622165486890318]
  トラスフォルマーアーキテクチャの本質的な制限は、ドット積の注意の計算から生じる。 我々のアイデアは、アテンションモジュールの近似を導き出すために、損失の多いデータ圧縮(JPEGアルゴリズムなど)の世界からインスピレーションを得ている。 実験の広範なセクションでは,提案手法が同一性能のメモリを消費しにくくする一方で,推定時間を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2022-03-02T15:25:27Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。