論文の概要: RMAAT: Astrocyte-Inspired Memory Compression and Replay for Efficient Long-Context Transformers

• arxiv url: http://arxiv.org/abs/2601.00426v1
• Date: Thu, 01 Jan 2026 18:34:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.442234
• Title: RMAAT: Astrocyte-Inspired Memory Compression and Replay for Efficient Long-Context Transformers
• Title（参考訳）: RMAAT:アストロサイトにインスパイアされたメモリ圧縮と高効率長コンテキスト変換器の再生
• Authors: Md Zesun Ahmed Mia, Malyaban Bal, Abhronil Sengupta,
• Abstract要約: 本研究は、生体記憶とシナプス調節に不可欠なアストロサイト-グリア細胞に由来する計算原理を探求する。 本稿では,アストロサイト機能を統合するアーキテクチャであるRecurrent Memory Augmented Transformer (RMAAT)を紹介する。
• 参考スコア（独自算出の注目度）: 11.099872871193028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The quadratic complexity of self-attention mechanism presents a significant impediment to applying Transformer models to long sequences. This work explores computational principles derived from astrocytes-glial cells critical for biological memory and synaptic modulation-as a complementary approach to conventional architectural modifications for efficient self-attention. We introduce the Recurrent Memory Augmented Astromorphic Transformer (RMAAT), an architecture integrating abstracted astrocyte functionalities. RMAAT employs a recurrent, segment-based processing strategy where persistent memory tokens propagate contextual information. An adaptive compression mechanism, governed by a novel retention factor derived from simulated astrocyte long-term plasticity (LTP), modulates these tokens. Attention within segments utilizes an efficient, linear-complexity mechanism inspired by astrocyte short-term plasticity (STP). Training is performed using Astrocytic Memory Replay Backpropagation (AMRB), a novel algorithm designed for memory efficiency in recurrent networks. Evaluations on the Long Range Arena (LRA) benchmark demonstrate RMAAT's competitive accuracy and substantial improvements in computational and memory efficiency, indicating the potential of incorporating astrocyte-inspired dynamics into scalable sequence models.
• Abstract（参考訳）: 自己注意機構の二次的複雑さは、トランスフォーマーモデルを長い列に適用する上で重要な障害となる。 本研究は, 生体記憶とシナプス変調に重要なアストロサイト-グリア細胞から導かれる計算原理を, 効率的な自己注意のための従来のアーキテクチャ修正への補完的アプローチとして検討する。 本稿では,抽象的なアストロサイト機能を統合するアーキテクチャであるRecurrent Memory Augmented Astromorphic Transformer (RMAAT)を紹介する。 RMAATでは、永続的なメモリトークンがコンテキスト情報を伝達する、繰り返しセグメントベースの処理戦略を採用している。 適応的な圧縮機構は、シミュレーションされたアストロサイト長期可塑性(LTP)から誘導される新しい保持因子によって制御され、これらのトークンを調節する。 セグメント内の注意は、アストロサイト短期可塑性(STP)にインスパイアされた効率的な線形複雑機構を利用する。 Astrocytic Memory Replay Backpropagation (AMRB) は、リカレントネットワークにおけるメモリ効率向上のために設計された新しいアルゴリズムである。 ロングレンジ・アリーナ (Long Range Arena, LRA) ベンチマークの評価は、RMAATの競合精度と計算とメモリ効率の大幅な改善を示し、アストロサイトにインスパイアされたダイナミクスをスケーラブルなシーケンスモデルに組み込む可能性を示している。

関連論文リスト

• Parallel Delayed Memory Units for Enhanced Temporal Modeling in Biomedical and Bioacoustic Signal Analysis [17.73662095849247]
  Parallel Delayed Memory Unit (PDMU) は、短期的クレジット割り当てのための遅延ゲート状態空間モジュールである。 PDMUは、ゲート遅延ライン機構を介して、短期的な時間的状態相互作用とメモリ効率を高める。 PDMUは並列トレーニングとシーケンシャル推論をサポートしており、既存の線形RNNフレームワークに簡単に統合できる。
  論文  参考訳（メタデータ） (2025-12-01T12:46:56Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• High-Fidelity Scientific Simulation Surrogates via Adaptive Implicit Neural Representations [51.90920900332569]
  入射神経表現(INR)は空間的に構造化されたデータをモデリングするためのコンパクトで連続的なフレームワークを提供する。 近年のアプローチでは、剛性幾何学的構造に沿った付加的な特徴を導入することでこの問題に対処している。 機能適応型INR(FA-INR)を提案する。
  論文  参考訳（メタデータ） (2025-06-07T16:45:17Z)
• Dynamic Memory-enhanced Transformer for Hyperspectral Image Classification [3.5093938502961763]
  ハイパースペクトル画像(HSI)分類は、複雑な空間スペクトル相関のため、依然として困難な課題である。 既存のトランスモデルは、長距離依存を捉えるのに優れているが、情報冗長性と注意力の非効率さに悩まされることが多い。 MemFormerは、動的メモリモジュールを反復的に洗練するメモリ強化型マルチヘッドアテンションメカニズムを導入している。 動的メモリ富化戦略は、複雑な空間的およびスペクトル的依存関係を段階的にキャプチャし、より表現力のある特徴表現をもたらす。
  論文  参考訳（メタデータ） (2025-04-17T17:43:34Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer [58.49950218437718]
  音声に同期した高忠実で一般化可能な人体動作を生成するための効率的なフレームワークであるReCoMを提案する。 Recurrent Embedded Transformer (RET)は、動的埋め込み正規化(DER)をViT(Vit)コアアーキテクチャに統合する。 モデルロバスト性を高めるため,ノイズ抵抗とクロスドメイン一般化の二重性を持つモデルに,提案したDER戦略を取り入れた。
  論文  参考訳（メタデータ） (2025-03-27T16:39:40Z)
• Recurrent Action Transformer with Memory [39.58317527488534]
  本稿では,情報保持を規制するリカレントメモリ機構を組み込んだ新しいモデルアーキテクチャを提案する。 メモリ集約環境(ViZDoom-Two-Colors, T-Maze, Memory Maze, Minigrid-Memory)、古典的アタリゲーム、MuJoCo制御環境について実験を行った。 その結果、メモリの使用は、古典的な環境における結果の維持や改善をしながら、メモリ集約環境におけるパフォーマンスを著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-06-15T19:29:08Z)
• Transformer-based Planning for Symbolic Regression [18.90700817248397]
  シンボリック・レグレッションのためのトランスフォーマーに基づく計画戦略であるTPSRを提案する。 従来の復号法とは異なり、TPSRは精度や複雑さなど、微分不可能なフィードバックの統合を可能にする。 我々の手法は最先端の手法より優れており、モデルの適合・複雑性トレードオフ、象徴的能力、騒音に対する堅牢性を高めている。
  論文  参考訳（メタデータ） (2023-03-13T03:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。