論文の概要: RAM-Net: Expressive Linear Attention with Selectively Addressable Memory

• arxiv url: http://arxiv.org/abs/2602.11958v1
• Date: Thu, 12 Feb 2026 13:55:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.852789
• Title: RAM-Net: Expressive Linear Attention with Selectively Addressable Memory
• Title（参考訳）: RAM-Net: 選択的アドレスメモリによる表現型リニアアテンション
• Authors: Kaicheng Xiao, Haotian Li, Liran Dong, Guoliang Xing,
• Abstract要約: RAM-Netは、完全な注意力の表現能力と線形モデルのメモリ効率のギャップを埋めるために設計された新しいアーキテクチャである。 RAM-Netのコアは、明示的なアドレスとして機能する高次元スパースベクトルに入力し、モデルが巨大なメモリ状態に選択的にアクセスできるようにする。
• 参考スコア（独自算出の注目度）: 11.262593123857995
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While linear attention architectures offer efficient inference, compressing unbounded history into a fixed-size memory inherently limits expressivity and causes information loss. To address this limitation, we introduce Random Access Memory Network (RAM-Net), a novel architecture designed to bridge the gap between the representational capacity of full attention and the memory efficiency of linear models. The core of RAM-Net maps inputs to high-dimensional sparse vectors serving as explicit addresses, allowing the model to selectively access a massive memory state. This design enables exponential state size scaling without additional parameters, which significantly mitigates signal interference and enhances retrieval fidelity. Moreover, the inherent sparsity ensures exceptional computational efficiency, as state updates are confined to minimal entries. Extensive experiments demonstrate that RAM-Net consistently surpasses state-of-the-art baselines in fine-grained long-range retrieval tasks and achieves competitive performance in standard language modeling and zero-shot commonsense reasoning benchmarks, validating its superior capability to capture complex dependencies with significantly reduced computational overhead.
• Abstract（参考訳）: 線形アテンションアーキテクチャは効率的な推論を提供するが、非有界な履歴を固定サイズのメモリに圧縮することは本質的に表現性を制限し、情報損失を引き起こす。 この制限に対処するため,線形モデルの表現能力とメモリ効率のギャップを埋める新しいアーキテクチャであるRandom Access Memory Network (RAM-Net)を導入する。 RAM-Netのコアは、明示的なアドレスとして機能する高次元スパースベクトルに入力し、モデルが巨大なメモリ状態に選択的にアクセスできるようにする。 この設計により、追加パラメータを使わずに指数的状態サイズスケーリングが可能となり、信号干渉を著しく軽減し、検索精度を高めることができる。 さらに、本質的なスパーシリティは、状態更新が最小限のエントリに制限されるため、例外的な計算効率を保証する。 大規模な実験により、RAM-Netは細粒度の長距離検索タスクにおける最先端のベースラインを一貫して超え、標準言語モデリングとゼロショットのコモンセンス推論ベンチマークにおける競合性能を達成し、計算オーバーヘッドを大幅に削減して複雑な依存関係をキャプチャする優れた能力を検証した。

関連論文リスト

• MNN-LLM: A Generic Inference Engine for Fast Large Language Model Deployment on Mobile Devices [4.385815629175844]
  MNN-LLMは、モバイルデバイスへの大規模言語モデルのデプロイを加速するために設計されたフレームワークである。 モデル量子化とDRAM-FlashハイブリッドストレージによるLCMのランタイム特性に対処する。 特に、MNN-LLMは、現在のLLM固有のフレームワークと比較して8.6倍の速度向上を実現している。
  論文  参考訳（メタデータ） (2025-06-12T07:45:29Z)
• Quantifying Memory Utilization with Effective State-Size [73.52115209375343]
  「我々は、テキスト・メモリ利用の尺度を策定する。」 この計量は、textitinput-invariant および textitinput-variant linear operator を持つシステムの基本的なクラスに適合する。
  論文  参考訳（メタデータ） (2025-04-28T08:12:30Z)
• CSR:Achieving 1 Bit Key-Value Cache via Sparse Representation [63.65323577445951]
  キャッシュスパース表現(CSR)と呼ばれる新しい手法を提案する。 CSRは、密度の高いKey-Valueキャッシュテンソルをスパースインデックスとウェイトに変換し、LLM推論中によりメモリ効率のよい表現を提供する。 我々の実験は、CSRが最先端KVキャッシュ量子化アルゴリズムに匹敵する性能を達成することを示した。
  論文  参考訳（メタデータ） (2024-12-16T13:01:53Z)
• Ultra-Sparse Memory Network [8.927205198458994]
  この研究はUltraMemを導入し、これらの制限に対処するために大規模な超スパースメモリ層を組み込んだ。 提案手法は,モデル性能を維持しながら推論遅延を大幅に低減する。 実験では、私たちがトレーニングする最大のUltraMemには2000万のメモリスロットがあります。
  論文  参考訳（メタデータ） (2024-11-19T09:24:34Z)
• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• Pex: Memory-efficient Microcontroller Deep Learning through Partial Execution [11.336229510791481]
  マイクロコントローラ深層学習のための新しい実行パラダイムについて論じる。 ニューラルネットワークの実行を変更して、メモリの完全なバッファーを作らないようにする。 これは演算子のプロパティを利用することで実現され、一度にインプット/アウトプットのごく一部を消費/生産することができる。
  論文  参考訳（メタデータ） (2022-11-30T18:47:30Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)
• Robust High-dimensional Memory-augmented Neural Networks [13.82206983716435]
  メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。 この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。 本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-10-05T12:01:56Z)
• Video Object Segmentation with Episodic Graph Memory Networks [198.74780033475724]
  セグメント化モデルを更新する学習」という新しいアイデアに対処するために,グラフメモリネットワークが開発された。 我々は、完全に連結されたグラフとして構成されたエピソードメモリネットワークを利用して、フレームをノードとして保存し、エッジによってフレーム間の相関をキャプチャする。 提案したグラフメモリネットワークは、一発とゼロショットの両方のビデオオブジェクトセグメンテーションタスクをうまく一般化できる、巧妙だが原則化されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-07-14T13:19:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。