論文の概要: Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

• arxiv url: http://arxiv.org/abs/2601.07372v1
• Date: Mon, 12 Jan 2026 09:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.324955
• Title: Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models
• Title（参考訳）: スケーラブルなルックアップによる条件記憶: 大規模言語モデルにおける空間性の新しい軸
• Authors: Xin Cheng, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Zhewen Hao, Yukun Li, Han Zhang, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang,
• Abstract要約: 我々は,O(1)ルックアップのための古典的な$N$-gram埋め込みを近代化するモジュールであるEngramを介してインスタンス化した,相補的空間軸として条件記憶を導入する。 我々はEngramを27Bパラメータに拡張し、厳密なアイソパラメータとアイソFLOPs MoEベースラインよりも優れた性能を実現する。 我々は,次世代スパースモデルにおいて,条件記憶を必要不可欠なモデリングプリミティブとして想定する。
• 参考スコア（独自算出の注目度）: 42.816060150754645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Mixture-of-Experts (MoE) scales capacity via conditional computation, Transformers lack a native primitive for knowledge lookup, forcing them to inefficiently simulate retrieval through computation. To address this, we introduce conditional memory as a complementary sparsity axis, instantiated via Engram, a module that modernizes classic $N$-gram embedding for O(1) lookup. By formulating the Sparsity Allocation problem, we uncover a U-shaped scaling law that optimizes the trade-off between neural computation (MoE) and static memory (Engram). Guided by this law, we scale Engram to 27B parameters, achieving superior performance over a strictly iso-parameter and iso-FLOPs MoE baseline. Most notably, while the memory module is expected to aid knowledge retrieval (e.g., MMLU +3.4; CMMLU +4.0), we observe even larger gains in general reasoning (e.g., BBH +5.0; ARC-Challenge +3.7) and code/math domains~(HumanEval +3.0; MATH +2.4). Mechanistic analyses reveal that Engram relieves the backbone's early layers from static reconstruction, effectively deepening the network for complex reasoning. Furthermore, by delegating local dependencies to lookups, it frees up attention capacity for global context, substantially boosting long-context retrieval (e.g., Multi-Query NIAH: 84.2 to 97.0). Finally, Engram establishes infrastructure-aware efficiency: its deterministic addressing enables runtime prefetching from host memory, incurring negligible overhead. We envision conditional memory as an indispensable modeling primitive for next-generation sparse models.
• Abstract（参考訳）: Mixture-of-Experts (MoE)は条件付き計算によってキャパシティをスケールするが、Transformerには知識検索のためのネイティブプリミティブがないため、計算による検索を非効率にシミュレートせざるを得ない。 これに対処するため,O(1)ルックアップのための古典的な$N$-gram埋め込みを近代化するモジュールであるEngramを介してインスタンス化した,相補的空間軸として条件記憶を導入する。 空間割当問題を定式化することにより、ニューラルネットワーク(MoE)と静的メモリ(Engram)のトレードオフを最適化するU字型のスケーリング法則を明らかにする。 この法則により、Engramを27Bパラメータに拡張し、厳密なアイソパラメータとアイソFLOPs MoEベースラインよりも優れた性能を実現する。 メモリモジュールは知識検索(例えば MMLU +3.4; CMMLU +4.0; CMMLU +4.0; BBH +5.0; ARC-Challenge +3.7)とコード/マスドメイン~(HumanEval +3.0; MATH +2.4)を補助すると予想される。 力学解析により、Engramはバックボーンの初期層を静的な再構築から解放し、複雑な推論のためにネットワークを効果的に深めていることが明らかになった。 さらに、ローカル依存関係をルックアップに委譲することで、グローバルコンテキストの注意力を解放し、長期コンテキスト検索を大幅に向上させる(例えば、Multi-Query NIAH:84.2から97.0)。 最後に、Engramはインフラストラクチャ対応の効率性を確立している。決定論的アドレッシングにより、ホストメモリからのランタイムプレフェッチが可能になり、無視できるオーバーヘッドが発生する。 我々は,次世代スパースモデルにおいて,条件記憶を必要不可欠なモデリングプリミティブとして想定する。

関連論文リスト

• ArcMemo: Abstract Reasoning Composition with Lifelong LLM Memory [21.4675019810992]
  概念レベルのメモリは再利用され、ソリューショントレースから抽出されたモジュラー抽象化が自然言語に格納される。 我々は、合成一般化と抽象的推論を強調するベンチマークARC-AGIを評価する。 抽象概念は最も一貫したメモリ設計であり、全てのテストされた推論計算スケールでベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-09-04T17:54:19Z)
• Quantifying Memory Utilization with Effective State-Size [73.52115209375343]
  「我々は、テキスト・メモリ利用の尺度を策定する。」 この計量は、textitinput-invariant および textitinput-variant linear operator を持つシステムの基本的なクラスに適合する。
  論文  参考訳（メタデータ） (2025-04-28T08:12:30Z)
• Memory Layers at Scale [67.00854080570979]
  この研究はメモリ層を概念実証以上のものにし、現代の規模でその有用性を証明している。 ダウンストリームタスクでは、改善されたメモリ層で強化された言語モデルは、予算の2倍以上の高密度モデルよりも優れており、計算とパラメータの両方にマッチする場合の熟練モデルの混合も優れている。 最大128Bのメモリパラメータを持つスケーリング法則を1兆トークンまで事前訓練し,最大8Bパラメータを持つベースモデルと比較した,完全な並列化可能なメモリレイヤの実装を提供する。
  論文  参考訳（メタデータ） (2024-12-12T23:56:57Z)
• Dynamic layer selection in decoder-only transformers [21.18795712840146]
  自然言語生成のための2つの一般的な動的推論手法を実証的に検討する。 トレーニング済みのデコーダのみのモデルでは,層スキップによる層除去が著しく堅牢であることがわかった。 また、シーケンス毎の動的計算割り当ては、大きな効率向上を約束することを示す。
  論文  参考訳（メタデータ） (2024-10-26T00:44:11Z)
• B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
  我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
  論文  参考訳（メタデータ） (2024-07-08T18:41:01Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
  In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。 ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
  論文  参考訳（メタデータ） (2023-07-13T17:59:21Z)
• Re2G: Retrieve, Rerank, Generate [14.848179433828252]
  ニューラル初期検索とBARTに基づくシーケンス・ツー・シーケンス生成を併用したRe2Gを提案する。 エンド・ツー・エンドをトレーニングするために,本システムでは,対象シーケンスの出力に対して,基礎的真理のみを用いて,知識蒸留の新たなバリエーションを導入し,初期検索,再ランカ,生成を訓練する。 KILTのリーダーボード上では、ゼロショットスロットフィリング、質問応答、ファクトチェック、ダイアログの4つのタスクにおいて、従来の最先端よりも9%から34%向上した。
  論文  参考訳（メタデータ） (2022-07-13T15:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。