論文の概要: FactorEngram: Factorized N-gram Memory with Basis-Level Gating for Language Models
- arxiv url: http://arxiv.org/abs/2609.35578v1
- Date: Mon, 28 Sep 2026 16:35:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 20:38:46.217505
- Title: FactorEngram: Factorized N-gram Memory with Basis-Level Gating for Language Models
- Title（参考訳）: FactorEngram:言語モデルのための基底レベルゲーティングによるN-gramの分解
- Abstract要約: 本研究では,文脈ゲーティングを用いたN-gramメモリであるFacterEngramを提案する。
FactorEngramは、基底ベクトルの辞書上でスパーシ正規化係数を検索する。
言語モデリングとダウンストリームタスクのパフォーマンスを改善する。
- 参考スコア（独自算出の注目度）: 32.10811723445662
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lookup-based memory has been a promising way to scale the parameters of large language models (LLMs). It retrieves learned representations of local token patterns, such as n-grams, instead of reconstructing them through successive layers of computation. However, existing designs such as Engram treat each retrieved embedding as a monolithic unit. Each embedding is stored in its own hashed slot and modulated by a single scalar gate. As a result, polysemous patterns cannot selectively read out the components of their memory that are relevant to the context. Moreover, parameters are shared only through hash collisions, which are largely unrelated to semantics. We propose FactorEngram, a factorized n-gram memory with basis-level contextual gating. FactorEngram retrieves sparsity-regularized coefficients over a dictionary of basis vectors shared across patterns, so related patterns can reuse common components. The same dictionary is also used for gating. The backbone hidden state is scored against each basis vector to gate the corresponding coefficient before reconstruction, which lets the context modulate each memory component individually. FactorEngram also covers both individual tokens and multi-token n-grams, and we systematically study where the memory branch should be inserted. On 340M- and 1B-parameter Transformer backbones, FactorEngram improves language modeling and downstream task performance. Ablation studies confirm the contribution of each component and identify insertion before the attention sublayer in the middle layers as an effective configuration.
- Abstract（参考訳）: ルックアップベースのメモリは、大規模言語モデル(LLM)のパラメータをスケールするための有望な方法である。
n-gramのような局所的なトークンパターンの学習された表現を、連続した計算層を通して再構築する代わりに取り出す。
しかし、Engramのような既存の設計では、それぞれが取得した埋め込みをモノリシックな単位として扱う。
各埋め込みは独自のハッシュスロットに格納され、単一のスカラーゲートによって変調される。
その結果、多文パターンは、コンテキストに関連するメモリのコンポーネントを選択的に読み取ることはできない。
さらに、パラメータは、主に意味論とは無関係なハッシュ衝突によってのみ共有される。
本稿では,基本レベルの文脈ゲーティングを備えたN-gramメモリであるFacterEngramを提案する。
FactorEngramはパターン間で共有される基底ベクトルの辞書上でスパーシ調整係数を検索するので、関連するパターンは共通のコンポーネントを再利用できる。
同じ辞書がゲーティングにも使われている。
バックボーン隠蔽状態は各ベースベクトルに対してスコアされ、再構成前に対応する係数をゲートする。
FactorEngramはまた、個々のトークンとマルチトークンn-gramの両方をカバーし、メモリブランチの挿入先を体系的に調査する。
340Mと1Bのパラメトリックトランスフォーマーバックボーンでは、FacterEngramは言語モデリングとダウンストリームタスクのパフォーマンスを改善している。
アブレーション研究は, 各成分の寄与を確認し, 中層における注目サブレイヤの挿入を有効構成として同定する。
関連論文リスト
- Tensorizing Engram: Sharing Latents Across N-Gram Embeddings is Beneficial in LLMs [29.319221741796685]
過度にトークン化されたトランスフォーマーとEngramは、マルチトークンメモリを明示的に組み込むことで、この制限に対処しようとする。
本稿では,共有因子によるn-gramの埋め込みを表すコンパクトメモリモジュールであるPolyadicized Engram (TN-gram)を提案する。
総合的な実験により、TN-gram は Engram スタイルの n-gram 加群と一致し、さらに優れることを示した。
論文 参考訳（メタデータ） (2026-06-06T21:36:51Z) - Lngram: N-gram Conditional Memory in Latent Space [7.279732869251628]
隠れ状態から直接離散シンボルを学習する潜在空間条件記憶モジュールを提案する。
Lngramは、長文言語モデリングにおいてTransformerとEngramのベースラインを上回ります。
LogitLensとCKAによる分析では、Lngramによって予測関連情報が早く現れることが示唆されている。
論文 参考訳（メタデータ） (2026-05-24T04:59:11Z) - Memory Grafting: Scaling Language Model Pre-training via Offline Conditional Memory [65.39827296429527]
条件付きメモリのスケーリングは、言語モデルのキャパシティを向上する有望な方法である。
Engramのような既存の方法は、事前トレーニング中にスクラッチから大きなメモリテーブルを学習する。
本研究では, グラフトモデルから凍結した隠蔽状態を条件n-gramメモリとして利用する条件記憶スケーリング手法であるメモリグラフトを提案する。
論文 参考訳（メタデータ） (2026-05-20T09:35:04Z) - Does Engram Do Memory Retrieval in Autoregressive Image Generation? [50.31813662801864]
本研究では,Engramモジュールを2次元空間的$n$-gramハッシュ,ゲート融合,KV-cache互換インクリメンタル推論で視覚に適応させる。
ゲート・クランプ・スイープは、エングラムの経路を完全に無効にすることは破滅的であることを示している。
ドナープローブ実験により、一致した、逆数的な、あるいはランダムな同一クラスの例にハッシュ入力を交換すると、統計的に区別不能な次トーケン分布が生じることが示された。
論文 参考訳（メタデータ） (2026-05-13T08:40:46Z) - Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models [42.816060150754645]
我々は,O(1)ルックアップのための古典的な$N$-gram埋め込みを近代化するモジュールであるEngramを介してインスタンス化した,相補的空間軸として条件記憶を導入する。
我々はEngramを27Bパラメータに拡張し、厳密なアイソパラメータとアイソFLOPs MoEベースラインよりも優れた性能を実現する。
我々は,次世代スパースモデルにおいて,条件記憶を必要不可欠なモデリングプリミティブとして想定する。
論文 参考訳（メタデータ） (2026-01-12T09:54:49Z) - Quantifying Memory Utilization with Effective State-Size [73.52115209375343]
「我々は、テキスト・メモリ利用の尺度を策定する。」
この計量は、textitinput-invariant および textitinput-variant linear operator を持つシステムの基本的なクラスに適合する。
論文 参考訳（メタデータ） (2025-04-28T08:12:30Z) - Disentangled Action Recognition with Knowledge Bases [77.77482846456478]
本研究では,新規な動詞や新規な名詞に対する合成行動認識モデルの一般化能力の向上を目指す。
従来の作業では、知識グラフ内の動詞-名詞合成アクションノードを使用しており、スケールを非効率にしている。
本提案手法は, 行動の固有な構成性を活用する, 知識ベースを用いた不整合行動認識(DARK)である。
論文 参考訳（メタデータ） (2022-07-04T20:19:13Z) - NodePiece: Compositional and Parameter-Efficient Representations of
Large Knowledge Graphs [15.289356276538662]
固定サイズのエンティティ語彙を学習するためのアンカーベースのアプローチであるNodePieceを提案する。
NodePieceでは、サブワード/サブエンティティユニットの語彙は、既知の関係型を持つグラフのアンカーノードから構築される。
実験の結果、NodePieceはノード分類、リンク予測、関係予測タスクで競合的に動作していることがわかった。
論文 参考訳（メタデータ） (2021-06-23T03:51:03Z) - Kanerva++: extending The Kanerva Machine with differentiable, locally
block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。
我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。
この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文 参考訳（メタデータ） (2021-02-20T18:40:40Z) - Text Information Aggregation with Centrality Attention [86.91922440508576]
本稿では, 固有中央集権自己注意という, 集権重み付けの新たな方法を提案する。
文中のすべての単語に対する完全連結グラフを構築し,各単語の注意点として固有中央性を計算する。
論文 参考訳（メタデータ） (2020-11-16T13:08:48Z) - Memory Transformer [0.31406146587437894]
トランスフォーマーベースのモデルは、多くの自然言語処理タスクにおいて最先端の結果を得た。
メモリ拡張ニューラルネットワーク(MANN)は、従来のニューラルネットワークを拡張し、汎用メモリで表現する。
我々は,これらのメモリ拡張トランスフォーマーを評価し,メモリの存在がモデル性能と正の相関関係があることを実証した。
論文 参考訳（メタデータ） (2020-06-20T09:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。