Fugu-MT 論文翻訳(概要): Tokenizer-Agnostic Engram Module

論文の概要: Tokenizer-Agnostic Engram Module

arxiv url: http://arxiv.org/abs/2607.29065v1
Date: Fri, 31 Jul 2026 06:32:15 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-03 14:29:40.636908
Title: Tokenizer-Agnostic Engram Module
Title（参考訳）: Tokenizer-Agnostic Engram Module
Abstract要約: DeepseekのEngram条件付きメモリモジュールは、Engram埋め込みルックアップのトークンレベルの$N$-gramハッシュに依存している。本稿では,異なるトークンを用いたEngramモデル間の互換性を実現するため,ハッシュルーチンの変更を提案する。この研究は、可能なトレードオフを調査し、この単純な置換が同等のパフォーマンスをもたらすことを示す。
参考スコア（独自算出の注目度）: 5.1296785679475105
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deepseek's Engram, a conditional memory module, was introduced to trade-off storage versus reasoning in large language models. However, the module relies on token-level $N$-gram hashing for Engram embedding lookup, introducing a tight coupling to the tokenizer used: a model with a different tokenizer would have to train its own Engram embeddings from scratch. To improve the reusability of Engram embeddings, we propose a change to the hashing routine, enabling compatibility between Engram models using different tokenizers. Instead of modelling disjoint $N$-gram spaces, we treat $N$-gram as a method to sample potentially useful byte sequences, from all possible byte sequences across tokens. We replace the XOR-based hashing with the general polynomial hashing with a joint embedding space across $N$. This work investigates the possible trade-offs and shows that this simple substitution produces comparable performance and achieves tokenizer-agnosticism: hash equivalence for byte-equivalent token sequences.
Abstract（参考訳）: 条件付きメモリモジュールであるDeepseekのEngramは、大規模な言語モデルでの論理よりもトレードオフストレージに導入された。しかし、モジュールはEngramの埋め込みルックアップのためにトークンレベルの$N$-gramハッシュに依存しており、異なるトークンライザを持つモデルは、独自のEngram埋め込みをスクラッチからトレーニングする必要がある。本研究では,エングラム埋め込みの再利用性を向上させるため,ハッシュルーチンの変更を提案し,異なるトークンを用いたエングラムモデル間の互換性を実現する。非結合な$N$-gram空間をモデル化する代わりに、トークンをまたいだ全ての可能なバイトシーケンスから潜在的に有用なバイトシーケンスをサンプリングする方法として$N$-gramを扱います。我々は XOR ベースのハッシュを一般多項式ハッシュに置き換えて、$N$ のジョイント埋め込み空間に置き換える。この研究は、可能なトレードオフを調査し、この単純な置換が同等のパフォーマンスを生み出し、トークン化の非依存性、すなわちバイト等価なトークン配列のハッシュ同値性を実現することを示す。

関連論文リスト

MinGram: A Minimalist Unigram Tokenizer with High Compression and Competitive Morphological Alignment [0.0]
トークンリストの表現は維持するが,BPE由来のシード語彙を用いたトレーニングを簡略化するMinGramを導入する。下流言語モデルのトレーニングでは、MinGramが最良で、バイト単位のビット数でBPEを一貫して上回っている。
論文参考訳（メタデータ） (2026-06-25T13:31:02Z)
Tensorizing Engram: Sharing Latents Across N-Gram Embeddings is Beneficial in LLMs [29.319221741796685]
過度にトークン化されたトランスフォーマーとEngramは、マルチトークンメモリを明示的に組み込むことで、この制限に対処しようとする。本稿では,共有因子によるn-gramの埋め込みを表すコンパクトメモリモジュールであるPolyadicized Engram (TN-gram)を提案する。総合的な実験により、TN-gram は Engram スタイルの n-gram 加群と一致し、さらに優れることを示した。
論文参考訳（メタデータ） (2026-06-06T21:36:51Z)
Lngram: N-gram Conditional Memory in Latent Space [7.279732869251628]
隠れ状態から直接離散シンボルを学習する潜在空間条件記憶モジュールを提案する。 Lngramは、長文言語モデリングにおいてTransformerとEngramのベースラインを上回ります。 LogitLensとCKAによる分析では、Lngramによって予測関連情報が早く現れることが示唆されている。
論文参考訳（メタデータ） (2026-05-24T04:59:11Z)
Does Engram Do Memory Retrieval in Autoregressive Image Generation? [50.31813662801864]
本研究では,Engramモジュールを2次元空間的$n$-gramハッシュ,ゲート融合,KV-cache互換インクリメンタル推論で視覚に適応させる。ゲート・クランプ・スイープは、エングラムの経路を完全に無効にすることは破滅的であることを示している。ドナープローブ実験により、一致した、逆数的な、あるいはランダムな同一クラスの例にハッシュ入力を交換すると、統計的に区別不能な次トーケン分布が生じることが示された。
論文参考訳（メタデータ） (2026-05-13T08:40:46Z)
Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。右列桁のグルーピングは、大数の算術を+33%向上させる。
論文参考訳（メタデータ） (2025-06-23T18:02:26Z)
Sampling from Your Language Model One Byte at a Time [82.71473348639489]
トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
論文参考訳（メタデータ） (2025-06-17T02:37:04Z)
Training-Free Tokenizer Transplantation via Orthogonal Matching Pursuit [45.18582668677648]
大規模言語モデルにおいて,トークン化剤を移植するためのトレーニング不要な手法を提案する。それぞれの語彙外トークンを,共有トークンの疎線形結合として近似する。我々は,OMPがベースモデルの性能を最良にゼロショット保存できることを示す。
論文参考訳（メタデータ） (2025-06-07T00:51:27Z)
Causal Estimation of Tokenisation Bias [58.20086589761273]
我々は、訓練されたモデルが対応する文字に割り当てる確率に対して、トークンの語彙にサブワードを含むか否かを定量化する。トークン化は、スケール、語彙、トークンサプライヤにわたるモデルのアウトプットに一貫して影響を与えます。特に、小モデルの語彙におけるサブワードの存在は、文字の確率を最大17倍に向上させる可能性がある。
論文参考訳（メタデータ） (2025-06-03T17:59:47Z)
CODA: Repurposing Continuous VAEs for Discrete Tokenization [31.932323809073477]
textbfCODA(textbfCOntinuous-to-textbfDiscrete textbfAdaptation)は、圧縮と離散化を分離するフレームワークである。提案手法は,ImageNet 256$times$256ベンチマークにおいて,$mathbf0.43$と$mathbf1.34$を8倍,$16倍の圧縮で,100%のコードブック利用と注目すべき再構成FID(rFID)を実現している。
論文参考訳（メタデータ） (2025-03-22T12:59:00Z)
Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens [138.36729703589512]
神経大言語モデル(LLM)の時代には,$n$-gramの言語モデルがいまだに関係していることを示す。これは、2つの側面で$n$-gramのLMを近代化することで実現された。まず、ニューラルネットワークLLMと同じデータスケールでトレーニングする -- 5兆トークン。次に、既存の$n$-gram LMは、そのパフォーマンスを妨げる小さな$n$を使用します。
論文参考訳（メタデータ） (2024-01-30T19:03:49Z)
Object Recognition as Next Token Prediction [99.40793702627396]
オブジェクト認識を次のトークン予測として提案する。その考え方は、画像埋め込みからフォームラベルへのテキストトークンの自動回帰予測を行う言語デコーダを適用することである。
論文参考訳（メタデータ） (2023-12-04T18:58:40Z)
byteSteady: Fast Classification Using Byte-Level n-Gram Embeddings [77.6701264226519]
byteSteadyは,バイトレベルのn-gram埋め込みを用いた高速な分類モデルである。 byteSteadyの簡単な応用はテキスト分類である。 byteSteadyは1種類の非言語データ -- DNA配列を遺伝子分類に適用する。
論文参考訳（メタデータ） (2021-06-24T20:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。