論文の概要: The COUNT: Counting N-grams Unlocks Scaling on Host Memory and Training-Free Adaptation

• arxiv url: http://arxiv.org/abs/2610.20456v1
• Date: Wed, 14 Oct 2026 16:38:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.253629
• Title: The COUNT: Counting N-grams Unlocks Scaling on Host Memory and Training-Free Adaptation
• Title（参考訳）: COUNT: ホストメモリのスケーリングとトレーニング不要な適応をアンロックするN-gram
• Abstract要約: COUNTは、事前に計算されたn-gram数をホストに格納することで、学習したパラメータを追加することなくn-gramの埋め込みを構築する。 オフラインアンロックN-gram変換器のカウントは、検証損失を57%の計算量でLMと同じくらい改善する。
• 参考スコア（独自算出の注目度）: 68.62532599872576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The scaling relationship of compute and performance for language models (LMs) has been extensively studied; more recently, models are being designed to scale memory use, as well. In particular, adding embeddings for n-grams scales memory separately from compute use, because each pass only processes individual embedding rows, which are much smaller than the storage used for the whole embedding table. However, existing methods train embeddings from scratch, which needs expensive GPU memory for fast reading and writing. Meanwhile, the ordinary memory of the host system is cheap and underutilized by these training methods. To scale on host memory, we introduce COUNT (Counting Offline Unlocks N-gram Transformers), which builds n-gram embeddings without adding learned parameters by storing precomputed n-gram counts on host. We use the corpus frequencies to weight together the LM's own unembeddings of the next tokens most often following the current n-gram history. At a fixed compute budget, COUNT can be added as an additional input embedding for pretraining 1B-parameter LMs to improve validation loss as much as an LM with 57% more compute. If GPU memory is limited, using COUNT to let backbone parameters fill GPU memory gives better performance than splitting memory with additional learned n-gram embeddings. Beyond efficiency, COUNT allows switching in a different table of n-gram counts from a domain-specific corpus at inference time to adapt to a new task without any training.
• Abstract（参考訳）: 言語モデル(LM)のスケーリングと性能の関係は広く研究されており、近年ではメモリ使用量を増やすためにモデルも設計されている。 特に、n-gramの埋め込みを追加することは、メモリを計算使用とは別の規模にスケールさせる。 しかし、既存のメソッドはスクラッチから埋め込みをトレーニングしており、高速読み書きには高価なGPUメモリが必要である。 一方、ホストシステムの通常のメモリは安価で、これらのトレーニング手法では利用できない。 ホストメモリをスケールするために、COUNT(Counting Offline Unlocks N-gram Transformers)を導入します。 我々は、コーパス周波数を用いて、現在のn-gramの歴史に従って、LMの次のトークンの未埋め込みを重み付けする。 固定された計算予算では、COUNTは1BパラメータLMを事前訓練するための追加の入力埋め込みとして追加でき、57%の計算量を持つLMの検証損失を改善することができる。 GPUメモリが制限されている場合、バックボーンパラメータをGPUメモリに埋め込むためにCOUNTを使用すると、学習したn-gramの埋め込みを追加してメモリを分割するよりもパフォーマンスが向上する。 効率性以外にも、COUNTは、トレーニングなしで新しいタスクに適応するために、ドメイン固有のコーパスからn-gramカウントの異なるテーブルを推論時に切り替えることができる。

関連論文リスト

• Continuous Memory Machines [5.919150747124057]
  本稿では,行列値の短期記憶状態と長期記憶状態の繰り返しアーキテクチャであるContinuous Memory Machine (CMM)を紹介する。 短期記憶は最近の神経活動を追跡し、一意にパラメータ化されたニューロンレベルのモデルでこれらの活動パターンを計算に使用する。 永続的な長期記憶は後続使用のための情報を格納し、Transformerは両方のメモリストアを共同で更新する。
  論文  参考訳（メタデータ） (2026-10-06T07:52:50Z)
• FactorEngram: Factorized N-gram Memory with Basis-Level Gating for Language Models [32.10811723445662]
  本研究では,文脈ゲーティングを用いたN-gramメモリであるFacterEngramを提案する。 FactorEngramは、基底ベクトルの辞書上でスパーシ正規化係数を検索する。 言語モデリングとダウンストリームタスクのパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2026-09-28T16:35:18Z)
• Memory Grafting: Scaling Language Model Pre-training via Offline Conditional Memory [65.39827296429527]
  条件付きメモリのスケーリングは、言語モデルのキャパシティを向上する有望な方法である。 Engramのような既存の方法は、事前トレーニング中にスクラッチから大きなメモリテーブルを学習する。 本研究では, グラフトモデルから凍結した隠蔽状態を条件n-gramメモリとして利用する条件記憶スケーリング手法であるメモリグラフトを提案する。
  論文  参考訳（メタデータ） (2026-05-20T09:35:04Z)
• Memory Layers at Scale [67.00854080570979]
  この研究はメモリ層を概念実証以上のものにし、現代の規模でその有用性を証明している。 ダウンストリームタスクでは、改善されたメモリ層で強化された言語モデルは、予算の2倍以上の高密度モデルよりも優れており、計算とパラメータの両方にマッチする場合の熟練モデルの混合も優れている。 最大128Bのメモリパラメータを持つスケーリング法則を1兆トークンまで事前訓練し,最大8Bパラメータを持つベースモデルと比較した,完全な並列化可能なメモリレイヤの実装を提供する。
  論文  参考訳（メタデータ） (2024-12-12T23:56:57Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems [27.419109620575313]
  ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。 本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。 性能を維持しながらメモリフットプリントの大幅な削減を示す。
  論文  参考訳（メタデータ） (2021-02-24T19:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。