論文の概要: Meta-memorization and memorization scaling laws in transformers

• arxiv url: http://arxiv.org/abs/2611.01564v1
• Date: Sun, 01 Nov 2026 04:43:31 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:30:28.383957
• Title: Meta-memorization and memorization scaling laws in transformers
• Title（参考訳）: 変圧器におけるメタ記憶と記憶のスケーリング則
• Abstract要約: 大規模な変換器は、パラメータの数とほぼ線形にスケールする容量(ビット)で、より多くのデータを記憶することができる。 逆に、より大きなモデルはより速く記憶し、記憶される前にトレーニング中にシーケンスの繰り返しを少なくする。 急激な記憶はメタ記憶効果によるもので、大量のランダムシーケンスを記憶するために訓練されたモデルは、新しいシーケンスをより早く記憶することを学ぶ。
• 参考スコア（独自算出の注目度）: 8.295606254883772
• License:
• Abstract: Larger transformers can memorize more data, with a capacity (in bits) that scales roughly linearly with the number of parameters. Counterintuitively, larger models also memorize faster, requiring fewer repetitions of a sequence during training before it is memorized. We reproduce both memorization scaling laws in transformers trained on random binary sequences, showing that rapid memorization can arise even when data contain no semantic or compositional structure. Rapid memorization is due to a meta-memorization effect, where models trained to memorize a large set of random sequences learn to memorize novel sequences more quickly. The rate $r(t)$ at which models memorize grows with training time $t$ as a power-law $r(t) \sim t^β$ with a fixed exponent $β$ but an increasing upper cutoff across model scales. Meta-memorization enables even one-layer transformers to few-shot memorize a 100-bit sequence. This effect is partly explained by the formation of structured attention heads that convey position-invariant sequence information to MLPs where memorized sequences are stored. Meta-memorization is recapitulated in a simplified model of a dense associative memory where retrieval is constrained by an attentional bottleneck. Our results suggest transformers, through pre-training, acquire reusable mechanisms that enable highly efficient storage and retrieval of memories.
• Abstract（参考訳）: より大規模な変換器は、パラメータの数とほぼ線形にスケールする容量(ビット)で、より多くのデータを記憶することができる。 反対に、より大きなモデルはより速く記憶し、記憶される前にトレーニング中にシーケンスの繰り返しを少なくする。 ランダムな二進数列で訓練された変圧器の暗記スケーリング法則を再現し,データに意味的構造や構成的構造が存在しない場合でも,高速な暗記が生じることを示した。 急激な記憶はメタ記憶効果によるもので、大量のランダムシーケンスを記憶するために訓練されたモデルは、新しいシーケンスをより早く記憶することを学ぶ。 モデルが記憶されるレート$r(t)$は、トレーニング時間$t$を、固定指数$β$を持つパワーロー$r(t) \sim t^β$として、トレーニング時間$t$で成長する。 メタ記憶により、1層変換器でも100ビットのシーケンスを数ショットで記憶することができる。 この効果は、記憶されたシーケンスが格納されているMLPに位置不変のシーケンス情報を伝達する構造化されたアテンションヘッドの形成によって部分的に説明される。 メタ記憶は、注目のボトルネックによって検索が制限される高密度連想記憶の単純化されたモデルで再カプセル化される。 以上の結果から, 記憶の保存と検索を効率的に行う再利用可能な機構を, 事前学習により獲得することが示唆された。

関連論文リスト

• Don't Forget! Decomposing the Training Dynamics of Memorization in Language Models [40.3905987483166]
  我々は、記憶されたシーケンスの損失軌跡をトレーニングやモデルパラメータよりも分解することで、記憶の微粒化を考察する。 ピキア族全体では、重複した訓練配列(リサイクリング)と稀な訓練配列(リコール)の記憶について研究する。
  論文  参考訳（メタデータ） (2026-09-28T11:31:23Z)
• Mixture of Chapters: Scaling Learnt Memory in Transformers [3.479712135769016]
  トランスフォーマーは、トレーニング中に取得した知識を保存し、整理するための明示的なアーキテクチャメカニズムを欠いている。 学習可能なスパースメモリバンク、潜在トークン、ランダムおよび訓練されたエンドツーエンドを導入します。 本研究では、Mixture-of-Expertsアーキテクチャにインスパイアされた章ベースのルーティングを提案し、メモリバンクを章に分割し、入力毎に関連するサブセットを選択するルータを訓練する。
  論文  参考訳（メタデータ） (2026-03-22T07:16:58Z)
• Memory Caching: RNNs with Growing Memory [56.25483647131372]
  メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。 我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。 その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2026-02-27T18:53:41Z)
• Memo: Training Memory-Efficient Embodied Agents with Reinforcement Learning [53.72709564555407]
  Memoは、強化学習のためのトランスフォーマーベースのアーキテクチャとトレーニングのレシピである。 トレーニング中のモデルの入力と周期的な要約トークンをインターリーブすることで、メモリの生成と検索を組み込む。 グリッドワールドメタRLベンチマークとマルチオブジェクトナビゲーションタスクにおけるMemoの有効性を,フォトリアリスティック屋内環境で実証する。
  論文  参考訳（メタデータ） (2025-10-22T16:24:47Z)
• Understanding Verbatim Memorization in LLMs Through Circuit Discovery [11.007171636579868]
  LLMにおける記憶機構の解明はいまだに不十分である。 我々は、モデル内の特定の機能を実行する最小の計算部分グラフである変換回路を使用する。 メモリ化を開始する回路は一度開始しても維持でき、メモリ化のみを維持できる回路は開始を誘導できない。
  論文  参考訳（メタデータ） (2025-06-17T20:14:56Z)
• Understanding Factual Recall in Transformers via Associative Memories [55.93756571457904]
  浅層変圧器は、連想記憶の組み合わせを用いて、ほぼ最適な記憶能力を得ることができることを示す。 本研究では, 1層に1つの自己注意を持つ変圧器にパラメータを付加することにより, ファクトリコールタスクにおいて100%の精度が得られることを示す。
  論文  参考訳（メタデータ） (2024-12-09T14:48:14Z)
• Recurrent Action Transformer with Memory [39.58317527488534]
  本稿では,情報保持を規制するリカレントメモリ機構を組み込んだ新しいモデルアーキテクチャを提案する。 メモリ集約環境(ViZDoom-Two-Colors, T-Maze, Memory Maze, Minigrid-Memory)、古典的アタリゲーム、MuJoCo制御環境について実験を行った。 その結果、メモリの使用は、古典的な環境における結果の維持や改善をしながら、メモリ集約環境におけるパフォーマンスを著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-06-15T19:29:08Z)
• Understanding Transformer Memorization Recall Through Idioms [42.28269674547148]
  言語モデルにおける記憶されたシーケンスのリコールを探索し,特徴付けるための,最初の方法論的フレームワークを提供する。 本研究では,モデル内の隠れ表現を,出力確率分布の段階的改善として解釈することにより,内部予測構築過程を解析する。 本研究は,メモリリコールの理解に向けての第一歩を踏み出し,トランスフォーマー記憶の今後の研究のための方法論的基盤を提供する。
  論文  参考訳（メタデータ） (2022-10-07T14:45:31Z)
• Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
  本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。 本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
  論文  参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。