論文の概要: How Much Information Can We Fit inside a Transformer?

• arxiv url: http://arxiv.org/abs/2610.34553v1
• Date: Sun, 25 Oct 2026 20:28:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.634618
• Title: How Much Information Can We Fit inside a Transformer?
• Title（参考訳）: 変圧器の内部にどのくらいの情報が収まるのか?
• Abstract要約: モデルが完全に記憶する最大のデータセットのサイズであるキャパシティは、トランスフォーマー次元とともに指数関数的に成長する。 N = 45$から4920$にまたがる11のデータセットサイズで、不適合なF-testは対数適合を拒否しないが、パワーローを含む他のテスト対象の選択肢を全て拒否する。
• 参考スコア（独自算出の注目度）: 5.017985569680319
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How efficiently can transformers store factual knowledge? The answer to this question has implications for both model design and understanding the limits of transformer-based systems. Prior studies observe a linear relationship between the number of facts memorized and the number of model parameters required, substantially worse than what theoretical analyses predict is achievable. We re-examine empirical scaling: through rigorous and systematic experiments, including extensive hyperparameter search via Bayesian optimization, we determine the smallest model that can perfectly memorize a given set of facts, and measure how this minimum size scales with the number of facts. On synthetic datasets of random, independent (subject, relation, object) triples---e.g., (Paris, capital_of, France) ---drawn at random with no exploitable structure, we find that memorization capacity, the size of the largest dataset that a model memorizes completely, grows exponentially with the transformer dimension. Equivalently, the minimum transformer dimension $d_{\min}$ required to memorize $N$ facts grows logarithmically in $N$. Across 11 dataset sizes spanning $N = 45$ to $49{,}920$, a lack-of-fit F-test does not reject the logarithmic fit (with an offset), but it does reject all other tested alternatives including power-law. Along the depth axis, however, at fixed width, the maximum memorizable dataset size grows sublinearly with the number of layers over the measured range. We further extend our exploration to structured data containing symmetric relations or two-hop composition. In this setting, we find that transformers exploit these regularities to further improve capacity. All code to reproduce our results is available at https://github.com/Magronox/transformer_information_capacity.
• Abstract（参考訳）: トランスフォーマーは、現実の知識をいかに効率的に保存できるか? この疑問に対する答えは、モデル設計とトランスフォーマーベースのシステムの限界を理解することの両方に影響を及ぼす。 先行研究では、記憶された事実の数とモデルパラメータの数の間に線形関係が観察され、理論分析が予測できるものよりもはるかに悪い。 ベイズ最適化による広範なハイパーパラメータ探索を含む厳密で体系的な実験を通じて、与えられた事象の集合を完全に記憶できる最小のモデルを決定し、この最小サイズが事実数でどのようにスケールするかを測定する。 ランダムで独立な(対象、関係、対象)3重の合成データセット--e g , (Paris, capital_of, France) -- を悪用可能な構造を持たないランダムに描画すると、モデルが完全に記憶する最大のデータセットのサイズである記憶能力が、トランスフォーマー次元とともに指数関数的に増大することがわかった。 同様に、$N$事実を記憶するために必要となる最小変圧器次元$d_{\min}$は、$N$で対数的に増加する。 N = 45$から49{,}920$にまたがる11のデータセットサイズで、不適合なF-testは(オフセットで)対数適合を拒否しないが、パワーローを含む他のテスト対象の選択肢を全て拒否する。 しかし、深さ軸に沿って、一定の幅で、最大記憶可能なデータセットサイズは測定範囲の層数とともに亜直線的に増加する。 さらに、対称関係や2ホップ構成を含む構造化データへの探索を拡大する。 この設定では、トランスフォーマーがこれらの規則を利用してキャパシティをさらに向上する。 結果を再現するコードは、https://github.com/Magronox/transformer_information_capacity.comで入手できる。

関連論文リスト

• Squeezing More from Limited Data with Recursive Transformers [50.00473320123697]
  限られたデータの下で事前トレーニングを行うには、Webスケールの言語モデリングとは異なるスケーリングのビューが必要である。 本研究では,10M-100Mワードの事前学習予算と2つのコーパス,複数の下流評価について検討した。
  論文  参考訳（メタデータ） (2026-08-27T11:18:27Z)
• Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't [78.36679389968772]
  パッド付き$textL$ constantprecision transformerは、表現性に対して驚くほど堅牢である。 glogd-looped constant-precision transformer reach $textFO-uniform TCd$, growing-precision transformer reach $textFO-uniform TCd$
  論文  参考訳（メタデータ） (2026-05-28T19:58:43Z)
• Learning to Recall with Transformers Beyond Orthogonal Embeddings [42.18876773867171]
  簡単なトークン検索タスクにおいて,勾配降下法で学習したランダム埋め込みを用いた変圧器を解析する。 我々の分析は、勾配降下の初期段階'を追跡分析し、モデル記憶容量の明示的な公式を導出する。
  論文  参考訳（メタデータ） (2026-03-16T21:17:01Z)
• Solving Empirical Bayes via Transformers [18.654470796004265]
  この研究は、最も古い統計問題の1つを解決するために、現代のAIツール(トランスフォーマー)を適用している。 トランスモデルは、合成生成されたペアのセット$(X,theta)$で事前訓練され、未知の$pi$に適応することで、コンテキスト内学習(ICL)を学習する。
  論文  参考訳（メタデータ） (2025-02-14T01:06:15Z)
• Understanding Factual Recall in Transformers via Associative Memories [55.93756571457904]
  浅層変圧器は、連想記憶の組み合わせを用いて、ほぼ最適な記憶能力を得ることができることを示す。 本研究では, 1層に1つの自己注意を持つ変圧器にパラメータを付加することにより, ファクトリコールタスクにおいて100%の精度が得られることを示す。
  論文  参考訳（メタデータ） (2024-12-09T14:48:14Z)
• Understanding Scaling Laws with Statistical and Approximation Theory for Transformer Neural Networks on Intrinsically Low-dimensional Data [4.481230230086981]
  ディープニューラルネットワークでは、モデルのサイズとデータサイズの両方に依存するパワースケーリング法則に従うために、モデルの一般化誤差がしばしば観察される。 本理論は, 一般化誤差とトレーニングデータサイズと変圧器のネットワークサイズとの間のパワー則を予測する。 多様体仮説の下で低次元のデータ構造を利用することにより、データ幾何学を尊重する方法でトランスフォーマースケーリング法則を説明することができる。
  論文  参考訳（メタデータ） (2024-11-11T01:05:28Z)
• Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
  2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。 例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
  論文  参考訳（メタデータ） (2024-10-03T21:21:02Z)
• Scaling Efficient LLMs [0.0]
  変圧器の「AIスケーリング法則」は、パラメータの数はデータのサイズと線形にスケールする必要があることを示唆している。 本稿では,リカレント変圧器と再カレントネットワークの有効性を組み合わせた再カレント変圧器を提案する。
  論文  参考訳（メタデータ） (2024-02-22T18:06:19Z)
• What Dense Graph Do You Need for Self-Attention? [73.82686008622596]
  我々はハイパーキューブにおけるトークンインタラクションをモデル化し、バニラ変換器と同等あるいはそれ以上の結果を示すスパーストランスフォーマーHypercube Transformerを提案する。 様々なシーケンス長を必要とするタスクの実験は、グラフ関数の検証をうまく行いました。
  論文  参考訳（メタデータ） (2022-05-27T14:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。