論文の概要: A Comparative Analysis of LLM Memorization at Statistical and Internal Levels: Cross-Model Commonalities and Model-Specific Signatures

• arxiv url: http://arxiv.org/abs/2603.21658v1
• Date: Mon, 23 Mar 2026 07:35:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.544525
• Title: A Comparative Analysis of LLM Memorization at Statistical and Internal Levels: Cross-Model Commonalities and Model-Specific Signatures
• Title（参考訳）: 統計的および内部レベルでのLLM記憶の比較分析:クロスモデル共通性とモデル特有な記号
• Authors: Bowen Chen, Namgi Han, Yusuke Miyao,
• Abstract要約: 記憶は人間とLLMの両方にとってインテリジェンスの基本構成要素である。 以前の研究では、単一のモデルシリーズに焦点が当てられ、シリーズ間で孤立した観察につながった。 本研究では,複数のモデル系列を収集し,その共有あるいはユニークな記憶行動を分析する。
• 参考スコア（独自算出の注目度）: 23.846451631333256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memorization is a fundamental component of intelligence for both humans and LLMs. However, while LLM performance scales rapidly, our understanding of memorization lags. Due to limited access to the pre-training data of LLMs, most previous studies focus on a single model series, leading to isolated observations among series, making it unclear which findings are general or specific. In this study, we collect multiple model series (Pythia, OpenLLaMa, StarCoder, OLMo1/2/3) and analyze their shared or unique memorization behavior at both the statistical and internal levels, connecting individual observations while showing new findings. At the statistical level, we reveal that the memorization rate scales log-linearly with model size, and memorized sequences can be further compressed. Further analysis demonstrated a shared frequency and domain distribution pattern for memorized sequences. However, different models also show individual features under the above observations. At the internal level, we find that LLMs can remove certain injected perturbations, while memorized sequences are more sensitive. By decoding middle layers and attention head ablation, we revealed the general decoding process and shared important heads for memorization. However, the distribution of those important heads differs between families, showing a unique family-level feature. Through bridging various experiments and revealing new findings, this study paves the way for a universal and fundamental understanding of memorization in LLM.
• Abstract（参考訳）: 記憶は人間とLLMの両方にとってインテリジェンスの基本構成要素である。 しかし, LLMの性能は急速に向上する一方, 記憶化の理解は遅れている。 LLMの事前学習データへのアクセスが限られているため、従来の研究は単一のモデルシリーズに焦点を合わせており、シリーズ間で孤立した観察が行われ、どの発見が一般的か特定されているかは明らかでない。 本研究では,複数のモデルシリーズ (Pythia, OpenLLaMa, StarCoder, OLMo1/2/3) を収集し,それらの共有あるいはユニークな記憶挙動を統計的および内部レベルで解析し,個々の観測を新たな知見を示しながら接続する。 統計的レベルでは,メモリ化速度はモデルサイズと対数的にスケールし,メモリ化シーケンスをさらに圧縮することができる。 さらに解析により,記憶配列の共有周波数と領域分布パターンが示された。 しかし、異なるモデルでは、上記の観測の下で個々の特徴も示している。 内部レベルでは、LLMは特定の注入された摂動を除去できるが、記憶されたシーケンスはより敏感である。 中層をデコードし,アテンションヘッドをアブレーションすることで,一般的なデコードプロセスを明らかにし,記憶のための重要なヘッドを共有した。 しかし、これらの重要な首の分布は家族によって異なり、独自の家族レベルの特徴を示している。 本研究は,種々の実験をブリッジし,新たな知見を明らかにすることによって,LLMにおける記憶の普遍的,基本的理解の道を開いた。

関連論文リスト

• If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
  大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。 我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
  論文  参考訳（メタデータ） (2025-03-30T16:50:57Z)
• Skewed Memorization in Large Language Models: Quantification and Decomposition [23.097554469918357]
  LLM(Large Language Models)のメモリ化は、プライバシとセキュリティのリスクを引き起こす。 本稿では,教師付き微調整(SFT)の記憶について検討し,トレーニング期間,データセットサイズ,サンプル間類似度との関係について検討する。
  論文  参考訳（メタデータ） (2025-02-03T09:23:53Z)
• Analyzing Memorization in Large Language Models through the Lens of Model Attribution [11.295483963637217]
  大規模言語モデル(LLM)は現代のアプリケーションでは一般的であるが、しばしばトレーニングデータを記憶し、プライバシー侵害や著作権問題を引き起こす。 異なる層におけるアテンションモジュールが,その記憶と一般化に与える影響を分析することによって,建築用レンズからの記憶について検討する。
  論文  参考訳（メタデータ） (2025-01-09T09:00:32Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• A Multi-Perspective Analysis of Memorization in Large Language Models [10.276594755936529]
  大規模言語モデル(LLM)は様々な分野で前例のない性能を示す。 LLMはそれらをトレーニングするのと同じコンテンツを生成することができる。 この研究は、様々な観点から記憶を包括的に議論した。
  論文  参考訳（メタデータ） (2024-05-19T15:00:50Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning [70.48605869773814]
  カタストロフィック・ナッシング(英: Catastrophic forgetting、CF)は、機械学習において、モデルが以前に学習した情報を忘れたときに発生する現象である。 本研究では,大規模言語モデルにおける連続的調律時の忘れ現象を実験的に評価する。
  論文  参考訳（メタデータ） (2023-08-17T02:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。