論文の概要: Memorization in Language Models through the Lens of Intrinsic Dimension

• arxiv url: http://arxiv.org/abs/2506.09591v1
• Date: Wed, 11 Jun 2025 10:42:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:02.863842
• Title: Memorization in Language Models through the Lens of Intrinsic Dimension
• Title（参考訳）: 固有次元レンズによる言語モデルの記憶
• Authors: Stefan Arnold,
• Abstract要約: 言語モデル(LM)は、トレーニング中にデータの一部を記憶し、世代毎に意図せずに出力する傾向がある。 Intrinsic Dimension (ID) は, 潜時空間における配列の構造的複雑さの幾何的プロキシであり, 記憶の変調における役割について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language Models (LMs) are prone to memorizing parts of their data during training and unintentionally emitting them at generation time, raising concerns about privacy leakage and disclosure of intellectual property. While previous research has identified properties such as context length, parameter size, and duplication frequency, as key drivers of unintended memorization, little is known about how the latent structure modulates this rate of memorization. We investigate the role of Intrinsic Dimension (ID), a geometric proxy for the structural complexity of a sequence in latent space, in modulating memorization. Our findings suggest that ID acts as a suppressive signal for memorization: compared to low-ID sequences, high-ID sequences are less likely to be memorized, particularly in overparameterized models and under sparse exposure. These findings highlight the interaction between scale, exposure, and complexity in shaping memorization.
• Abstract（参考訳）: 言語モデル(LM)は、トレーニング中にデータの一部を記憶し、世代毎に意図せずに出力する傾向があるため、プライバシの漏洩や知的財産の開示に関する懸念が高まっている。 これまでの研究では、文脈長、パラメータサイズ、複製頻度などの特性を意図しない記憶の鍵となる要因として特定しているが、潜伏構造が記憶の速度をどのように調節するかは分かっていない。 Intrinsic Dimension (ID) は, 潜時空間における配列の構造的複雑さの幾何的プロキシであり, 記憶の変調における役割について検討する。 以上の結果から,IDは低ID配列と比較して,特に過度なパラメータ化モデルやスパース露光下では,高ID配列が記憶される可能性が低いことが示唆された。 これらの知見は, 形状記憶におけるスケール, 露出, 複雑さの相互作用を浮き彫りにした。

関連論文リスト

• A Geometric Framework for Understanding Memorization in Generative Models [11.263296715798374]
  近年の研究では、深層生成モデルにより、デプロイ時にトレーニングデータポイントを記憶・再生することが可能であることが示されている。 これらの知見は、特に暗記によって引き起こされる法的およびプライバシー上のリスクを考慮して、生成モデルのユーザビリティを疑問視する。 本稿では, 多様体の暗記仮説(MMH)を, 暗記を推論する明快な言語として活用する幾何学的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-10-31T18:09:01Z)
• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• Uncovering Latent Memories: Assessing Data Leakage and Memorization Patterns in Frontier AI Models [7.50189359952191]
  本研究は,初対面後に記憶されないシーケンスをトレーニング中に「発見」できることを示す。 潜在記憶の存在は、記憶されたシーケンスがモデルの最終的なチェックポイントに隠される可能性があるため、データのプライバシの課題となる。 我々は,クロスエントロピー損失を利用した診断試験を開発し,高い精度で潜時記憶配列を明らかにする。
  論文  参考訳（メタデータ） (2024-06-20T17:56:17Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy [91.98116450958331]
  我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。 具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。 我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
  論文  参考訳（メタデータ） (2022-10-31T17:57:55Z)
• Quantifying Memorization Across Neural Language Models [61.58529162310382]
  大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。 これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。 本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
  論文  参考訳（メタデータ） (2022-02-15T18:48:31Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。