論文の概要: The Landscape of Memorization in LLMs: Mechanisms, Measurement, and Mitigation

• arxiv url: http://arxiv.org/abs/2507.05578v1
• Date: Tue, 08 Jul 2025 01:30:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.472545
• Title: The Landscape of Memorization in LLMs: Mechanisms, Measurement, and Mitigation
• Title（参考訳）: LLMにおける暗記の景観--メカニズム,計測,緩和
• Authors: Alexander Xiong, Xuandong Zhao, Aneesh Pappu, Dawn Song,
• Abstract要約: 大規模言語モデル(LLM)は、幅広いタスクにわたって顕著な能力を示してきたが、トレーニングデータの記憶も示している。 本稿では,最近の研究成果を整理し,記憶の景観,その影響要因,その検出・緩和方法について考察する。
• 参考スコア（独自算出の注目度）: 97.0658685969199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities across a wide range of tasks, yet they also exhibit memorization of their training data. This phenomenon raises critical questions about model behavior, privacy risks, and the boundary between learning and memorization. Addressing these concerns, this paper synthesizes recent studies and investigates the landscape of memorization, the factors influencing it, and methods for its detection and mitigation. We explore key drivers, including training data duplication, training dynamics, and fine-tuning procedures that influence data memorization. In addition, we examine methodologies such as prefix-based extraction, membership inference, and adversarial prompting, assessing their effectiveness in detecting and measuring memorized content. Beyond technical analysis, we also explore the broader implications of memorization, including the legal and ethical implications. Finally, we discuss mitigation strategies, including data cleaning, differential privacy, and post-training unlearning, while highlighting open challenges in balancing the minimization of harmful memorization with utility. This paper provides a comprehensive overview of the current state of research on LLM memorization across technical, privacy, and performance dimensions, identifying critical directions for future work.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いタスクにわたって顕著な能力を示してきたが、トレーニングデータの記憶も示している。 この現象は、モデル行動、プライバシーリスク、学習と記憶の境界に関する重要な疑問を引き起こす。 これらの問題に対処するため,本研究では,最近の研究成果を整理し,記憶の景観,その影響要因,その検出・緩和方法について検討する。 トレーニングデータ重複、トレーニングダイナミクス、データ記憶に影響を与える微調整手順など、重要なドライバについて検討する。 さらに,プレフィックスベース抽出,メンバシップ推論,敵対的プロンプトなどの手法について検討し,記憶内容の検出と測定の有効性について検討した。 技術的な分析以外にも、法的な意味や倫理的な意味を含む、記憶の幅広い意味についても検討する。 最後に,データクリーニング,差分プライバシー,学習後アンラーニングなどの緩和戦略について論じ,有害な記憶の最小化とユーティリティのバランスをとる上でのオープンな課題を強調した。 本稿では, 技術, プライバシ, 性能の面からLLMの記憶に関する研究の現状を概観し, 今後の作業における重要な方向性を明らかにする。

関連論文リスト

• Mitigating Memorization in LLMs using Activation Steering [3.5782765808288475]
  LLM(Large Language Models)によるトレーニングデータの記憶は、プライバシー漏洩や著作権付きコンテンツの復活など、重大なリスクをもたらす。 モデルアクティベーションに直接介入するアクティベーションステアリング(Activation steering)は、LSMを操作するための有望なアプローチとして登場した。
  論文  参考訳（メタデータ） (2025-03-08T03:37:07Z)
• Undesirable Memorization in Large Language Models: A Survey [5.659933808910005]
  記憶化とは、モデルがトレーニングデータからフレーズを保存して再生する傾向をいう。 本稿では, LLM記憶に関する文献を分類し, 粒度, 再現性, 望ましさの3次元にわたって探索する。 我々は、プライバシーとパフォーマンスのバランスをとる方法を含む、近い将来の潜在的研究トピックを特定することで、調査を締めくくっている。
  論文  参考訳（メタデータ） (2024-10-03T16:34:46Z)
• Extracting Training Data from Document-Based VQA Models [67.1470112451617]
  VLM(Vision-Language Models)は、文書ベースの視覚質問回答において顕著な進歩を遂げている(つまり、画像として提供される入力文書の内容に関する問い合わせに応答する)。 これらのモデルでは、関連する視覚情報が削除された場合でも、トレーニングサンプルに対する応答を記憶し、それらをリグルジタイズすることができる。 これには、トレーニングセットで繰り返し繰り返されるパーソナライズ可能な情報が含まれており、これらのモデルが機密情報を漏らし、したがってプライバシーリスクを引き起こす可能性があることを示している。
  論文  参考訳（メタデータ） (2024-07-11T17:44:41Z)
• Recent Advances in Federated Learning Driven Large Language Models: A Survey on Architecture, Performance, and Security [24.969739515876515]
  Federated Learning(FL)は、データプライバシを保持し、通信オーバーヘッドを最小限に抑えながら、大規模言語モデル(LLM)を分散的にトレーニングするための有望なパラダイムを提供する。 我々は、摂動に基づく手法、モデル分解、漸進的再学習を含む、連合LLMにおける未学習を可能にする様々な戦略についてレビューする。 本調査では, 現実の展開に向けて, 安全で適応性があり, 高性能なLLMシステムの開発に向けた重要な研究方向を明らかにする。
  論文  参考訳（メタデータ） (2024-06-14T08:40:58Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Machine Unlearning: Solutions and Challenges [21.141664917477257]
  機械学習モデルは、機密性、不正、悪意のあるデータを不注意に記憶し、プライバシ侵害、セキュリティ脆弱性、パフォーマンス劣化のリスクを生じさせる可能性がある。 これらの問題に対処するために、機械学習は訓練されたモデルに対する特定の訓練データポイントの影響を選択的に除去する重要なテクニックとして登場した。 本稿では,機械学習における解の包括的分類と解析について述べる。
  論文  参考訳（メタデータ） (2023-08-14T10:45:51Z)
• Semantics-Preserved Distortion for Personal Privacy Protection in Information Management [65.08939490413037]
  本稿では,意味的整合性を維持しつつテキストを歪ませる言語学的アプローチを提案する。 本稿では, 意味保存歪みの枠組みとして, 生成的アプローチと置換的アプローチの2つを提示する。 また、特定の医療情報管理シナリオにおけるプライバシ保護についても検討し、機密データの記憶を効果的に制限していることを示す。
  論文  参考訳（メタデータ） (2022-01-04T04:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。