論文の概要: Undesirable Memorization in Large Language Models: A Survey

• arxiv url: http://arxiv.org/abs/2410.02650v2
• Date: Wed, 19 Mar 2025 18:50:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:32:48.389376
• Title: Undesirable Memorization in Large Language Models: A Survey
• Title（参考訳）: 大規模言語モデルにおける望ましくない記憶
• Authors: Ali Satvaty, Suzan Verberne, Fatih Turkmen,
• Abstract要約: 記憶化とは、モデルがトレーニングデータからフレーズを保存して再生する傾向をいう。 本稿では, LLM記憶に関する文献を分類し, 粒度, 再現性, 望ましさの3次元にわたって探索する。 我々は、プライバシーとパフォーマンスのバランスをとる方法を含む、近い将来の潜在的研究トピックを特定することで、調査を締めくくっている。
• 参考スコア（独自算出の注目度）: 5.659933808910005
• License:
• Abstract: While recent research increasingly showcases the remarkable capabilities of Large Language Models (LLMs), it is equally crucial to examine their associated risks. Among these, privacy and security vulnerabilities are particularly concerning, posing significant ethical and legal challenges. At the heart of these vulnerabilities stands memorization, which refers to a model's tendency to store and reproduce phrases from its training data. This phenomenon has been shown to be a fundamental source to various privacy and security attacks against LLMs. In this paper, we provide a taxonomy of the literature on LLM memorization, exploring it across three dimensions: granularity, retrievability, and desirability. Next, we discuss the metrics and methods used to quantify memorization, followed by an analysis of the causes and factors that contribute to memorization phenomenon. We then explore strategies that are used so far to mitigate the undesirable aspects of this phenomenon. We conclude our survey by identifying potential research topics for the near future, including methods to balance privacy and performance, and the analysis of memorization in specific LLM contexts such as conversational agents, retrieval-augmented generation, and diffusion language models. Given the rapid research pace in this field, we also maintain a dedicated repository of the references discussed in this survey which will be regularly updated to reflect the latest developments.
• Abstract（参考訳）: 最近の研究は、Large Language Models (LLMs) の顕著な能力を示しているが、それらに関連するリスクを調べることは同様に重要である。 これらの中、プライバシーとセキュリティの脆弱性は特に関係しており、倫理的および法的に重大な課題を提起している。 これらの脆弱性の核心は記憶であり、モデルがそのトレーニングデータからフレーズを保存して再生する傾向を示している。 この現象は、LLMに対する様々なプライバシおよびセキュリティ攻撃の根本原因であることが示されている。 本稿では, LLM記憶に関する文献を分類し, 粒度, 再現性, 望ましさの3次元にわたって探索する。 次に,暗記現象に寄与する原因と要因の分析を行い,暗記現象の定量化に使用される指標と方法について考察する。 そして、この現象の望ましくない側面を緩和するために、これまで使われてきた戦略を探求する。 近い将来、プライバシーと性能のバランスをとる方法や、会話エージェント、検索強化世代、拡散言語モデルなど、特定のLLMコンテキストにおける記憶の分析など、潜在的な研究トピックを同定し、調査を締めくくった。 この分野での急速な研究ペースを踏まえ、我々は、最新の発展を反映して定期的に更新される、この調査で議論された参照の専用リポジトリも維持する。

関連論文リスト

• Skewed Memorization in Large Language Models: Quantification and Decomposition [23.097554469918357]
  LLM(Large Language Models)のメモリ化は、プライバシとセキュリティのリスクを引き起こす。 本稿では,教師付き微調整(SFT)の記憶について検討し,トレーニング期間,データセットサイズ,サンプル間類似度との関係について検討する。
  論文  参考訳（メタデータ） (2025-02-03T09:23:53Z)
• Knowledge Boundary of Large Language Models: A Survey [75.67848187449418]
  大規模言語モデル(LLM)はパラメータに膨大な量の知識を格納するが、特定の知識の記憶と利用に制限がある。 これは、LLMの知識境界を理解するための重要な必要性を強調している。 本稿では,LLM知識境界の包括的定義を提案し,知識を4つの異なるタイプに分類する形式化された分類法を提案する。
  論文  参考訳（メタデータ） (2024-12-17T02:14:02Z)
• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• A Multi-Perspective Analysis of Memorization in Large Language Models [10.276594755936529]
  大規模言語モデル(LLM)は様々な分野で前例のない性能を示す。 LLMはそれらをトレーニングするのと同じコンテンツを生成することができる。 この研究は、様々な観点から記憶を包括的に議論した。
  論文  参考訳（メタデータ） (2024-05-19T15:00:50Z)
• Generative Cross-Modal Retrieval: Memorizing Images in Multimodal Language Models for Retrieval and Beyond [99.73306923465424]
  画像表現にユニークな識別子文字列を割り当てる生成的クロスモーダル検索フレームワークを提案する。 MLLMのイメージを記憶することで,従来の差別的アプローチとは異なる,クロスモーダル検索の新しいパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-16T16:31:46Z)
• SoK: Memorization in General-Purpose Large Language Models [25.448127387943053]
  大規模言語モデル(LLM)は、無数のアプリケーションが開発中で、目覚ましいペースで進んでいる。 LLMはトレーニングデータの短い秘密を記憶できるだけでなく、さまざまな方法でテキストで表現できる事実や書体スタイルといった概念を記憶することもできる。 本稿では,文章,事実,アイデア,アルゴリズム,書式,分布特性,アライメント目標を網羅したLLMにおける記憶のための分類法を提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:25:53Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Quantifying and Analyzing Entity-level Memorization in Large Language Models [4.59914731734176]
  大規模言語モデル(LLM)は、トレーニングデータを記憶できることが証明されている。 記憶から生じるプライバシーリスクが注目されている。 実世界のシナリオに近い条件やメトリクスで記憶を定量化するための,詳細なエンティティレベルの定義を提案する。
  論文  参考訳（メタデータ） (2023-08-30T03:06:47Z)
• Shortcut Learning of Large Language Models in Natural Language Understanding [119.45683008451698]
  大規模言語モデル(LLM)は、一連の自然言語理解タスクにおいて最先端のパフォーマンスを達成した。 予測のショートカットとしてデータセットのバイアスやアーティファクトに依存するかも知れません。 これは、その一般化性と敵対的堅牢性に大きな影響を与えている。
  論文  参考訳（メタデータ） (2022-08-25T03:51:39Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。