論文の概要: Quantifying and Analyzing Entity-level Memorization in Large Language Models

• arxiv url: http://arxiv.org/abs/2308.15727v2
• Date: Sun, 5 Nov 2023 13:44:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 21:15:15.815063
• Title: Quantifying and Analyzing Entity-level Memorization in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるエンティティレベルの記憶の定量化と解析
• Authors: Zhenhong Zhou, Jiuyang Xiang, Chaomeng Chen, Sen Su
• Abstract要約: 大規模言語モデル(LLM)は、トレーニングデータを記憶できることが証明されている。 記憶から生じるプライバシーリスクが注目されている。 実世界のシナリオに近い条件やメトリクスで記憶を定量化するための,詳細なエンティティレベルの定義を提案する。
• 参考スコア（独自算出の注目度）: 4.59914731734176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have been proven capable of memorizing their training data, which can be extracted through specifically designed prompts. As the scale of datasets continues to grow, privacy risks arising from memorization have attracted increasing attention. Quantifying language model memorization helps evaluate potential privacy risks. However, prior works on quantifying memorization require access to the precise original data or incur substantial computational overhead, making it difficult for applications in real-world language models. To this end, we propose a fine-grained, entity-level definition to quantify memorization with conditions and metrics closer to real-world scenarios. In addition, we also present an approach for efficiently extracting sensitive entities from autoregressive language models. We conduct extensive experiments based on the proposed, probing language models' ability to reconstruct sensitive entities under different settings. We find that language models have strong memorization at the entity level and are able to reproduce the training data even with partial leakages. The results demonstrate that LLMs not only memorize their training data but also understand associations between entities. These findings necessitate that trainers of LLMs exercise greater prudence regarding model memorization, adopting memorization mitigation techniques to preclude privacy violations.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特定の設計のプロンプトを通して抽出できる訓練データを記憶できることが証明されている。 データセットの規模が拡大するにつれて、記憶から生じるプライバシーリスクが注目されている。 言語モデル記憶の定量化は潜在的なプライバシーリスクの評価に役立つ。 しかし、記憶の定量化に関する以前の研究では、正確な元のデータにアクセスするか、かなりの計算オーバーヘッドを負う必要があり、現実世界の言語モデルのアプリケーションでは困難である。 この目的のために,実世界のシナリオに近い条件やメトリクスで記憶を定量化する,詳細なエンティティレベルの定義を提案する。 さらに,自己回帰型言語モデルからセンシティブなエンティティを効率的に抽出する手法を提案する。 提案する言語モデルに基づく広範囲な実験を行い,異なる環境下でセンシティブな実体を再構築する能力について検討した。 言語モデルはエンティティレベルで強く記憶され,部分的なリークがあってもトレーニングデータを再現できることがわかった。 その結果、LLMはトレーニングデータを記憶するだけでなく、エンティティ間の関連も理解していることがわかった。 これらの知見は, LLMのトレーナーが, プライバシー侵害を防止するため, モデル記憶に関するより慎重な訓練を行う必要がある。

関連論文リスト

• Undesirable Memorization in Large Language Models: A Survey [5.659933808910005]
  大規模言語モデル(LLM)における記憶の話題に関する知識体系化(SoK)を提案する。 記憶とは、モデルがトレーニングデータからフレーズやフレーズを保存し、再生する傾向があることである。 本研究は,記憶現象に寄与する要因の解析に続き,記憶現象を測定するために用いられる指標と方法について議論する。
  論文  参考訳（メタデータ） (2024-10-03T16:34:46Z)
• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• Rethinking LLM Memorization through the Lens of Adversarial Compression [93.13830893086681]
  Webスケールデータセットでトレーニングされた大規模言語モデル(LLM)は、許容可能なデータ使用に関する重大な懸念を提起する。 ひとつ大きな疑問は、これらのモデルがすべてのトレーニングデータを"記憶する"のか、それとも、人間がどのように情報を学び、合成するかに何らかの方法で多くのデータソースを統合するのかである。 本稿では,LLMの記憶度を評価する指標として,ACR(Adversarial Compression Ratio)を提案する。
  論文  参考訳（メタデータ） (2024-04-23T15:49:37Z)
• SoK: Memorization in General-Purpose Large Language Models [25.448127387943053]
  大規模言語モデル(LLM)は、無数のアプリケーションが開発中で、目覚ましいペースで進んでいる。 LLMはトレーニングデータの短い秘密を記憶できるだけでなく、さまざまな方法でテキストで表現できる事実や書体スタイルといった概念を記憶することもできる。 本稿では,文章,事実,アイデア,アルゴリズム,書式,分布特性,アライメント目標を網羅したLLMにおける記憶のための分類法を提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:25:53Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Mitigating Approximate Memorization in Language Models via Dissimilarity Learned Policy [0.0]
  大規模言語モデル(LLM)は大量のデータに基づいて訓練される。 LLMは、トレーニングデータの一部を記憶し、相手が適切にプロンプトすると、それらのデータを冗長に出力することを示した。
  論文  参考訳（メタデータ） (2023-05-02T15:53:28Z)
• Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy [91.98116450958331]
  我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。 具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。 我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
  論文  参考訳（メタデータ） (2022-10-31T17:57:55Z)
• Quantifying Memorization Across Neural Language Models [61.58529162310382]
  大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。 これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。 本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
  論文  参考訳（メタデータ） (2022-02-15T18:48:31Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。