論文の概要: Undesirable Memorization in Large Language Models: A Survey

• arxiv url: http://arxiv.org/abs/2410.02650v2
• Date: Wed, 19 Mar 2025 18:50:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 15:30:51.779519
• Title: Undesirable Memorization in Large Language Models: A Survey
• Title（参考訳）: 大規模言語モデルにおける望ましくない記憶
• Authors: Ali Satvaty, Suzan Verberne, Fatih Turkmen,
• Abstract要約: 記憶化とは、モデルがトレーニングデータからフレーズを保存して再生する傾向をいう。 本稿では, LLM記憶に関する文献を分類し, 粒度, 再現性, 望ましさの3次元にわたって探索する。 我々は、プライバシーとパフォーマンスのバランスをとる方法を含む、近い将来の潜在的研究トピックを特定することで、調査を締めくくっている。
• 参考スコア（独自算出の注目度）: 5.659933808910005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While recent research increasingly showcases the remarkable capabilities of Large Language Models (LLMs), it is equally crucial to examine their associated risks. Among these, privacy and security vulnerabilities are particularly concerning, posing significant ethical and legal challenges. At the heart of these vulnerabilities stands memorization, which refers to a model's tendency to store and reproduce phrases from its training data. This phenomenon has been shown to be a fundamental source to various privacy and security attacks against LLMs. In this paper, we provide a taxonomy of the literature on LLM memorization, exploring it across three dimensions: granularity, retrievability, and desirability. Next, we discuss the metrics and methods used to quantify memorization, followed by an analysis of the causes and factors that contribute to memorization phenomenon. We then explore strategies that are used so far to mitigate the undesirable aspects of this phenomenon. We conclude our survey by identifying potential research topics for the near future, including methods to balance privacy and performance, and the analysis of memorization in specific LLM contexts such as conversational agents, retrieval-augmented generation, and diffusion language models. Given the rapid research pace in this field, we also maintain a dedicated repository of the references discussed in this survey which will be regularly updated to reflect the latest developments.
• Abstract（参考訳）: 最近の研究は、Large Language Models (LLMs) の顕著な能力を示しているが、それらに関連するリスクを調べることは同様に重要である。 これらの中、プライバシーとセキュリティの脆弱性は特に関係しており、倫理的および法的に重大な課題を提起している。 これらの脆弱性の核心は記憶であり、モデルがそのトレーニングデータからフレーズを保存して再生する傾向を示している。 この現象は、LLMに対する様々なプライバシおよびセキュリティ攻撃の根本原因であることが示されている。 本稿では, LLM記憶に関する文献を分類し, 粒度, 再現性, 望ましさの3次元にわたって探索する。 次に,暗記現象に寄与する原因と要因の分析を行い,暗記現象の定量化に使用される指標と方法について考察する。 そして、この現象の望ましくない側面を緩和するために、これまで使われてきた戦略を探求する。 近い将来、プライバシーと性能のバランスをとる方法や、会話エージェント、検索強化世代、拡散言語モデルなど、特定のLLMコンテキストにおける記憶の分析など、潜在的な研究トピックを同定し、調査を締めくくった。 この分野での急速な研究ペースを踏まえ、我々は、最新の発展を反映して定期的に更新される、この調査で議論された参照の専用リポジトリも維持する。

関連論文リスト

• Skewed Memorization in Large Language Models: Quantification and Decomposition [23.097554469918357]
  LLM(Large Language Models)のメモリ化は、プライバシとセキュリティのリスクを引き起こす。 本稿では,教師付き微調整(SFT)の記憶について検討し,トレーニング期間,データセットサイズ,サンプル間類似度との関係について検討する。
  論文  参考訳（メタデータ） (2025-02-03T09:23:53Z)
• Knowledge Boundary of Large Language Models: A Survey [75.67848187449418]
  大規模言語モデル(LLM)はパラメータに膨大な量の知識を格納するが、特定の知識の記憶と利用に制限がある。 これは、LLMの知識境界を理解するための重要な必要性を強調している。 本稿では,LLM知識境界の包括的定義を提案し,知識を4つの異なるタイプに分類する形式化された分類法を提案する。
  論文  参考訳（メタデータ） (2024-12-17T02:14:02Z)
• Model Inversion Attacks: A Survey of Approaches and Countermeasures [59.986922963781]
  近年、新しいタイプのプライバシ攻撃であるモデル反転攻撃(MIA)は、トレーニングのためのプライベートデータの機密性を抽出することを目的としている。 この重要性にもかかわらず、総合的な概要とMIAに関する深い洞察を提供する体系的な研究が欠如している。 本調査は、攻撃と防御の両方において、最新のMIA手法を要約することを目的としている。
  論文  参考訳（メタデータ） (2024-11-15T08:09:28Z)
• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• Unique Security and Privacy Threats of Large Language Model: A Comprehensive Survey [46.19229410404056]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げた。 これらのモデルは、強力な言語理解と生成能力を示すために、広大なデータセットでトレーニングされている。 プライバシーとセキュリティの問題は、そのライフサイクルを通じて明らかになっている。
  論文  参考訳（メタデータ） (2024-06-12T07:55:32Z)
• A Multi-Perspective Analysis of Memorization in Large Language Models [10.276594755936529]
  大規模言語モデル(LLM)は様々な分野で前例のない性能を示す。 LLMはそれらをトレーニングするのと同じコンテンツを生成することができる。 この研究は、様々な観点から記憶を包括的に議論した。
  論文  参考訳（メタデータ） (2024-05-19T15:00:50Z)
• Understanding Privacy Risks of Embeddings Induced by Large Language Models [75.96257812857554]
  大きな言語モデルは、人工知能の初期の兆候を示すが、幻覚に苦しむ。 1つの有望な解決策は、外部知識を埋め込みとして保存し、LLMを検索強化世代に支援することである。 近年の研究では、事前学習された言語モデルによるテキスト埋め込みから、元のテキストを部分的に再構築できることが実験的に示されている。
  論文  参考訳（メタデータ） (2024-04-25T13:10:48Z)
• A Survey on the Memory Mechanism of Large Language Model based Agents [66.4963345269611]
  大規模言語モデル(LLM)に基づくエージェントは、最近、研究や産業コミュニティから多くの注目を集めている。 LLMベースのエージェントは、現実の問題を解決する基礎となる自己進化能力に特徴付けられる。 エージェント-環境相互作用をサポートする重要なコンポーネントは、エージェントのメモリである。
  論文  参考訳（メタデータ） (2024-04-21T01:49:46Z)
• Privacy Preserving Prompt Engineering: A Survey [14.402638881376419]
  事前学習された言語モデル(PLM)は、広範囲の自然言語処理(NLP)タスクを解くのに非常に有能である。 その結果、これらのモデルのサイズは近年顕著に拡大している。 プライバシーに関する懸念は、広く使われている中で大きな障害となっている。
  論文  参考訳（メタデータ） (2024-04-09T04:11:25Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Generative Cross-Modal Retrieval: Memorizing Images in Multimodal Language Models for Retrieval and Beyond [99.73306923465424]
  画像表現にユニークな識別子文字列を割り当てる生成的クロスモーダル検索フレームワークを提案する。 MLLMのイメージを記憶することで,従来の差別的アプローチとは異なる,クロスモーダル検索の新しいパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-16T16:31:46Z)
• Security and Privacy Challenges of Large Language Models: A Survey [2.6986500640871482]
  LLM(Large Language Models)は、テキストの生成や要約、言語翻訳、質問応答など、非常に優れた機能を示し、複数の分野に貢献している。 これらのモデルは、Jailbreak攻撃、データ中毒攻撃、Personally Identible Information(PII)漏洩攻撃など、セキュリティやプライバシ攻撃にも脆弱である。 この調査では、トレーニングデータとユーザの両方に対するLLMのセキュリティとプライバシの課題と、輸送、教育、医療といったさまざまな領域におけるアプリケーションベースのリスクについて、徹底的にレビューする。
  論文  参考訳（メタデータ） (2024-01-30T04:00:54Z)
• Do LLMs Dream of Ontologies? [15.049502693786698]
  大規模言語モデル(LLM)は、最近、自動テキスト理解と生成に革命をもたらした。 本稿では,汎用的な事前学習 LLM が,どの程度の知識を持つかを検討する。
  論文  参考訳（メタデータ） (2024-01-26T15:10:23Z)
• SoK: Memorization in General-Purpose Large Language Models [25.448127387943053]
  大規模言語モデル(LLM)は、無数のアプリケーションが開発中で、目覚ましいペースで進んでいる。 LLMはトレーニングデータの短い秘密を記憶できるだけでなく、さまざまな方法でテキストで表現できる事実や書体スタイルといった概念を記憶することもできる。 本稿では,文章,事実,アイデア,アルゴリズム,書式,分布特性,アライメント目標を網羅したLLMにおける記憶のための分類法を提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:25:53Z)
• A Survey on Detection of LLMs-Generated Content [97.87912800179531]
  LLMの生成する内容を検出する能力が最重要視されている。 既存の検出戦略とベンチマークの詳細な概要を提供する。 また、様々な攻撃から守るための多面的アプローチの必要性を示唆する。
  論文  参考訳（メタデータ） (2023-10-24T09:10:26Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Identifying and Mitigating Privacy Risks Stemming from Language Models: A Survey [43.063650238194384]
  大規模言語モデル(LLM)は,近年,大規模化と広範囲なトレーニングデータによるパフォーマンス向上を図っている。 機械学習モデルのトレーニングデータ記憶は、特にLLMに関して、モデルサイズに合わせてスケールする。 記憶されたテキストシーケンスは、LSMから直接リークされる可能性があり、データのプライバシに深刻な脅威をもたらす。
  論文  参考訳（メタデータ） (2023-09-27T15:15:23Z)
• Quantifying and Analyzing Entity-level Memorization in Large Language Models [4.59914731734176]
  大規模言語モデル(LLM)は、トレーニングデータを記憶できることが証明されている。 記憶から生じるプライバシーリスクが注目されている。 実世界のシナリオに近い条件やメトリクスで記憶を定量化するための,詳細なエンティティレベルの定義を提案する。
  論文  参考訳（メタデータ） (2023-08-30T03:06:47Z)
• A Comprehensive Survey of Forgetting in Deep Learning Beyond Continual Learning [58.107474025048866]
  蓄積とは、以前に獲得した知識の喪失または劣化を指す。 フォッテッティングは、深層学習における様々な研究領域でよく見られる現象である。
  論文  参考訳（メタデータ） (2023-07-16T16:27:58Z)
• Shortcut Learning of Large Language Models in Natural Language Understanding [119.45683008451698]
  大規模言語モデル(LLM)は、一連の自然言語理解タスクにおいて最先端のパフォーマンスを達成した。 予測のショートカットとしてデータセットのバイアスやアーティファクトに依存するかも知れません。 これは、その一般化性と敵対的堅牢性に大きな影響を与えている。
  論文  参考訳（メタデータ） (2022-08-25T03:51:39Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。