論文の概要: A Survey on Unlearning in Large Language Models

• arxiv url: http://arxiv.org/abs/2510.25117v1
• Date: Wed, 29 Oct 2025 02:34:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.988919
• Title: A Survey on Unlearning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるアンラーニングに関する調査
• Authors: Ruichen Qiu, Jiajun Tan, Jiayue Pu, Honglin Wang, Xiao-Shan Gao, Fei Sun,
• Abstract要約: 大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、大規模なコーパスでのトレーニングは重大なリスクをもたらす。 これらの問題を緩和し、「忘れられる権利」のような法的・倫理的な基準に合わせるために、機械の非学習は重要なテクニックとして現れてきた。 この調査は、2021年以降に出版されたLLMアンラーニングに関する180以上の論文の体系的なレビューを提供する。
• 参考スコア（独自算出の注目度）: 18.262778815699345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advancement of Large Language Models (LLMs) has revolutionized natural language processing, yet their training on massive corpora poses significant risks, including the memorization of sensitive personal data, copyrighted material, and knowledge that could facilitate malicious activities. To mitigate these issues and align with legal and ethical standards such as the "right to be forgotten", machine unlearning has emerged as a critical technique to selectively erase specific knowledge from LLMs without compromising their overall performance. This survey provides a systematic review of over 180 papers on LLM unlearning published since 2021, focusing exclusively on large-scale generative models. Distinct from prior surveys, we introduce novel taxonomies for both unlearning methods and evaluations. We clearly categorize methods into training-time, post-training, and inference-time based on the training stage at which unlearning is applied. For evaluations, we not only systematically compile existing datasets and metrics but also critically analyze their advantages, disadvantages, and applicability, providing practical guidance to the research community. In addition, we discuss key challenges and promising future research directions. Our comprehensive overview aims to inform and guide the ongoing development of secure and reliable LLMs.
• Abstract（参考訳）: LLM(Large Language Models)の進歩は自然言語処理に革命をもたらしたが、その大規模なコーパスでの訓練は、機密性の高い個人情報の記憶、著作権のある資料、悪意ある活動を促進する知識など、重大なリスクをもたらす。 これらの問題を緩和し、「忘れられる権利」のような法的・倫理的な基準に合わせるために、機械アンラーニングはLLMから特定の知識を選択的に消去する重要な手法として、全体的な性能を損なうことなく登場した。 この調査は、2021年以降に出版されたLLMアンラーニングに関する180以上の論文の体系的なレビューを提供する。 従来の調査と異なり、未学習の手法と評価の両方に新しい分類法を導入する。 本研究では,未学習の訓練段階に基づいて,学習時間,後学習,推論時間に明確に分類する。 評価のために、既存のデータセットやメトリクスを体系的にコンパイルするだけでなく、それらの利点、デメリット、適用性を分析し、研究コミュニティに実践的なガイダンスを提供する。 また,重要な課題と今後の研究の方向性についても論じる。 我々の総合的な概要は、安全で信頼性の高いLCMの継続的な開発を知らせ、ガイドすることを目的としている。

関連論文リスト

• A Comprehensive Survey of Machine Unlearning Techniques for Large Language Models [35.893819613585315]
  本研究では,大規模言語モデル(LLM)の文脈における機械学習手法について検討する。 LLMのアンラーニングは、LLMから望ましくないデータの影響を取り除くための原則的なアプローチを提供する。 研究の関心が高まりつつあるにもかかわらず、既存の研究を体系的に整理し、重要な洞察を蒸留する総合的な調査は行われていない。
  論文  参考訳（メタデータ） (2025-02-22T12:46:14Z)
• Recent Advances in Federated Learning Driven Large Language Models: A Survey on Architecture, Performance, and Security [24.969739515876515]
  Federated Learning(FL)は、データプライバシを保持し、通信オーバーヘッドを最小限に抑えながら、大規模言語モデル(LLM)を分散的にトレーニングするための有望なパラダイムを提供する。 我々は、摂動に基づく手法、モデル分解、漸進的再学習を含む、連合LLMにおける未学習を可能にする様々な戦略についてレビューする。 本調査では, 現実の展開に向けて, 安全で適応性があり, 高性能なLLMシステムの開発に向けた重要な研究方向を明らかにする。
  論文  参考訳（メタデータ） (2024-06-14T08:40:58Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。