論文の概要: A Survey on Unlearning in Large Language Models

• arxiv url: http://arxiv.org/abs/2510.25117v1
• Date: Wed, 29 Oct 2025 02:34:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.988919
• Title: A Survey on Unlearning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるアンラーニングに関する調査
• Authors: Ruichen Qiu, Jiajun Tan, Jiayue Pu, Honglin Wang, Xiao-Shan Gao, Fei Sun,
• Abstract要約: 大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、大規模なコーパスでのトレーニングは重大なリスクをもたらす。 これらの問題を緩和し、「忘れられる権利」のような法的・倫理的な基準に合わせるために、機械の非学習は重要なテクニックとして現れてきた。 この調査は、2021年以降に出版されたLLMアンラーニングに関する180以上の論文の体系的なレビューを提供する。
• 参考スコア（独自算出の注目度）: 18.262778815699345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advancement of Large Language Models (LLMs) has revolutionized natural language processing, yet their training on massive corpora poses significant risks, including the memorization of sensitive personal data, copyrighted material, and knowledge that could facilitate malicious activities. To mitigate these issues and align with legal and ethical standards such as the "right to be forgotten", machine unlearning has emerged as a critical technique to selectively erase specific knowledge from LLMs without compromising their overall performance. This survey provides a systematic review of over 180 papers on LLM unlearning published since 2021, focusing exclusively on large-scale generative models. Distinct from prior surveys, we introduce novel taxonomies for both unlearning methods and evaluations. We clearly categorize methods into training-time, post-training, and inference-time based on the training stage at which unlearning is applied. For evaluations, we not only systematically compile existing datasets and metrics but also critically analyze their advantages, disadvantages, and applicability, providing practical guidance to the research community. In addition, we discuss key challenges and promising future research directions. Our comprehensive overview aims to inform and guide the ongoing development of secure and reliable LLMs.
• Abstract（参考訳）: LLM(Large Language Models)の進歩は自然言語処理に革命をもたらしたが、その大規模なコーパスでの訓練は、機密性の高い個人情報の記憶、著作権のある資料、悪意ある活動を促進する知識など、重大なリスクをもたらす。 これらの問題を緩和し、「忘れられる権利」のような法的・倫理的な基準に合わせるために、機械アンラーニングはLLMから特定の知識を選択的に消去する重要な手法として、全体的な性能を損なうことなく登場した。 この調査は、2021年以降に出版されたLLMアンラーニングに関する180以上の論文の体系的なレビューを提供する。 従来の調査と異なり、未学習の手法と評価の両方に新しい分類法を導入する。 本研究では,未学習の訓練段階に基づいて,学習時間,後学習,推論時間に明確に分類する。 評価のために、既存のデータセットやメトリクスを体系的にコンパイルするだけでなく、それらの利点、デメリット、適用性を分析し、研究コミュニティに実践的なガイダンスを提供する。 また,重要な課題と今後の研究の方向性についても論じる。 我々の総合的な概要は、安全で信頼性の高いLCMの継続的な開発を知らせ、ガイドすることを目的としている。

関連論文リスト

• Unlearning in LLMs: Methods, Evaluation, and Open Challenges [7.530890774798437]
  機械学習は、完全なリトレーニングなしでトレーニングされたモデルから知識やデータを選択的に取り除くための、有望なパラダイムとして登場した。 本稿は,大規模言語モデルにおける信頼性の高い非学習技術開発のためのロードマップとして機能することを目的としている。
  論文  参考訳（メタデータ） (2026-01-19T17:58:26Z)
• Does Machine Unlearning Truly Remove Knowledge? [80.83986295685128]
  本研究では,3つのベンチマークデータセット,6つのアンラーニングアルゴリズム,および5つのプロンプトベースの監査手法からなる,アンラーニング評価のための総合的な監査フレームワークを提案する。 異なるアンラーニング戦略の有効性とロバスト性を評価する。
  論文  参考訳（メタデータ） (2025-05-29T09:19:07Z)
• LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
  大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。 ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
  論文  参考訳（メタデータ） (2025-02-28T18:59:54Z)
• A Comprehensive Survey of Machine Unlearning Techniques for Large Language Models [35.893819613585315]
  本研究では,大規模言語モデル(LLM)の文脈における機械学習手法について検討する。 LLMのアンラーニングは、LLMから望ましくないデータの影響を取り除くための原則的なアプローチを提供する。 研究の関心が高まりつつあるにもかかわらず、既存の研究を体系的に整理し、重要な洞察を蒸留する総合的な調査は行われていない。
  論文  参考訳（メタデータ） (2025-02-22T12:46:14Z)
• Recent Advances in Federated Learning Driven Large Language Models: A Survey on Architecture, Performance, and Security [24.969739515876515]
  Federated Learning(FL)は、データプライバシを保持し、通信オーバーヘッドを最小限に抑えながら、大規模言語モデル(LLM)を分散的にトレーニングするための有望なパラダイムを提供する。 我々は、摂動に基づく手法、モデル分解、漸進的再学習を含む、連合LLMにおける未学習を可能にする様々な戦略についてレビューする。 本調査では, 現実の展開に向けて, 安全で適応性があり, 高性能なLLMシステムの開発に向けた重要な研究方向を明らかにする。
  論文  参考訳（メタデータ） (2024-06-14T08:40:58Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Machine Unlearning for Traditional Models and Large Language Models: A Short Survey [11.539080008361662]
  機械学習は、データを削除し、ユーザーの要求に応じてモデルへの影響を減らすことを目的としている。 本稿では,従来のモデルとLarge Language Models(LLMs)の両方の非学習を分類し,検討する。
  論文  参考訳（メタデータ） (2024-04-01T16:08:18Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• Continual Learning for Large Language Models: A Survey [95.79977915131145]
  大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。 本稿では,LLMの連続学習に関する最近の研究について述べる。
  論文  参考訳（メタデータ） (2024-02-02T12:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。