論文の概要: A Comprehensive Survey of Machine Unlearning Techniques for Large Language Models

• arxiv url: http://arxiv.org/abs/2503.01854v1
• Date: Sat, 22 Feb 2025 12:46:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-09 03:50:40.300200
• Title: A Comprehensive Survey of Machine Unlearning Techniques for Large Language Models
• Title（参考訳）: 大規模言語モデルのための機械学習手法に関する総合的調査
• Authors: Jiahui Geng, Qing Li, Herbert Woisetschlaeger, Zongxiong Chen, Yuxia Wang, Preslav Nakov, Hans-Arno Jacobsen, Fakhri Karray,
• Abstract要約: 本研究では,大規模言語モデル(LLM)の文脈における機械学習手法について検討する。 LLMのアンラーニングは、LLMから望ましくないデータの影響を取り除くための原則的なアプローチを提供する。 研究の関心が高まりつつあるにもかかわらず、既存の研究を体系的に整理し、重要な洞察を蒸留する総合的な調査は行われていない。
• 参考スコア（独自算出の注目度）: 36.601209595620446
• License:
• Abstract: This study investigates the machine unlearning techniques within the context of large language models (LLMs), referred to as \textit{LLM unlearning}. LLM unlearning offers a principled approach to removing the influence of undesirable data (e.g., sensitive or illegal information) from LLMs, while preserving their overall utility without requiring full retraining. Despite growing research interest, there is no comprehensive survey that systematically organizes existing work and distills key insights; here, we aim to bridge this gap. We begin by introducing the definition and the paradigms of LLM unlearning, followed by a comprehensive taxonomy of existing unlearning studies. Next, we categorize current unlearning approaches, summarizing their strengths and limitations. Additionally, we review evaluation metrics and benchmarks, providing a structured overview of current assessment methodologies. Finally, we outline promising directions for future research, highlighting key challenges and opportunities in the field.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)の文脈における機械学習手法について検討する。 LLMアンラーニングは、望ましくないデータ(例えば、機密または違法な情報)の影響をLLMから取り除き、完全な再トレーニングを必要とせず、全体的な有用性を保ちながら、原則化されたアプローチを提供する。 研究の関心が高まりつつも,既存の研究を体系的に整理し,重要な知見を抽出する総合的な調査は行われていない。 まず,LLMアンラーニングの定義とパラダイムを導入し,それに続いて既存のアンラーニング研究の包括的分類を行った。 次に、現在のアンラーニングアプローチを分類し、その強みと限界を要約する。 さらに、評価指標とベンチマークをレビューし、現在の評価手法を構造化した概要を提供する。 最後に、今後の研究に向けた有望な方向性を概説し、この分野における重要な課題と機会を明らかにする。

関連論文リスト

• A Closer Look at Machine Unlearning for Large Language Models [46.245404272612795]
  大型言語モデル(LLM)は機密または著作権のあるコンテンツを記憶し、プライバシーと法的懸念を高める。 LLMの機械学習におけるいくつかの問題について議論し、可能なアプローチについての洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-10T16:56:05Z)
• Unveiling Entity-Level Unlearning for Large Language Models: A Comprehensive Analysis [32.455702022397666]
  大規模言語モデルのアンラーニングは、セキュリティとプライバシの懸念に対処する可能性から、注目を集めている。 この研究の多くは、機密コンテンツを含む事前定義されたインスタンスの削除を対象とする、インスタンスレベルの未学習に集中している。 本稿では,対象モデルからエンティティ関連知識を完全に消去することを目的とした,エンティティレベルのアンラーニングという新しいタスクを提案する。
  論文  参考訳（メタデータ） (2024-06-22T09:40:07Z)
• Federated Learning driven Large Language Models for Swarm Intelligence: A Survey [2.769238399659845]
  Federated Learning (FL)は、大規模言語モデル(LLM)をトレーニングするための魅力的なフレームワークを提供する 私たちは機械学習に重点を置いています。これは、忘れられる権利のようなプライバシー規則に従う上で重要な側面です。 摂動技術やモデル分解,漸進学習など,効果的なアンラーニングを可能にするさまざまな戦略を探求する。
  論文  参考訳（メタデータ） (2024-06-14T08:40:58Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Recent Advances of Foundation Language Models-based Continual Learning: A Survey [31.171203978742447]
  基礎言語モデル (LM) は自然言語処理 (NLP) とコンピュータビジョン (CV) の分野において重要な成果を上げている。 しかし、破滅的な忘れ物のため、人間のような継続的学習をエミュレートすることはできない。 従来の知識を忘れずに新しいタスクに適応できるように、様々な連続学習(CL)ベースの方法論が開発されている。
  論文  参考訳（メタデータ） (2024-05-28T23:32:46Z)
• Tool Learning with Large Language Models: A Survey [60.733557487886635]
  大規模言語モデル(LLM)を用いたツール学習は,高度に複雑な問題に対処するLLMの能力を強化するための,有望なパラダイムとして登場した。 この分野での注目と急速な進歩にもかかわらず、現存する文献は断片化され、体系的な組織が欠如している。
  論文  参考訳（メタデータ） (2024-05-28T08:01:26Z)
• Machine Unlearning for Traditional Models and Large Language Models: A Short Survey [11.539080008361662]
  機械学習は、データを削除し、ユーザーの要求に応じてモデルへの影響を減らすことを目的としている。 本稿では,従来のモデルとLarge Language Models(LLMs)の両方の非学習を分類し,検討する。
  論文  参考訳（メタデータ） (2024-04-01T16:08:18Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Semi-Supervised and Unsupervised Deep Visual Learning: A Survey [76.2650734930974]
  半教師なし学習と教師なし学習は、ラベルなしの視覚データから学ぶための有望なパラダイムを提供する。 本稿では, 半教師付き学習(SSL)と非教師付き学習(UL)の先進的な深層学習アルゴリズムについて, 統一的な視点による視覚的認識について概説する。
  論文  参考訳（メタデータ） (2022-08-24T04:26:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。