論文の概要: Towards Mitigating Excessive Forgetting in LLM Unlearning via Entanglement-Aware Unlearning with Proxy Constraint

• arxiv url: http://arxiv.org/abs/2508.20443v1
• Date: Thu, 28 Aug 2025 05:45:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.047058
• Title: Towards Mitigating Excessive Forgetting in LLM Unlearning via Entanglement-Aware Unlearning with Proxy Constraint
• Title（参考訳）: ゆがみを考慮したLLMアンラーニングにおける過剰な学習の軽減に向けて
• Authors: Zhihao Liu, Jian Lou, Yuke Hu, Xiaochen Li, Tailun Chen, Yitian Chen, Zhan Qin,
• Abstract要約: 大規模言語モデル(LLM)は、プライベートまたは著作権のあるコンテンツを含む可能性のある巨大なデータセットに基づいて訓練される。 プライバシとオーナシップの懸念が高まっているため、データ所有者は、トレーニングされたモデルからデータを削除することを要求できる。 既存のほとんどの方法には音を忘れる境界がないため、一部のサンプルは忘れられてしまう。
• 参考スコア（独自算出の注目度）: 28.25159814956888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are trained on massive datasets that may include private or copyrighted content. Due to growing privacy and ownership concerns, data owners may request the removal of their data from trained models. Machine unlearning provides a practical solution by removing the influence of specific data without full retraining. However, most existing methods lack a sound forgetting boundary, causing some samples to be under-forgotten, leaving residual leakage risks, while others remain over-forgotten at the expense of degraded utility. In this work, we propose EAGLE-PC (Entanglement-Awareness Guided Loss Reweighting with Proxy Constraint), a novel unlearning framework that addresses these limitations through two key components. First, entanglement-awareness guided loss reweighting determines the forgetting effort of each sample by measuring its similarity to retain samples in the embedding space, enabling more targeted and effective unlearning. Second, a proxy constraint leveraging ICL (In-Context Learning) generated test data softly regularizes the forgetting process, effectively mitigating over-forgetting. EAGLE-PC is compatible with existing gradient-based objectives and serves as a plug-and-play enhancement. We evaluate EAGLE-PC on the TOFU and MUSE benchmarks, showing consistent improvements in the forgetting-utility trade-off across multiple LLMs. Combined with the NPO+GD optimizer, it approaches full retraining performance, offering a scalable and robust unlearning solution.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プライベートまたは著作権のあるコンテンツを含む可能性のある巨大なデータセットに基づいて訓練される。 プライバシとオーナシップの懸念が高まっているため、データ所有者は、トレーニングされたモデルからデータを削除することを要求できる。 マシンアンラーニングは、完全に再トレーニングすることなく、特定のデータの影響を取り除くことで、実用的なソリューションを提供する。 しかし、既存のほとんどの方法では境界線を忘れることができず、一部のサンプルは忘れられがちで漏れのリスクが残っており、その他は劣化したユーティリティーを犠牲にして忘れられ過ぎている。 本研究では,2つのキーコンポーネントを通じてこれらの制限に対処する新しいアンラーニングフレームワークであるEAGLE-PC(Entanglement-Awareness Guided Loss Reweighting with Proxy Constraint)を提案する。 第一に、絡み合い認識による損失再重み付けは、その類似度を測定してサンプルを埋め込み空間に保持し、より標的的で効果的な未学習を可能にすることによって、各サンプルの忘れ作業を決定する。 第二に、ICL(In-Context Learning)の生成したテストデータを利用したプロキシ制約は、忘れるプロセスをソフトに規則化し、事実上過剰な鍛造を緩和する。 EAGLE-PCは既存の勾配に基づく目標と互換性があり、プラグ・アンド・プレイの強化として機能する。 本研究では,TOFUおよびMUSEベンチマーク上でのEAGLE-PCの評価を行い,複数のLLM間での省エネ・ユーティリティトレードオフを一貫した改善を示した。 NPO+GDオプティマイザと組み合わせて、フルリトレーニングパフォーマンスにアプローチし、スケーラブルで堅牢なアンラーニングソリューションを提供する。

関連論文リスト

• GUARD: Guided Unlearning and Retention via Data Attribution for Large Language Models [23.667160042806064]
  GUARDは、データ属性を通じて学習と保持をガイドする新しいフレームワークである。 GUARDは中核として、LLMアンラーニングに適した軽量なプロキシデータ属性メトリックを導入している。 我々は,GUARDが従来手法に匹敵するメトリクスを忘れつつ,保持性を大幅に向上させるという厳密な理論的保証を提供する。
  論文  参考訳（メタデータ） (2025-06-12T17:49:09Z)
• Towards Lifecycle Unlearning Commitment Management: Measuring Sample-level Unlearning Completeness [30.596695293390415]
  補間近似測定(Interpolated Approximate Measurement, IAM)は、非学習推論用に設計されたフレームワークである。 IAMは、クエリされたサンプルに対するモデルの一般化適合行動ギャップを補間することにより、サンプルレベルの未学習完全性を定量化する。 IAMを最近の近似アンラーニングアルゴリズムに適用し、オーバーアンラーニングとアンダーアンラーニングの両方のリスクを明らかにする。
  論文  参考訳（メタデータ） (2025-06-06T14:22:18Z)
• ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining [53.893792844055106]
  大規模言語モデルの事前学習は計算集約的であるが、多くのトークンが学習にわずかに寄与し、非効率になる。 Selective Efficient Language Modelingは、オンライントークンレベルのバッチ選択を行うことで、トレーニング効率と分散ロバスト性を改善するリスク認識アルゴリズムである。 GPT-2プレトレーニング実験の結果、ESLMはベースラインに比べて複雑度と下流性能の両面を維持・改善しながら、トレーニングFLOPを著しく低減することが示された。
  論文  参考訳（メタデータ） (2025-05-26T12:23:26Z)
• Towards Robust and Parameter-Efficient Knowledge Unlearning for LLMs [25.91643745340183]
  大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。 これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。 LLMの堅牢かつ効率的なアンラーニングを可能にする新しいフレームワークであるLoKUを提案する。
  論文  参考訳（メタデータ） (2024-08-13T04:18:32Z)
• Offset Unlearning for Large Language Models [49.851093293780615]
  delta-Unlearningは、ブラックボックスLLMのためのオフセットのアンラーニングフレームワークである。 デルタアンラーニングは、一般的な対物スコープタスクにおいて、類似またはより強い性能を維持しながら、効果的にターゲットデータを解放できることを示す。
  論文  参考訳（メタデータ） (2024-04-17T03:39:51Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
  VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。 サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。 新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
  論文  参考訳（メタデータ） (2022-09-30T17:59:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。