論文の概要: Forgetting-MarI: LLM Unlearning via Marginal Information Regularization

• arxiv url: http://arxiv.org/abs/2511.11914v1
• Date: Fri, 14 Nov 2025 22:48:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.39135
• Title: Forgetting-MarI: LLM Unlearning via Marginal Information Regularization
• Title（参考訳）: Forgetting-MarI: Marginal Information RegularizationによるLLMアンラーニング
• Authors: Shizhou Xu, Yuan Ni, Stefan Broecker, Thomas Strohmer,
• Abstract要約: 既存の未学習のメソッドは、特定のデータを“忘れる”場合に必要以上の情報を取り除くことで、モデルのパフォーマンスを劣化させることが多い。 我々は,LLMアンラーニングフレームワークであるForgetting-MarIを紹介した。 限界情報をペナル化することにより、トレーニングされたモデルにおける未学習データセットの残差の影響を明示的に上限付けし、証明不能な検出を可能にする。
• 参考スコア（独自算出の注目度）: 6.979586479353831
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As AI models are trained on ever-expanding datasets, the ability to remove the influence of specific data from trained models has become essential for privacy protection and regulatory compliance. Unlearning addresses this challenge by selectively removing parametric knowledge from the trained models without retraining from scratch, which is critical for resource-intensive models such as Large Language Models (LLMs). Existing unlearning methods often degrade model performance by removing more information than necessary when attempting to ''forget'' specific data. We introduce Forgetting-MarI, an LLM unlearning framework that provably removes only the additional (marginal) information contributed by the data to be unlearned, while preserving the information supported by the data to be retained. By penalizing marginal information, our method yields an explicit upper bound on the unlearn dataset's residual influence in the trained models, providing provable undetectability. Extensive experiments confirm that our approach outperforms current state-of-the-art unlearning methods, delivering reliable forgetting and better preserved general model performance across diverse benchmarks. This advancement represents an important step toward making AI systems more controllable and compliant with privacy and copyright regulations without compromising their effectiveness.
• Abstract（参考訳）: AIモデルは、絶え間ない拡張データセットでトレーニングされているため、トレーニングされたモデルから特定のデータの影響を取り除く能力は、プライバシ保護と規制コンプライアンスにとって不可欠である。 Unlearningはこの課題に対処するため、トレーニング済みモデルからパラメトリック知識をスクラッチからトレーニングすることなく選択的に削除する。 既存の未学習のメソッドは、特定のデータを“忘れる”場合に必要以上の情報を取り除くことで、モデルのパフォーマンスを劣化させることが多い。 本稿では,LLMアンラーニングフレームワークであるForgetting-MarIについて紹介する。このフレームワークは,保持するデータによって支援される情報を保存しつつ,学習対象データから提供された付加的な(違法な)情報のみを確実に除去する。 限界情報をペナル化することにより、トレーニングされたモデルにおける未学習データセットの残差の影響を明示的に上限付けし、証明不能な検出を可能にする。 大規模な実験により、我々の手法は現在の最先端の未学習手法よりも優れており、信頼性が高く、様々なベンチマークで保存された汎用モデルのパフォーマンスが向上していることが確認された。 この進歩は、AIシステムをよりコントロールしやすくし、その効果を損なうことなく、プライバシと著作権規制に準拠させるための重要なステップである。

関連論文リスト

• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.40798352740857]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。