論文の概要: SIMU: Selective Influence Machine Unlearning

• arxiv url: http://arxiv.org/abs/2510.07822v1
• Date: Thu, 09 Oct 2025 06:03:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.898508
• Title: SIMU: Selective Influence Machine Unlearning
• Title（参考訳）: SIMU: Selective Influence Machine Unlearning
• Authors: Anu Agarwal, Mihir Pamnani, Dilek Hakkani-Tur,
• Abstract要約: LLM(Large Language Models)による機密情報の不要な記憶は、安全メカニズムの必要性を強調している。 1次法と2次法は、LLMがターゲット情報を忘れることを可能にするために大きな進歩を見せている。 本稿では,2段階のアンラーニングを強化する2段階のフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.4306454949547214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The undesired memorization of sensitive information by Large Language Models (LLMs) has emphasized the need for safety mechanisms that can regulate model behavior. This has led to the development of machine unlearning techniques that enable models to precisely forget sensitive and unwanted information. For machine unlearning, first-order and second-order optimizer-based methods have shown significant progress in enabling LLMs to forget targeted information. However, in doing so, these approaches often compromise the model's original capabilities, resulting in unlearned models that struggle to retain their prior knowledge and overall utility. To address this, we propose Selective Influence Machine Unlearning (SIMU), a two-step framework that enhances second-order optimizer-based unlearning by selectively updating only the critical neurons responsible for encoding the forget-set. By constraining updates to these targeted neurons, SIMU achieves comparable unlearning efficacy while substantially outperforming current methods in retaining the model's original knowledge.
• Abstract（参考訳）: LLM(Large Language Models)による機密情報の不要な記憶は、モデルの振る舞いを制御できる安全メカニズムの必要性を強調している。 これにより、モデルがセンシティブで不要な情報を正確に忘れることができるような機械学習技術が開発された。 機械学習において、一階と二階のオプティマイザベースの手法は、LLMがターゲットとなる情報を忘れることを可能にした大きな進歩を示している。 しかし、そのようなアプローチは、しばしばモデルの本来の能力を損なうことがあり、結果として、以前の知識と全体的な実用性を維持するのに苦労する未学習のモデルを生み出します。 そこで本研究では,2次最適化に基づくアンラーニングを強化する2段階フレームワークであるSelective Influence Machine Unlearning(SIMU)を提案する。 これらの標的ニューロンの更新を制限することにより、SIMUは、モデルの本来の知識を維持する上で、現在の方法を大幅に上回っていると同時に、同等の未学習の有効性を達成する。

関連論文リスト

• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• Privacy-Aware Lifelong Learning [14.83033354320841]
  機械学習の分野は、要求された時に事前訓練されたモデルから、ある以前の知識を明示的に忘れることに焦点を当てている。 本稿では,タスク固有のスパースワークとパラメータ共有の最適化を含む,プライバシを意識した生涯学習(PALL)を提案する。 画像分類におけるPALLのスケーラビリティを実証的に実証し,最先端のソリューションを提供する。
  論文  参考訳（メタデータ） (2025-05-16T07:27:00Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.40798352740857]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。