論文の概要: Forgetting Only What Matters: Layer-Selective Unlearning toward Robust LLMs
- arxiv url: http://arxiv.org/abs/2609.10439v1
- Date: Wed, 09 Sep 2026 16:50:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:09.116712
- Title: Forgetting Only What Matters: Layer-Selective Unlearning toward Robust LLMs
- Title（参考訳）: 重要なことだけを忘れる:ロバスト LLM への層選択的アンラーニング
- Abstract要約: LLM(Large Language Models)は、機密性のある、著作権のある、あるいは望ましくないトレーニングコンテンツを記憶し、再現することができる。
本研究では,階層レベルのアンラーニングフレームワークであるFOM-UL(Nothing Only What Matters via Unlearning Layers)を提案する。
- 参考スコア（独自算出の注目度）: 1.988145627448243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) can memorize and reproduce sensitive, copyrighted, or otherwise undesirable training content, creating privacy, safety, and regulatory concerns. Machine unlearning offers a practical alternative to full retraining, but many existing methods apply broad or fixed parameter updates that can degrade utility and remain brittle under deployment changes such as post-training quantization, where forgotten knowledge may partially re-emerge. We propose Forgetting Only What Matters via Unlearning Layers (FOM-UL), a layer-level unlearning framework that selects transformer layers using a forget-to-retain significance score. This score identifies layers with high influence on the forget set and low sensitivity to the retain set, allowing FOM-UL to concentrate updates where they are most effective while leaving most of the model unchanged. This targeted update strategy improves the forgetting-utility trade-off and provides an empirical path toward quantization-resilient unlearning by reducing the chance that small, diffuse updates are erased by low-bit rounding. Across TOFU, KnowUnDo, and MUSE-style evaluations, FOM-UL reduces residual memorization compared with strong GA, NPO, KLD, SURE, ReLearn, and LUNAR-based baselines while preserving retain-set utility close to the vanilla model. Under 8-bit and 4-bit post-training quantization, FOM-UL maintains stronger memorization suppression and utility preservation than competing methods, and adversarial prompt evaluations show lower recovery of forgotten content. Overall, FOM-UL provides an efficient unlearning strategy that improves targeted forgetting, utility preservation, and deployment robustness without claiming formal guarantees of erasure.
- Abstract（参考訳）: LLM(Large Language Models)は、機密性のある、著作権のある、あるいは望ましくないトレーニングコンテンツを記憶し、再現し、プライバシ、安全性、規制上の懸念を生じさせる。
マシンアンラーニングは、フルリトレーニングに代わる実用的な代替手段を提供するが、既存の多くのメソッドは、広範または固定されたパラメータの更新を適用し、ユーティリティを劣化させ、トレーニング後の量子化のようなデプロイメント変更の下でも不安定であり、忘れられた知識が部分的に再燃する可能性がある。
本研究では,階層レベルのアンラーニングフレームワークであるFOM-UL(Nothing Only What Matters via Unlearning Layers)を提案する。
このスコアは、リザーブセットに対する高い影響とレザーブセットに対する感度の低いレイヤを特定し、FOM-ULが更新に集中できるようにし、ほとんどのモデルを変更せずに最も効果的であるようにします。
この目標更新戦略は,低ビットラウンドリングにより小型で拡散度の高い更新が消去される可能性を低減することにより,記憶ユーティリティのトレードオフを改善し,量子化耐性の未学習への実証的な経路を提供する。
TOFU、KnowUnDo、MUSEスタイルの評価では、FOM-ULは、バニラモデルに近い保持セットユーティリティを維持しながら、強いGA、NPO、KLD、SURE、ReLearn、LUNARベースのベースラインと比較して、残留記憶を減少させる。
FOM-ULは8ビットと4ビットのトレーニング後量子化の下で、競合する手法よりも記憶の抑制とユーティリティ保存を強く維持し、敵のプロンプト評価は、忘れられたコンテンツの回復を低下させることを示している。
全体として、FOM-ULは、消去の正式な保証を主張することなく、ターゲットの忘れ、ユーティリティ保存、デプロイメントの堅牢性を改善する効率的な未学習戦略を提供する。
関連論文リスト
- Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。
ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
論文 参考訳（メタデータ） (2026-09-14T18:58:09Z) - Scaling Adaptive Depth with Norm-Agnostic Residual Networks [9.219329760729629]
NAGは標準に依存しない残差アーキテクチャであり、残差ストリームの方向情報から大きさを分離する。
NAGは無視できる数の追加パラメータしか導入せず、簡単にカーネルで実現可能な単純な操作に依存している。
このアーキテクチャはベースライントランスフォーマーよりも優れており,奥行きが大きくなるにつれて大幅に向上することを示す。
論文 参考訳（メタデータ） (2026-06-15T02:05:37Z) - MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models [64.2820121997882]
MIITAはメモリ駆動型推論時間適応フレームワークである。
教師付きエクスペリエンスをセマンティックアンカーを備えたコンパクトな修正指向プロトタイプとして格納し、セマンティックおよび不確実性ベースのキューを使用して推論時にそれらを検索する。
実験により、MIITAは最終性能を継続的に改善し、固定メモリの予算下での忘れを軽減している。
論文 参考訳（メタデータ） (2026-05-20T03:03:04Z) - Less is More: Geometric Unlearning for LLMs with Minimal Data Disclosure [10.0091317316944]
Geometric Unlearning (GU) は、オリジナルのトレーニングコーパスにアクセスすることなく、モデルの迅速な計画状態を直接操作する。
GUは、小さな安全な参照プロンプトから所望の安全行動のコンパクトで低ランクな幾何学を蒸留する。
合成非ターゲットアンカーの教師蒸留レギュレータは、さらに横方向のドリフトを減少させる。
論文 参考訳（メタデータ） (2026-05-03T06:20:03Z) - FIT: Defying Catastrophic Forgetting in Continual LLM Unlearning [23.471857001200465]
fitは、多数の削除要求を処理する継続的アンラーニングのためのフレームワークである。
fitは厳格なデータアンダーライン、アンダーラインImportance-awareアップデート、アンダーラインTargetedレイヤ属性による劣化を緩和する。
FitはMMLU、CommonsenseQA、GSM8Kの既存のメソッドを超えており、再学習と量子化の回復攻撃に耐性がある。
論文 参考訳（メタデータ） (2026-01-29T13:15:32Z) - Downgrade to Upgrade: Optimizer Simplification Enhances Robustness in LLM Unlearning [25.53799024782883]
大言語モデル(LLM)は、既存のモデルから望ましくないデータや知識の影響を外科的に除去することを目的としている。
最近の知見は、ウェイト量子化や微調整のような未学習操作が、意図した忘れを迅速に中和できることを示している。
論文 参考訳（メタデータ） (2025-10-01T10:50:14Z) - Unlearning That Lasts: Utility-Preserving, Robust, and Almost Irreversible Forgetting in LLMs [31.768387661474904]
大規模言語モデル(LLM)におけるアンラーニングでは、事前訓練されたモデルから特定の情報を正確に除去する。
これは、事前訓練中に取得した個人データや有害な知識を削除することで、LLMの安全性を確保するために重要である。
JensUnを導入し、Jensen-Shannon Divergenceをセットを忘れたり、保持したりするためのトレーニングの目的として活用する。
大規模な実験では、JensUnは競合するメソッドよりも忘れやすいトレードオフを実現し、再学習に強いレジリエンスを示しています。
論文 参考訳（メタデータ） (2025-09-02T20:38:53Z) - GUARD: Guided Unlearning and Retention via Data Attribution for Large Language Models [17.83305806604326]
GUARDは、データ属性を通じて学習と保持をガイドするフレームワークである。
適応的で一様でないアンラーニングウェイトをサンプルに割り当て、逆にプロキシ属性スコアに比例する。
我々はGUARDが従来の手法に匹敵するメトリクスを忘れずに保持を大幅に改善する厳密な理論的保証を提供する。
論文 参考訳（メタデータ） (2025-06-12T17:49:09Z) - BLUR: A Bi-Level Optimization Approach for LLM Unlearning [100.90394814817965]
未学習問題の階層構造をモデル化することが重要であると論じる。
本稿では,より優れた性能を実現する新しいアルゴリズムであるBi-Level UnleaRning(textttBLUR)を提案する。
論文 参考訳（メタデータ） (2025-06-09T19:23:05Z) - UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。
UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
論文 参考訳（メタデータ） (2025-05-21T15:53:28Z) - ReLearn: Unlearning via Learning for Large Language Models [64.2802606302194]
本研究では、効果的なアンラーニングのためのデータ拡張および微調整パイプラインであるReLearnを提案する。
このフレームワークでは、知識レベルの保存を測定するために、知識獲得率(KFR)と知識保持率(KRR)を導入している。
実験の結果,ReLearnは高品質な出力を保ちながら,目標とするリセットを実現することができた。
論文 参考訳（メタデータ） (2025-02-16T16:31:00Z) - Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。
本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
論文 参考訳（メタデータ） (2025-01-09T07:18:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。