論文の概要: GROM: Gradient-Free Rapid One-Shot Machine Unlearning

• arxiv url: http://arxiv.org/abs/2608.05783v1
• Date: Thu, 06 Aug 2026 09:16:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.732931
• Title: GROM: Gradient-Free Rapid One-Shot Machine Unlearning
• Title（参考訳）: GROM: グラディエントフリーのラピッドワンショットマシン
• Abstract要約: 直接的かつ正確な解析解を優先して反復最適化を放棄する,新しいワンショットアンラーニング手法を提案する。 GROMは重量編集をほんの数秒で行うので、従来の微調整よりも桁違いに高速です。 アップデートにより、ターゲットのコンテンツはマスクする代わりに削除されるため、GROMは低ビット量子化攻撃にも耐えられる。
• 参考スコア（独自算出の注目度）: 12.335697153382966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning has become a critical capability for safely removing specific, sensitive knowledge from large language models (LLMs). Current state-of-the-art approaches primarily rely on iterative, training-time unlearning via fine-tuning. However, even when utilizing parameter-efficient dimensionality reduction techniques like LoRA, gradient-based optimization remains computationally expensive and lacks explicit analytical formulations. It can also leave the targeted knowledge merely hidden rather than removed, to the point that simply quantizing the unlearned model restores much of what it was supposed to have erased. To resolve this, we propose a novel one-shot unlearning approach, abandoning iterative optimization in favor of a direct, exact analytical solution. We frame the unlearning process as a ridge-regularized least-squares optimization problem, deriving a closed-form additive update for targeted weight matrices. This update forces the selected layer to suppress unwanted content while strictly preserving its behavior on retained data. Computed from gradient-free forward passes alone, with no backpropagation and no iteration to convergence, GROM applies the weight edit in mere seconds, which makes it orders of magnitude faster than traditional fine-tuning. Extensive evaluations demonstrate that GROM achieves state-of-the-art forgetting-utility trade-offs on TOFU-5%, TOFU-10%, MUSE-Books, MUSE-News and WMDP, significantly reducing computational overhead without sacrificing overall model performance. Because the update removes the targeted content from the weights instead of masking it, GROM also withstands the low-bit quantization attack that recovers much of the content a gradient-based baseline had appeared to forget. Our code is publicly available at https://github.com/Batorskq/GROM.
• Abstract（参考訳）: 機械学習は、大規模言語モデル(LLM)から特定の機密知識を安全に除去する重要な機能となっている。 現在の最先端のアプローチは、主に微調整による反復的な訓練時間のアンラーニングに依存しています。 しかし、LoRAのようなパラメータ効率のよい次元削減技術を利用する場合でも、勾配に基づく最適化は計算コストがかかり、明確な解析的定式化が欠如している。 対象とする知識を削除するのではなく単に隠しておくこともでき、未学習のモデルを定量化するだけで、削除されるはずの多くのものを復元することができる。 そこで本研究では, 直接的かつ正確な解析解を求めるために, 反復最適化を放棄する一発アンラーニング手法を提案する。 我々は、未学習過程をリッジ正規化最小二乗最適化問題とみなし、対象の重み行列に対する閉形式加法的更新を導出した。 この更新により、選択されたレイヤは、不要なコンテンツを抑制しながら、保持されたデータに対するその振る舞いを厳格に保存する。 勾配のないフォワードが単独で計算され、バックプロパゲーションがなく、収束の繰り返しもないため、GROMはウェイト編集をわずか数秒で適用し、従来の微調整よりも桁違いに高速になる。 大規模評価の結果,TOFU-5%,TOFU-10%,MUSE-Books,MUSE-News,WMDPの3つの手法で,モデル全体の性能を犠牲にすることなく計算オーバーヘッドを大幅に削減できることがわかった。 アップデートにより、ターゲットのコンテンツはマスクするのではなく重みから削除されるため、GROMはグラデーションベースのベースラインが忘れていたコンテンツの多くを回復する低ビット量子化攻撃にも耐えられる。 私たちのコードはhttps://github.com/Batorskq/GROMで公開されています。

関連論文リスト

• Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
  ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。 ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
  論文  参考訳（メタデータ） (2026-09-14T18:58:09Z)
• CoreUnlearn: Rethinking Concept Unlearning through Disentangled Component-Level Erasure in Text-guided Diffusion Models [72.22994966489551]
  CoreUnlearnは、望ましくないコンセプトの消去クリティカルなコンポーネントを混乱させ、取り除くことを目的としている。 モデル全体のパフォーマンスへの影響を最小限に抑えて、効果的な概念消去を実現する。
  論文  参考訳（メタデータ） (2026-06-01T04:09:45Z)
• PECKER: A Precisely Efficient Critical Knowledge Erasure Recipe For Machine Unlearning in Diffusion Models [6.442134553782831]
  PECKER(PECKER)は,一般的な手法にマッチしたり,性能を向上する,効率的な機械学習手法である。 蒸留フレームワーク内でPECKERは、ターゲットデータを忘れるのに最も貢献するパラメータの更新を優先順位付けするサリエンシマスクを導入する。 提案手法は,CIFAR-10およびSTL-10データセットの真の画像分布と密接に一致しながら,関連クラスや概念をより迅速に学習するサンプルを生成する。
  論文  参考訳（メタデータ） (2026-04-07T09:36:12Z)
• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• Downgrade to Upgrade: Optimizer Simplification Enhances Robustness in LLM Unlearning [25.53799024782883]
  大言語モデル(LLM)は、既存のモデルから望ましくないデータや知識の影響を外科的に除去することを目的としている。 最近の知見は、ウェイト量子化や微調整のような未学習操作が、意図した忘れを迅速に中和できることを示している。
  論文  参考訳（メタデータ） (2025-10-01T10:50:14Z)
• Forward-Only Continual Learning [8.873948519614244]
  破滅的な忘れ物は、継続的な学習における中心的な課題である。 本稿では,フォロ(FoRo)を提案する。 実験により、FoRoは平均的な忘れを著しく減らし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2025-09-01T15:10:38Z)
• Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
  深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。 近似MUは大規模モデルの実用的手法である。 本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
  論文  参考訳（メタデータ） (2024-09-29T15:17:33Z)
• Targeted Unlearning with Single Layer Unlearning Gradient [15.374381635334897]
  機械学習手法は、訓練されたモデルからセンシティブまたは望ましくないコンテンツを除去することを目的としている。 対象情報を学習するための効率的な手法として,SLUG(Single Layer Unlearning Gradient Computing)を提案する。
  論文  参考訳（メタデータ） (2024-07-16T15:52:36Z)
• Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
  本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。 BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-06-17T10:14:43Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。