Fugu-MT 論文翻訳(概要): FADE: Selective Forgetting via Sparse LoRA and Self-Distillation

論文の概要: FADE: Selective Forgetting via Sparse LoRA and Self-Distillation

arxiv url: http://arxiv.org/abs/2602.07058v1
Date: Wed, 04 Feb 2026 22:38:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-10 20:26:24.409744
Title: FADE: Selective Forgetting via Sparse LoRA and Self-Distillation
Title（参考訳）: FADE: スパースロラと自己蒸留による選択的フォーミング
Authors: Carolina R. Kelsch, Leonardo S. B. Pereira, Natnael Mola, Luis H. Arribas, Juan C. S. M. Avedillo,
Abstract要約: FADE(Fast Adapter for Data Erasure)は,画像生成のための2段階のアンラーニング手法である。 FADEはまず、勾配ベースの唾液度を使用して、忘れセットに最も責任を持つパラメータを識別する。第2段階では、FADEは、忘れられた概念をユーザ定義のサロゲートで上書きする自己蒸留の目的を適用している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Machine Unlearning aims to remove the influence of specific data or concepts from trained models while preserving overall performance, a capability increasingly required by data protection regulations and responsible AI practices. Despite recent progress, unlearning in text-to-image diffusion models remains challenging due to high computational costs and the difficulty of balancing effective forgetting with retention of unrelated concepts. We introduce FADE (Fast Adapter for Data Erasure), a two-stage unlearning method for image generation that combines parameter localization with self-distillation. FADE first identifies parameters most responsible for the forget set using gradient-based saliency and constrains updates through sparse LoRA adapters, ensuring lightweight, localized modifications. In a second stage, FADE applies a self-distillation objective that overwrites the forgotten concept with a user-defined surrogate while preserving behavior on retained data. The resulting adapters are memory-efficient, reversible, and can be merged or removed at runtime, enabling flexible deployment in production systems. We evaluated FADE on the UnlearnCanvas benchmark and conducted ablation studies on Imagenette, Labeled Faces in the Wild, AtharvaTaras Dog Breeds Dataset, and SUN Attributes datasets, demonstrating State-of-the-Art unlearning performance with fine-grained control over the forgetting-retention trade-off. Our results demonstrate that FADE achieves strong concept erasure and high retainability across various domains, making it a suitable solution for selective unlearning in diffusion-based image generation models.
Abstract（参考訳）: Machine Unlearningは、トレーニングされたモデルから特定のデータや概念の影響を取り除き、全体的なパフォーマンスを維持することを目的としている。近年の進歩にもかかわらず、テキストから画像への拡散モデルの未学習は、高い計算コストと、無関係な概念の維持に伴う効果的な忘れのバランスの難しさにより、依然として困難である。 FADE(Fast Adapter for Data Erasure)は,パラメータローカライゼーションと自己蒸留を組み合わせた画像生成のための2段階のアンラーニング手法である。 FADEはまず、勾配ベースのサリエンシとスパースなLoRAアダプタによるアップデートの制限を使用して、リザーブセットに最も責任を持つパラメータを特定し、軽量でローカライズされた修正を保証する。第2段階では、FADEは、保存されたデータに対する振舞いを保ちながら、忘れられた概念をユーザ定義のサロゲートで上書きする自己蒸留の目的を適用している。結果として得られるアダプタはメモリ効率が良く、可逆性があり、実行時にマージや削除が可能であるため、プロダクションシステムへの柔軟なデプロイが可能になる。筆者らはUnlearnCanvasベンチマークを用いてFADEを評価し,Imagenette, Labeled Faces in the Wild, AtharvaTaras Dog Breeds Dataset, SUN Attributes データセットのアブレーション実験を行い, 無視保持トレードオフをきめ細かな制御で非学習性能を実証した。以上の結果から,FADEは様々な領域において強い概念消去と高い保持性を実現し,拡散に基づく画像生成モデルにおける選択的未学習に適した解であることが示された。

関連論文リスト

Certifying the Right to Be Forgotten: Primal-Dual Optimization for Sample and Label Unlearning in Vertical Federated Learning [31.54643729002375]
フェデレートされたアンラーニングにより、トレーニングされたモデルから特定のデータの影響を取り除くことができる。原始双対アルゴリズムによるデータ除去のためのフェデレーション最適化法の提案新しい未学習損失関数は、誤分類よりも分類の不確実性を促進する。
論文参考訳（メタデータ） (2025-12-29T03:25:52Z)
Forgetting-MarI: LLM Unlearning via Marginal Information Regularization [6.979586479353831]
既存の未学習のメソッドは、特定のデータを“忘れる”場合に必要以上の情報を取り除くことで、モデルのパフォーマンスを劣化させることが多い。我々は,LLMアンラーニングフレームワークであるForgetting-MarIを紹介した。限界情報をペナル化することにより、トレーニングされたモデルにおける未学習データセットの残差の影響を明示的に上限付けし、証明不能な検出を可能にする。
論文参考訳（メタデータ） (2025-11-14T22:48:39Z)
Synthetic Data is an Elegant GIFT for Continual Vision-Language Models [52.343627275005026]
GIFTはVision-Language Modelsにおける破滅的な忘れを克服するための、新しい連続的な微調整手法である。我々は、事前学習と下流タスクデータの両方を再現するために、事前学習した拡散モデルを用いる。提案手法は,様々な設定において従来手法よりも常に優れていた。
論文参考訳（メタデータ） (2025-03-06T09:09:18Z)
Towards Robust and Parameter-Efficient Knowledge Unlearning for LLMs [25.91643745340183]
大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。 LLMの堅牢かつ効率的なアンラーニングを可能にする新しいフレームワークであるLoKUを提案する。
論文参考訳（メタデータ） (2024-08-13T04:18:32Z)
The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
論文参考訳（メタデータ） (2024-03-23T09:26:15Z)
Erasing Undesirable Influence in Diffusion Models [51.225365010401006]
拡散モデルは高品質な画像を生成するのに非常に効果的であるが、NSFW(職場では安全ではない)コンテンツの意図しない生成のようなリスクを引き起こす。本研究では,データに関連付けられた不要な情報を取り除き,保存データに対する拡散モデルの実用性を維持するために設計されたアルゴリズムであるEraseDiffを紹介する。
論文参考訳（メタデータ） (2024-01-11T09:30:36Z)
Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2023-10-31T03:35:59Z)
SalUn: Empowering Machine Unlearning via Gradient-based Weight Saliency in Both Image Classification and Generation [30.168665935074166]
本稿では,機械学習における「重み値」の概念を導入し,モデル説明における入力値値と並列性について述べる。サリエンシ・アンラーニング(SalUn)と呼ばれる結果の手法は、パフォーマンスのギャップを「正確な」アンラーニングで狭める。 SalUnは、画像分類と生成タスクの両方において、データ、クラス、概念を忘れることの影響を効果的に消すことができる最初の原則MUアプローチである。
論文参考訳（メタデータ） (2023-10-19T06:17:17Z)
Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
論文参考訳（メタデータ） (2023-08-15T11:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。