論文の概要: FG-OrIU: Towards Better Forgetting via Feature-Gradient Orthogonality for Incremental Unlearning

• arxiv url: http://arxiv.org/abs/2601.13578v1
• Date: Tue, 20 Jan 2026 04:05:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.149661
• Title: FG-OrIU: Towards Better Forgetting via Feature-Gradient Orthogonality for Incremental Unlearning
• Title（参考訳）: FG-OrIU:インクリメンタル・アンラーニングのための特徴グラディエント・オルソゴニティによるより良いフォーミングを目指して
• Authors: Qian Feng, JiaHang Tu, Mintong Kang, Hanbin Zhao, Chao Zhang, Hui Qian,
• Abstract要約: 既存の手法は、特徴レベルと勾配レベルの両方に明示的な制約を伴わずに、パラメータを抑えるか、知識を混乱させる。 FG-OrIU (textbfFeaturetextbfGradient textbfOrthogonality for textbfIncrementaltextbfUnlearning)を提案する。 Singular Value Decomposition (SVD)を介して特徴空間を分解し、忘れられたり残ったクラス特徴を別々の部分空間に分離する。
• 参考スコア（独自算出の注目度）: 24.195588298488314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Incremental unlearning (IU) is critical for pre-trained models to comply with sequential data deletion requests, yet existing methods primarily suppress parameters or confuse knowledge without explicit constraints on both feature and gradient level, resulting in \textit{superficial forgetting} where residual information remains recoverable. This incomplete forgetting risks security breaches and disrupts retention balance, especially in IU scenarios. We propose FG-OrIU (\textbf{F}eature-\textbf{G}radient \textbf{Or}thogonality for \textbf{I}ncremental \textbf{U}nlearning), the first framework unifying orthogonal constraints on both features and gradients level to achieve deep forgetting, where the forgetting effect is irreversible. FG-OrIU decomposes feature spaces via Singular Value Decomposition (SVD), separating forgetting and remaining class features into distinct subspaces. It then enforces dual constraints: feature orthogonal projection on both forgetting and remaining classes, while gradient orthogonal projection prevents the reintroduction of forgotten knowledge and disruption to remaining classes during updates. Additionally, dynamic subspace adaptation merges newly forgetting subspaces and contracts remaining subspaces, ensuring a stable balance between removal and retention across sequential unlearning tasks. Extensive experiments demonstrate the effectiveness of our method.
• Abstract（参考訳）: インクリメンタル・アンラーニング(Incremental Unlearning, IU)は、訓練済みモデルにおいて、シーケンシャルなデータ削除要求に準拠することが重要であるが、既存の手法では、特徴レベルと勾配レベルの両方に明示的な制約を伴わずに、パラメータや知識の混同を主に抑制し、残余情報が回復可能な「textit{superficial forgetting}」をもたらす。 この不完全な忘れ物は、特にIUシナリオにおいて、セキュリティ侵害を危険にさらし、保持バランスを損なう。 FG-OrIU (\textbf{F}eature-\textbf{G}radient \textbf{Or}thogonality for \textbf{I}ncremental \textbf{U}nlearning) を提案する。 FG-OrIUはSingular Value Decomposition (SVD)を介して特徴空間を分解し、忘れられたり残ったクラスの特徴を別々の部分空間に分離する。 直交射影は、忘れられた知識の再導入を防ぎ、更新中に残りのクラスを中断する。 さらに、動的サブスペース適応は、新たに忘れられたサブスペースと残りのサブスペースをマージし、シーケンシャルな未学習タスク間での削除と保持の安定したバランスを確保する。 大規模な実験により,本手法の有効性が示された。

関連論文リスト

• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• Retrofit: Continual Learning with Bounded Forgetting for Security Applications [25.185616916987158]
  本稿では,データ振り返りのない連続学習手法であるRETROFITを提案する。 干渉を軽減するために、独立部分空間にパラメータ変化を限定する低ランクかつスパースな更新を適用する。 時間的ドリフト下でのマルウェア検出では、CLベースラインよりも20.2%から38.6%の保持スコアが大幅に向上し、新しいデータに対するオラクルの上限を超える。
  論文  参考訳（メタデータ） (2025-11-14T16:07:03Z)
• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• Constraint-Guided Prediction Refinement via Deterministic Diffusion Trajectories [7.279433512595361]
  本稿では,拡散拡散DDIMを誘導する制約認識のための汎用フレームワークを提案する。 本手法は,事前学習による拡散軌道を反復的に改良し,制約補正により拡張する。
  論文  参考訳（メタデータ） (2025-06-15T17:02:07Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [14.321060805197874]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
  CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。 本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• OrCo: Towards Better Generalization via Orthogonality and Contrast for Few-Shot Class-Incremental Learning [57.43911113915546]
  FSCIL(Few-Shot Class-Incremental Learning)は、問題空間を限られたデータで拡張するパラダイムを導入する。 FSCILの手法は、データが漸進的に到着するにつれて、破滅的な忘れ込みの課題に直面している。 表現空間における特徴の直交性と対照的な学習という2つの基本原理に基づいて構築されたOrCoフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T13:30:48Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。