論文の概要: Controllable Machine Unlearning via Gradient Pivoting
- arxiv url: http://arxiv.org/abs/2510.19226v1
- Date: Wed, 22 Oct 2025 04:20:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:15.116443
- Title: Controllable Machine Unlearning via Gradient Pivoting
- Title(参考訳): グラディエントピロリングによる制御可能な機械の非学習
- Authors: Youngsik Hwang, Dong-Young Lim,
- Abstract要約: 我々は、ユニークなピボット機構を備えたPivoting Gradient (CUP) による制御可能なアンラーニングを導入する。
単一のソリューションに収束する従来のMOOメソッドとは異なり、CUPのメカニズムはパレートフロンティア全体を制御するように設計されている。
- 参考スコア(独自算出の注目度): 8.694405135908482
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Machine unlearning (MU) aims to remove the influence of specific data from a trained model. However, approximate unlearning methods, often formulated as a single-objective optimization (SOO) problem, face a critical trade-off between unlearning efficacy and model fidelity. This leads to three primary challenges: the risk of over-forgetting, a lack of fine-grained control over the unlearning process, and the absence of metrics to holistically evaluate the trade-off. To address these issues, we reframe MU as a multi-objective optimization (MOO) problem. We then introduce a novel algorithm, Controllable Unlearning by Pivoting Gradient (CUP), which features a unique pivoting mechanism. Unlike traditional MOO methods that converge to a single solution, CUP's mechanism is designed to controllably navigate the entire Pareto frontier. This navigation is governed by a single intuitive hyperparameter, the `unlearning intensity', which allows for precise selection of a desired trade-off. To evaluate this capability, we adopt the hypervolume indicator, a metric that captures both the quality and diversity of the entire set of solutions an algorithm can generate. Our experimental results demonstrate that CUP produces a superior set of Pareto-optimal solutions, consistently outperforming existing methods across various vision tasks.
- Abstract(参考訳): 機械学習(MU)は、訓練されたモデルから特定のデータの影響を取り除くことを目的としている。
しかし、単目的最適化(SOO)問題としてしばしば定式化される近似的未学習法は、未学習の有効性とモデル忠実性の間に重要なトレードオフに直面している。
これは、過剰な鍛造のリスク、未学習プロセスに対するきめ細かい制御の欠如、トレードオフを全体的評価するメトリクスの欠如という3つの大きな課題につながります。
これらの問題に対処するため、MUを多目的最適化(MOO)問題として再設計する。
次に、一意のピボット機構を備えた新しいアルゴリズム、Pivoting Gradient (CUP)を導入する。
単一のソリューションに収束する従来のMOOメソッドとは異なり、CUPのメカニズムはパレートフロンティア全体を制御するように設計されている。
このナビゲーションは、単一の直感的なハイパーパラメータである‘アンラーニングインテンシティ’によって管理され、所望のトレードオフを正確に選択することができる。
この能力を評価するために、アルゴリズムが生成できるソリューション全体の品質と多様性をキャプチャする指標であるハイパーボリュームインジケータを採用する。
実験の結果、CUPはパレート最適解の優れたセットを生成し、様々な視覚タスクにおける既存手法よりも一貫して優れていることが示された。
関連論文リスト
- A General and Streamlined Differentiable Optimization Framework [10.851559133306196]
本稿では,Julia最適化フレームワークのためのDiffOptlインタフェースを提案する。
ファーストクラスのJuMPネイティブAPIでは、ユーザが名前付きパラメータのデリバティブを直接取得することができる。
その結果、ルーチンの区別は、標準のJuMPモデリングプラクティスから逸脱することなく、実験、学習、設計を行うためのトレーニングツールになり得ることが示される。
論文 参考訳(メタデータ) (2025-10-29T21:42:36Z) - Efficient Utility-Preserving Machine Unlearning with Implicit Gradient Surgery [30.346382763036598]
マシン・アンラーニング(MU)は、事前訓練されたモデルからセンシティブまたは有害なメモリを効率的に除去することを目的としている。
鍵となる課題は、未学習の有効性とユーティリティの保存との間の潜在的なトレードオフをバランスさせることである。
本稿では,1つのバックプロパゲーションのみによる制約付き最適化問題の解を近似する暗黙的勾配手術法を提案する。
論文 参考訳(メタデータ) (2025-10-25T02:49:26Z) - Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。
本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
論文 参考訳(メタデータ) (2024-10-29T14:41:44Z) - On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
本研究では,(マルチモーダル)自己教師型表現学習のデータ予測タスクにおいて,連続領域における識別確率モデルについて検討する。
我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
MISが要求する条件付き確率密度の和を近似する新しい非パラメトリック手法を提案する。
論文 参考訳(メタデータ) (2024-10-11T18:02:46Z) - M$^{2}$M: Learning controllable Multi of experts and multi-scale operators are the Partial Differential Equations need [43.534771810528305]
本稿では,PDEを効率的にシミュレートし,学習するためのマルチスケール・マルチエキスパート(M$2$M)ニューラル演算子のフレームワークを提案する。
我々は、動的ルータポリシーのために、マルチエキスパートゲートネットワークをトレーニングするために、分断方式を採用する。
提案手法は,専門家の選択権を決定する制御可能な事前ゲーティング機構を組み込んで,モデルの効率を向上させる。
論文 参考訳(メタデータ) (2024-10-01T15:42:09Z) - Controllable Unlearning for Image-to-Image Generative Models via $\varepsilon$-Constrained Optimization [30.54462829263857]
画像合成モデル(I2I)における機械学習問題について検討する。
従来の研究は主に、単独のソリューションを提供する単一目的最適化問題として扱われていた。
本稿では、制御係数$varepsilon$を用いてトレードオフを制御する制御可能なアンラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-08-03T07:04:55Z) - Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。
本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。
特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
論文 参考訳(メタデータ) (2024-06-14T07:16:18Z) - UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [51.00436121587591]
マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。
重みベクトル w でパラメトリした線型効用関数の場合に焦点を当てる。
学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
論文 参考訳(メタデータ) (2024-05-01T09:34:42Z) - Mitigating Gradient Bias in Multi-objective Learning: A Provably Convergent Stochastic Approach [38.76462300149459]
我々は多目的勾配最適化のための多目的補正法(MoCo)を開発した。
本手法の特長は,非公正勾配を増大させることなく収束を保証できる点である。
論文 参考訳(メタデータ) (2022-10-23T05:54:26Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。
我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。
このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文 参考訳(メタデータ) (2021-06-29T12:52:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。