論文の概要: Understanding Machine Unlearning Through the Lens of Mode Connectivity
- arxiv url: http://arxiv.org/abs/2607.23970v1
- Date: Mon, 27 Jul 2026 03:39:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.299076
- Title: Understanding Machine Unlearning Through the Lens of Mode Connectivity
- Title（参考訳）: モード接続性レンズによる機械学習の理解
- Abstract要約: 我々は、モード接続のレンズを通して機械学習を研究する。
未学習モデルがスムーズな保持・対物行動を持つ連結盆地にあることが判明した。
これは、モード接続のレンズを通して機械学習を学習する最初の研究である。
- 参考スコア（独自算出の注目度）: 20.167582259240763
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine Unlearning aims to remove undesired information from trained models without full retraining from scratch. Despite recent progress, the loss landscape and optimization geometry of unlearning are poorly understood. In this paper, we study machine unlearning through the lens of mode connectivity--the phenomenon that independently trained models can often be connected by smooth low-loss paths in parameter space. We introduce {\em mode connectivity in unlearning} (MCU) and evaluate it across a range of settings, including curriculum learning, second-order optimization, and connectivity across different unlearning methods. We find that many unlearned models lie in connected basins with smooth retain/forget behavior, while changes in training dynamics can move solutions into different basins. MCU also reveals that models within the same basin can differ substantially on privacy metrics, and that unlearning progresses nonlinearly from the original model to the unlearned model. In addition, linear connectivity suggests that most approximate unlearning methods are mechanistically distinct from retraining. Finally, MCU-based ensembling can improve generalization and robustness to relearning attacks, and MCU smoothness correlates with unlearning difficulty. To our knowledge, this is the first study of machine unlearning through the lens of mode connectivity.
- Abstract（参考訳）: Machine Unlearningは、トレーニングされたモデルから望ましくない情報を、スクラッチから完全にリトレーニングすることなく取り除くことを目的としている。
近年の進歩にもかかわらず、未学習の損失ランドスケープと最適化幾何は理解されていない。
本稿では,モード接続のレンズによる機械学習について検討し,独立に訓練されたモデルがパラメータ空間のスムーズな低損失経路で接続できる現象について述べる。
我々は、Unlearning} (MCU) で {\emモード接続を導入し、カリキュラム学習、二階最適化、異なるアンラーニングメソッド間の接続など、様々な設定で評価する。
多くの未学習モデルがスムーズな保持・対物行動を持つ連結盆地に置かれているのに対し、トレーニング力学の変化は解を異なる盆地に移すことができる。
MCUはまた、同一盆地内のモデルがプライバシーの指標によって大きく異なる可能性があり、未学習は元のモデルから未学習モデルまで非線形に進行することを明らかにした。
さらに、線形接続は、ほとんどの近似的未学習法がリトレーニングと機械的に異なることを示唆している。
最後に、MCUベースのアンサンブルは、再学習攻撃に対する一般化と堅牢性を向上し、MCUの滑らかさは学習の難しさと相関する。
我々の知る限り、これはモード接続のレンズを通して機械学習を学習する最初の研究である。
関連論文リスト
- Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。
本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。
本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
論文 参考訳（メタデータ） (2025-07-31T05:34:27Z) - MCU: Improving Machine Unlearning through Mode Connectivity [1.3731623617634434]
モード接続を利用して非学習経路を非線形に発見する,MCU(Mode Connectivity Unlearning)と呼ばれる新しいMUフレームワークを提案する。
性能と効率をさらに向上するために,未学習の有効性を向上するだけでなく,計算オーバーヘッドを低減するパラメータマスク戦略を導入する。
論文 参考訳（メタデータ） (2025-05-16T04:56:47Z) - Understanding Machine Unlearning Through the Lens of Mode Connectivity [14.755831733659699]
未学習環境におけるモード接続性について検討した。
その結果,曲線に沿って異なる評価指標の変動パターンが明らかとなった。
これは、機械学習の文脈におけるモード接続に関する最初の研究である。
論文 参考訳（メタデータ） (2025-04-08T20:02:10Z) - How Does Overparameterization Affect Machine Unlearning of Deep Neural Networks? [1.573034584191491]
モデルパラメータ化レベルがディープニューラルネットワーク(DNN)の学習に与える影響を示す。
近年の文献からいくつかの未学習手法の検証に基づくチューニングを定義する。
論文 参考訳（メタデータ） (2025-03-11T17:21:26Z) - Disentangled World Models: Learning to Transfer Semantic Knowledge from Distracting Videos for Reinforcement Learning [65.85335291827086]
本稿では,オフラインからオンラインまでの潜水蒸留とフレキシブルなゆがみ制約を通したビデオから,セマンティックな違いを学習し,理解することを試みる。
動作自由なビデオ予測モデルを非干渉正規化によりオフラインでトレーニングし、注意をそらすビデオから意味的知識を抽出する。
オンライン環境での微調整には、事前学習されたモデルからの知識を活用し、世界モデルに絡み合った制約を導入する。
論文 参考訳（メタデータ） (2025-03-11T13:50:22Z) - Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.40798352740857]
3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。
知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。
Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。
イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
論文 参考訳（メタデータ） (2024-07-25T07:09:35Z) - Machine Unlearning in Contrastive Learning [3.6218162133579694]
本稿では,機械学習を効果的に行うためのモデルトレーニングのための,勾配制約に基づく新しいアプローチを提案する。
提案手法は,コントラスト学習モデルだけでなく,教師付き学習モデルにも有能な性能を示す。
論文 参考訳（メタデータ） (2024-05-12T16:09:01Z) - Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。
提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。
視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
論文 参考訳（メタデータ） (2024-03-18T08:00:23Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。
本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。
理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
論文 参考訳（メタデータ） (2023-04-11T02:12:02Z) - A Unified Framework for Alternating Offline Model Training and Policy
Learning [62.19209005400561]
オフラインモデルに基づく強化学習では、歴史的収集データから動的モデルを学び、学習モデルと固定データセットを用いてポリシー学習を行う。
提案手法は,本手法が期待するリターンを最小限に抑えるための,反復的なオフラインMBRLフレームワークを開発する。
提案する統一型モデル政治学習フレームワークにより、我々は、広範囲の連続制御オフライン強化学習データセット上での競合性能を実現する。
論文 参考訳（メタデータ） (2022-10-12T04:58:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。