論文の概要: CUNO: Curriculum and Preference Optimization for Stable Graph Unlearning under Mass Deletion
- arxiv url: http://arxiv.org/abs/2609.08244v1
- Date: Tue, 08 Sep 2026 04:39:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.579562
- Title: CUNO: Curriculum and Preference Optimization for Stable Graph Unlearning under Mass Deletion
- Title(参考訳): CUNO:大量削除下での安定グラフアンラーニングのためのカリキュラムと選好最適化
- Abstract要約: グラフアンラーニングは、スクラッチから再トレーニングすることなく、トレーニングされたグラフモデルから指定されたトレーニングデータの影響を取り除く。
カリキュラムベースのグラフアンラーニングフレームワークであるCUNOを提案する。
CUNOは破滅的な未学習を継続的に軽減し、50%の削除でも元のユーティリティの半分以上を維持している。
- 参考スコア(独自算出の注目度): 9.068618482899327
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Graph unlearning removes the influence of designated training data from a trained graph model without retraining from scratch. However, existing methods suffer a sharp drop in model utility under large deletion ratios (mass deletion), a phenomenon we refer to as catastrophic unlearning. We find that a key cause is the uniform treatment of all deleted samples, which is particularly damaging in graph learning: structural dependencies cause different nodes to play vastly different roles in the learned model, yet existing methods apply the same forgetting operation to the entire forget set. Based on this insight, we propose CUNO, a curriculum-based graph unlearning framework that removes the forget set progressively, ordering samples by their estimated unlearning difficulty across multiple stages. CUNO further employs a distribution-level negative preference optimization (NPO) objective at each curriculum stage that steers the model away from its original behavior on the current forget subset while preserving retained performance. Our theoretical analysis shows that the curriculum design is most beneficial when the forget set spans a wide range of unlearning difficulty, a condition naturally satisfied under mass deletion. Comprehensive experiments confirm that CUNO consistently mitigates catastrophic unlearning: at 20% deletion, it retains 74% of the original utility compared to 26-53% for existing methods, and maintains more than half the original utility even at 50% deletion. Our code is publicly available at https://anonymous.4open.science/r/cuno-D4FF.
- Abstract(参考訳): グラフアンラーニングは、スクラッチから再トレーニングすることなく、トレーニングされたグラフモデルから指定されたトレーニングデータの影響を取り除く。
しかし,既存手法では,大規模な削除率(大量削除)下でのモデルユーティリティの急激な低下がみられ,これは破滅的未学習と呼ばれる現象である。
構造的依存は、学習モデルにおいて異なるノードが大きな異なる役割を演じる原因になりますが、既存のメソッドは、忘れる集合全体に同じ忘れる操作を適用します。
そこで本研究では,カリキュラムベースのグラフアンラーニングフレームワークであるCUNOを提案する。
CUNOはさらに、各カリキュラム段階で分布レベルの負の優先度最適化(NPO)の目標を採用しており、保持性能を維持しながら、現在の忘れサブセットにおける元の振る舞いからモデルを遠ざけている。
理論解析により, 学習困難度が多岐にわたる場合, 大量削除条件下では, カリキュラム設計が有益であることが示唆された。
包括的実験により、CUNOは破滅的な未学習を継続的に軽減し、20%の削除では、既存のメソッドの26-53%に比べて元のユーティリティの74%を保持し、50%の削除でも元のユーティリティの半分以上を維持している。
私たちのコードはhttps://anonymous.4open.science/r/cuno-D4FFで公開されています。
関連論文リスト
- What to Forget in Unlearning? Forget Set Curation for Language Models [24.23267387545857]
依頼者が、どの曲、文書、引用文、あるいはほぼ重複しているかを知ることなく、曲や本の再生を中止するよう、モデルに求める方法を示す。
そこで我々はCleanSlate, 曲や本に対する冗長な出力抑制のためのベンチマーク, モデル固有の抽出プロファイル, コンテンツ基底QA, 能力保持評価を紹介する。
論文 参考訳(メタデータ) (2026-08-14T19:51:53Z) - Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。
MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
論文 参考訳(メタデータ) (2026-06-01T21:49:54Z) - Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition [53.005382593686356]
エンゲージメント認識データセットは典型的には主観的インデクシングであり、しばしば騒々しく主観的な監督を含んでいる。
本研究では、この設定を、エンゲージメント認識のためのポストホック衛生機構として、主観レベルマシンアンラーニングを通して研究する。
論文 参考訳(メタデータ) (2026-05-06T10:03:06Z) - The Right to be Forgotten in Pruning: Unveil Machine Unlearning on Sparse Models [18.728123679646398]
機械学習は、訓練されたモデルから削除されたデータに関するメモリを効率的に排除し、忘れられる権利に対処することを目的としている。
本稿では,削除したデータがスパースモデルにおけるプルーンドトポロジに与える影響を実証的に確認する。
観察と忘れられる権利に動機付けられて、削除されたデータがモデルプルーニングに与える影響を排除するために、新しい用語「アンプルーニング(un-pruning)」を定義します。
論文 参考訳(メタデータ) (2025-07-24T18:13:26Z) - Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs [54.167494079321465]
LLMの現在のアンラーニング方法は、それらを微調整データに組み込むことで、削除しようとしているプライベート情報に基づいて最適化されている。
本研究では,未学習目標を学習対象に含まない新しい非学習手法-部分的モデル崩壊(PMC)を提案する。
論文 参考訳(メタデータ) (2025-07-06T03:08:49Z) - Distillation Robustifies Unlearning [36.27570321651185]
モデルのトレーニングは、基礎となる機能をそのまま残しながら、インプット・アウトプットの動作を大幅に変更できることを示す。
本研究では,未学習のモデルを自身のノイズコピーに蒸留するスケーラブルな手法であるUnlearn-Noise-Distill-on-Outputs (UNDO)を提案する。
論文 参考訳(メタデータ) (2025-06-06T17:58:54Z) - UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning [57.081646768835704]
ユーザ仕様や法的フレームワークは、しばしば、大きな言語モデル(LLM)を含む、事前訓練されたモデルから削除される情報を必要とする。
これは、既に訓練済みのモデルからデータポイントのセットを削除または"偽造"する必要がある。
本研究では,非学習時の副次的損傷を軽減するための手法に依存しないデータ選択フレームワークUPCOREを提案する。
論文 参考訳(メタデータ) (2025-02-20T22:51:10Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - SecureCut: Federated Gradient Boosting Decision Trees with Efficient
Machine Unlearning [10.011146979811752]
VFL(Vertical Federated Learning)では、複数のパーティがモデルトレーニングにプライベート機能を提供している。
VFLでは、データ削除(textitmachine unlearning)は、プライバシの保証の下で、すべてのサンプルから特定の機能を削除する必要があることが多い。
我々は,スクラッチから再トレーニングを必要とせずに,テクティスタンス・アンラーニングとテクティファチュア・アンラーニングの両方を効果的に実現する,新しいグラディエント・ブースティング・決定木(GBDT)フレームワークであるmethnameを提案する。
論文 参考訳(メタデータ) (2023-11-22T05:38:53Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。