論文の概要: Graph Unlearning Meets Influence-aware Negative Preference Optimization
- arxiv url: http://arxiv.org/abs/2510.19479v1
- Date: Wed, 22 Oct 2025 11:18:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:15.730842
- Title: Graph Unlearning Meets Influence-aware Negative Preference Optimization
- Title(参考訳): Graph Unlearningがインフルエンス・アウェアの否定的推論最適化に挑戦
- Authors: Qiang Chen, Zhongze Wu, Ang He, Xi Lin, Shuo Jiang, Shan You, Chang Xu, Yi Chen, Xiu Su,
- Abstract要約: 本稿では,textbfInfluenceを意識した textbfNegative textbfPreference textbfOptimization framework である textbfINPO を紹介する。
我々はまず,NPOの発散速度が遅いことを解析し,非学習的な高影響エッジが非学習の影響を低減することを理論的に提案する。
5つの実世界のデータセットで実施された実験は、INPOベースのモデルがすべての品質指標に対して最先端のパフォーマンスを達成することを示した。
- 参考スコア(独自算出の注目度): 45.33243345077153
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in graph unlearning models have enhanced model utility by preserving the node representation essentially invariant, while using gradient ascent on the forget set to achieve unlearning. However, this approach causes a drastic degradation in model utility during the unlearning process due to the rapid divergence speed of gradient ascent. In this paper, we introduce \textbf{INPO}, an \textbf{I}nfluence-aware \textbf{N}egative \textbf{P}reference \textbf{O}ptimization framework that focuses on slowing the divergence speed and improving the robustness of the model utility to the unlearning process. Specifically, we first analyze that NPO has slower divergence speed and theoretically propose that unlearning high-influence edges can reduce impact of unlearning. We design an influence-aware message function to amplify the influence of unlearned edges and mitigate the tight topological coupling between the forget set and the retain set. The influence of each edge is quickly estimated by a removal-based method. Additionally, we propose a topological entropy loss from the perspective of topology to avoid excessive information loss in the local structure during unlearning. Extensive experiments conducted on five real-world datasets demonstrate that INPO-based model achieves state-of-the-art performance on all forget quality metrics while maintaining the model's utility. Codes are available at \href{https://github.com/sh-qiangchen/INPO}{https://github.com/sh-qiangchen/INPO}.
- Abstract(参考訳): グラフアンラーニングモデルの最近の進歩は、ノード表現を本質的に不変に保ちながら、非ラーニングを達成するために、忘れセットの勾配上昇を利用してモデルの有用性を高めている。
しかし, この手法は, 勾配上昇の急激な発散速度による未学習過程において, モデルユーティリティの大幅な劣化を引き起こす。
本稿では、分散速度を遅くし、モデルユーティリティの堅牢性を未学習プロセスに改善することに焦点を当てた、 {textbf{INPO}, an \textbf{I}nfluence-aware \textbf{N}egative \textbf{P}reference \textbf{O}ptimization frameworkを紹介する。
具体的には,NPOの発散速度が遅いことをまず分析し,非学習的高影響エッジが非学習的影響を減少させる可能性を理論的に提案する。
我々は、未学習エッジの影響を増幅し、リザーブセットとレザーブセット間のタイトなトポロジ的結合を軽減するために、影響認識メッセージ関数を設計する。
除去法により各エッジの影響を迅速に推定する。
さらに,非学習時の局所構造における過剰な情報損失を回避するため,トポロジの観点からのトポロジ的エントロピー損失を提案する。
5つの実世界のデータセットで実施された大規模な実験により、INPOベースのモデルは、モデルの有用性を維持しながら、すべての品質指標に対して最先端のパフォーマンスを達成することが示された。
コードは \href{https://github.com/sh-qiangchen/INPO}{https://github.com/sh-qiangchen/INPO} で公開されている。
関連論文リスト
- C-SWAP: Explainability-Aware Structured Pruning for Efficient Neural Networks Compression [4.10373648742522]
プルーニング(英: Pruning)は、モデル構造におけるスパーシティを促進する技術である。
本稿では,説明可能な深層学習に依存する新しい一発プルーニングフレームワークを提案する。
提案手法はモデルサイズを大幅に削減し,性能への影響を最小限に抑え,微調整を不要とした。
論文 参考訳(メタデータ) (2025-10-21T13:40:11Z) - Instance-Prototype Affinity Learning for Non-Exemplar Continual Graph Learning [7.821213342456415]
グラフニューラルネットワークは破滅的な忘れを耐え、以前獲得した知識を保持する能力を損なう。
非現代連続グラフ学習(NECGL)のための新しいパラダイムであるインスタンス型親和性学習(IPAL)を提案する。
我々は,PCL内に決定境界知覚機構を組み込み,クラス間識別性を向上する。
論文 参考訳(メタデータ) (2025-05-15T07:35:27Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-04-17T08:32:25Z) - IB-AdCSCNet:Adaptive Convolutional Sparse Coding Network Driven by Information Bottleneck [4.523653503622693]
IB-AdCSCNetは情報ボトルネック理論に基づくディープラーニングモデルである。
IB-AdCSCNetは、情報ボトルネックトレードオフ戦略をディープネットワークにシームレスに統合する。
CIFAR-10とCIFAR-100データセットの実験結果は、IB-AdCSCNetが深い残差畳み込みネットワークの性能にマッチするだけでなく、破損したデータを扱う際の性能も優れていることを示した。
論文 参考訳(メタデータ) (2024-05-23T05:35:57Z) - Robust Hyperbolic Learning with Curvature-Aware Optimization [7.89323764547292]
現在の双曲型学習アプローチは、過度に適合し、計算コストが高く、不安定になりがちである。
本稿では,双曲的埋め込みを制限し,近似誤差を低減するために,新しい微調整可能な双曲的スケーリング手法を提案する。
提案手法は,コンピュータビジョン,脳波分類,階層的メトリック学習タスクにおける一貫した改善を示す。
論文 参考訳(メタデータ) (2024-05-22T20:30:14Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - GIF: A General Graph Unlearning Strategy via Influence Function [63.52038638220563]
Graph Influence Function (GIF)は、削除されたデータにおける$epsilon$-massの摂動に応答してパラメータの変化を効率的に正確に推定できる、モデルに依存しない未学習の手法である。
我々は,4つの代表的GNNモデルと3つのベンチマークデータセットについて広範な実験を行い,未学習の有効性,モデルの有用性,未学習効率の観点からGIFの優位性を正当化する。
論文 参考訳(メタデータ) (2023-04-06T03:02:54Z) - Implicit Under-Parameterization Inhibits Data-Efficient Deep
Reinforcement Learning [97.28695683236981]
さらなる勾配更新により、現在の値ネットワークの表現性が低下する。
AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
論文 参考訳(メタデータ) (2020-10-27T17:55:16Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。