論文の概要: Efficient Knowledge Graph Unlearning with Zeroth-order Information

• arxiv url: http://arxiv.org/abs/2508.14013v1
• Date: Tue, 19 Aug 2025 17:22:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:32.02744
• Title: Efficient Knowledge Graph Unlearning with Zeroth-order Information
• Title（参考訳）: ゼロオーダー情報を用いた知識グラフの学習
• Authors: Yang Xiao, Ruimeng Ye, Bohan Liu, Xiaolong Ma, Bo Hui,
• Abstract要約: 本稿では,効率的な知識グラフ(KG)アンラーニングアルゴリズムを提案する。 KGアンラーニングは、KGの特異な構造と実体間の意味的関係のために非自明である。 実験により,提案手法が他の最先端のグラフ学習ベースラインより優れていることが示された。
• 参考スコア（独自算出の注目度）: 16.462136830216856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to regulations like the Right to be Forgotten, there is growing demand for removing training data and its influence from models. Since full retraining is costly, various machine unlearning methods have been proposed. In this paper, we firstly present an efficient knowledge graph (KG) unlearning algorithm. We remark that KG unlearning is nontrivial due to the distinctive structure of KG and the semantic relations between entities. Also, unlearning by estimating the influence of removed components incurs significant computational overhead when applied to large-scale knowledge graphs. To this end, we define an influence function for KG unlearning and propose to approximate the model's sensitivity without expensive computation of first-order and second-order derivatives for parameter updates. Specifically, we use Taylor expansion to estimate the parameter changes caused by data removal. Given that the first-order gradients and second-order derivatives dominate the computational load, we use the Fisher matrices and zeroth-order optimization to approximate the inverse-Hessian vector product without constructing the computational graphs. Our experimental results demonstrate that the proposed method outperforms other state-of-the-art graph unlearning baselines significantly in terms of unlearning efficiency and unlearning quality. Our code is released at https://github.com/NKUShaw/ZOWFKGIF.
• Abstract（参考訳）: 忘れられる権利のような規制により、トレーニングデータの削除やモデルへの影響に対する需要が高まっている。 完全再訓練はコストがかかるため、様々な機械学習手法が提案されている。 本稿では,まず,効率的な知識グラフ(KG)アンラーニングアルゴリズムを提案する。 我々は、KGの特異な構造と実体間の意味的関係から、KGの非学習は自明ではないと指摘する。 また、除去されたコンポーネントの影響を推定してアンラーニングを行うと、大規模知識グラフに適用した場合にかなりの計算オーバーヘッドが発生する。 この目的のために、KGアンラーニングにおける影響関数を定義し、パラメータ更新のための一階微分と二階微分の高価な計算をすることなく、モデルの感度を近似することを提案する。 具体的には,データ除去に伴うパラメータ変化を推定するためにTaylor拡張を用いる。 一階勾配と二階微分が計算負荷を支配していることを考慮し、フィッシャー行列とゼロ階最適化を用いて計算グラフを構築することなく逆ヘッセンベクトル積を近似する。 実験の結果,提案手法は,非学習効率や未学習品質の点で,他の最先端の未学習ベースラインよりも優れていた。 私たちのコードはhttps://github.com/NKUShaw/ZOWFKGIFで公開されています。

関連論文リスト

• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
  本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。 このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。 本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-03T07:54:08Z)
• Hessian-Free Online Certified Unlearning [8.875278412741695]
  ほぼ瞬時にデータを除去するオンライン・アンラーニングアルゴリズムを開発した。 提案手法は,非学習および一般化保証の観点から,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-02T07:54:18Z)
• Unifews: You Need Fewer Operations for Efficient Graph Neural Networks [9.66321358222326]
  グラフニューラルネットワーク(GNN)は、有望な性能を示すが、グラフスケールの行列に対するリソース集約的な操作のコストがかかる。 グラフと重み行列の演算を統一し、GNN学習効率を向上させるための連成スカラー化手法であるUnifewsを提案する。
  論文  参考訳（メタデータ） (2024-03-20T03:07:30Z)
• GIF: A General Graph Unlearning Strategy via Influence Function [63.52038638220563]
  Graph Influence Function (GIF)は、削除されたデータにおける$epsilon$-massの摂動に応答してパラメータの変化を効率的に正確に推定できる、モデルに依存しない未学習の手法である。 我々は,4つの代表的GNNモデルと3つのベンチマークデータセットについて広範な実験を行い,未学習の有効性,モデルの有用性,未学習効率の観点からGIFの優位性を正当化する。
  論文  参考訳（メタデータ） (2023-04-06T03:02:54Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)
• Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations [94.41860307845812]
  Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。 GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。 グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。 我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
  論文  参考訳（メタデータ） (2022-01-04T15:49:18Z)
• Unrolling SGD: Understanding Factors Influencing Machine Unlearning [17.6607904333012]
  機械学習は、デプロイされた機械学習モデルがトレーニングデータポイントの1つを忘れるプロセスである。 まず、近似アンラーニングのアプローチとメトリクスを分類する。 検証誤差(L2差)、すなわち、ほとんど学習されていないモデルの重みと鼻再訓練されたモデルのL2差を同定する。
  論文  参考訳（メタデータ） (2021-09-27T23:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。