論文の概要: Unlearning of Knowledge Graph Embedding via Preference Optimization

• arxiv url: http://arxiv.org/abs/2507.20566v1
• Date: Mon, 28 Jul 2025 07:03:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:57.893142
• Title: Unlearning of Knowledge Graph Embedding via Preference Optimization
• Title（参考訳）: 優先最適化による知識グラフ埋め込みの学習
• Authors: Jiajun Liu, Wenjun Ke, Peng Wang, Yao He, Ziyu Shang, Guozheng Li, Zijie Xu, Ke Ji,
• Abstract要約: 既存の知識グラフ(KG)には、取り除かなければならない古い知識や誤った知識が必然的に含まれている。 直接選好最適化(DPO)に基づく新しい非学習フレームワークGraphDPOを提案する。 実験の結果、GraphDPOはMRR_Avgで10.1%、MRR_F1で14.0%、最先端のベースラインよりも優れていた。
• 参考スコア（独自算出の注目度）: 10.933615997032698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing knowledge graphs (KGs) inevitably contain outdated or erroneous knowledge that needs to be removed from knowledge graph embedding (KGE) models. To address this challenge, knowledge unlearning can be applied to eliminate specific information while preserving the integrity of the remaining knowledge in KGs. Existing unlearning methods can generally be categorized into exact unlearning and approximate unlearning. However, exact unlearning requires high training costs while approximate unlearning faces two issues when applied to KGs due to the inherent connectivity of triples: (1) It fails to fully remove targeted information, as forgetting triples can still be inferred from remaining ones. (2) It focuses on local data for specific removal, which weakens the remaining knowledge in the forgetting boundary. To address these issues, we propose GraphDPO, a novel approximate unlearning framework based on direct preference optimization (DPO). Firstly, to effectively remove forgetting triples, we reframe unlearning as a preference optimization problem, where the model is trained by DPO to prefer reconstructed alternatives over the original forgetting triples. This formulation penalizes reliance on forgettable knowledge, mitigating incomplete forgetting caused by KG connectivity. Moreover, we introduce an out-boundary sampling strategy to construct preference pairs with minimal semantic overlap, weakening the connection between forgetting and retained knowledge. Secondly, to preserve boundary knowledge, we introduce a boundary recall mechanism that replays and distills relevant information both within and across time steps. We construct eight unlearning datasets across four popular KGs with varying unlearning rates. Experiments show that GraphDPO outperforms state-of-the-art baselines by up to 10.1% in MRR_Avg and 14.0% in MRR_F1.
• Abstract（参考訳）: 既存の知識グラフ(KG)は、必然的に、知識グラフ埋め込み(KGE)モデルから取り除かなければならない時代遅れまたは誤った知識を含んでいる。 この課題に対処するために、知識の未学習を適用して、KGにおける残りの知識の完全性を維持しながら、特定の情報を排除することができる。 既存のアンラーニング手法は、一般に、正確なアンラーニングと近似アンラーニングに分類される。 しかし, 正確なアンラーニングにはトレーニングコストが高く, ほぼアンラーニングは三重項の接続性によって KG に適用される場合の2つの問題に直面する: 1) 三重項を忘れることは依然として残る情報から推測できるため, 対象情報の完全除去に失敗する。 2) 特定の除去のための局所データに焦点を合わせ, 忘れる境界における残りの知識を弱める。 このような問題に対処するために,直接選好最適化(DPO)に基づく新しい非学習フレームワークであるGraphDPOを提案する。 第一に、忘れる三重項を効果的に除去するために、未学習を選好最適化問題として再編成し、DPOによってモデルが訓練され、元の忘れる三重項よりも再構築された代替案が好まれる。 この定式化は、KG接続に起因する不完全な忘れを軽減し、忘れられる知識への依存を罰する。 さらに,セマンティックオーバーラップを最小限に抑えた選好ペアを構築するためのアウトバウンダリサンプリング戦略を導入し,忘れることと保持する知識とのつながりを弱める。 第2に,境界知識を保存するために,時間ステップ内および時間ステップ間で関連情報を再生・蒸留する境界リコール機構を導入する。 我々は4つのKGにまたがる8つの非学習データセットを構築し、異なる非学習率で構築する。 実験の結果、GraphDPOはMRR_Avgで10.1%、MRR_F1で14.0%、最先端のベースラインよりも優れていた。

関連論文リスト

• BLUR: A Bi-Level Optimization Approach for LLM Unlearning [105.98410883830596]
  未学習問題の階層構造をモデル化することが重要であると論じる。 本稿では,より優れた性能を実現する新しいアルゴリズムであるBi-Level UnleaRning(textttBLUR)を提案する。
  論文  参考訳（メタデータ） (2025-06-09T19:23:05Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [70.78205685001168]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 UGBenchは、スコープ内暗黙の知識の未学習を評価するために特別に設計された最初のベンチマークである。 確率に基づく新しいアンラーニングパラダイムであるPerMUを提案する。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• Unlearnable 3D Point Clouds: Class-wise Transformation Is All You Need [24.18942067770636]
  未許可ユーザーが2次元画像データのトレーニングを行うのを防ぐために、学習不可能な戦略が提案されている。 2つのプロセスを含む3Dポイントクラウドのための最初の統合不可能なフレームワークを提案する。 理論的および実証的な結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-04T17:49:32Z)
• Towards Robust and Parameter-Efficient Knowledge Unlearning for LLMs [25.91643745340183]
  大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。 これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。 LLMの堅牢かつ効率的なアンラーニングを可能にする新しいフレームワークであるLoKUを提案する。
  論文  参考訳（メタデータ） (2024-08-13T04:18:32Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• To Copy Rather Than Memorize: A Vertical Learning Paradigm for Knowledge Graph Completion [35.05965140700747]
  我々は、より正確な予測のために、埋め込みモデルを拡張し、関連する事実のトリプルからターゲット情報を明示的にコピーできるようにする。 また、より効率的な最適化のための新しい相対距離ベース負サンプリング手法(ReD)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T14:53:20Z)
• Repurposing Knowledge Graph Embeddings for Triple Representation via Weak Supervision [77.34726150561087]
  現在の方法では、事前訓練されたモデルからの実体と述語埋め込みを使わずに、スクラッチから三重埋め込みを学習する。 本研究では,知識グラフからトリプルを自動抽出し,事前学習した埋め込みモデルからそれらのペアの類似性を推定する手法を開発した。 これらのペアの類似度スコアは、細い三重表現のためにシームズ様のニューラルネットワークに供給される。
  論文  参考訳（メタデータ） (2022-08-22T14:07:08Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。