論文の概要: Towards Continual Knowledge Graph Embedding via Incremental Distillation
- arxiv url: http://arxiv.org/abs/2405.04453v1
- Date: Tue, 7 May 2024 16:16:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 13:21:31.891623
- Title: Towards Continual Knowledge Graph Embedding via Incremental Distillation
- Title（参考訳）: インクリメンタル蒸留による連続的知識グラフ埋め込みに向けて
- Authors: Jiajun Liu, Wenjun Ke, Peng Wang, Ziyu Shang, Jinhua Gao, Guozheng Li, Ke Ji, Yanhe Liu,
- Abstract要約: 従来の知識グラフ埋め込み(KGE)の手法では、新しい知識が出現すると、知識グラフ全体(KG)をかなりの訓練コストで保存する必要がある。
本稿では,KGsにおける明示的なグラフ構造の完全活用を考慮したインクリメンタル蒸留(IncDE)に基づくCKGEの競合手法を提案する。
- 参考スコア（独自算出の注目度）: 12.556752486002356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional knowledge graph embedding (KGE) methods typically require preserving the entire knowledge graph (KG) with significant training costs when new knowledge emerges. To address this issue, the continual knowledge graph embedding (CKGE) task has been proposed to train the KGE model by learning emerging knowledge efficiently while simultaneously preserving decent old knowledge. However, the explicit graph structure in KGs, which is critical for the above goal, has been heavily ignored by existing CKGE methods. On the one hand, existing methods usually learn new triples in a random order, destroying the inner structure of new KGs. On the other hand, old triples are preserved with equal priority, failing to alleviate catastrophic forgetting effectively. In this paper, we propose a competitive method for CKGE based on incremental distillation (IncDE), which considers the full use of the explicit graph structure in KGs. First, to optimize the learning order, we introduce a hierarchical strategy, ranking new triples for layer-by-layer learning. By employing the inter- and intra-hierarchical orders together, new triples are grouped into layers based on the graph structure features. Secondly, to preserve the old knowledge effectively, we devise a novel incremental distillation mechanism, which facilitates the seamless transfer of entity representations from the previous layer to the next one, promoting old knowledge preservation. Finally, we adopt a two-stage training paradigm to avoid the over-corruption of old knowledge influenced by under-trained new knowledge. Experimental results demonstrate the superiority of IncDE over state-of-the-art baselines. Notably, the incremental distillation mechanism contributes to improvements of 0.2%-6.5% in the mean reciprocal rank (MRR) score.
- Abstract（参考訳）: 従来の知識グラフ埋め込み(KGE)の手法では、新しい知識が出現すると、知識グラフ全体(KG)をかなりの訓練コストで保存する必要がある。
この問題に対処するために,KGEモデルを学習し,かつ適切な古い知識を同時に保持することにより,KGEモデルを訓練するための継続的知識グラフ埋め込み(CKGE)タスクが提案されている。
しかし、上記の目標に対して重要なKGsの明示的なグラフ構造は、既存のCKGE法では無視されている。
一方、既存の手法は通常ランダムな順序で新しい三重項を学習し、新しいKGの内部構造を破壊する。
一方、古い三重項は同等の優先度で保存され、破滅的な忘れを効果的に緩和することができない。
本稿では,KGsにおける明示的なグラフ構造の完全活用を考慮したインクリメンタル蒸留(IncDE)に基づくCKGEの競合手法を提案する。
まず、学習順序を最適化するために、階層的な戦略を導入し、層ごとの学習に新しい3倍をランク付けする。
階層内順序と階層内順序を併用することにより、グラフ構造の特徴に基づいて、新しいトリプルを層にグループ化する。
第2に, 従来の知識を効果的に保存するために, 先行層から次の層への実体表現のシームレスな移動を容易にする新しい漸進蒸留機構を考案し, 古い知識の保存を促進する。
最後に、未学習の新たな知識に影響される古い知識の過度な破壊を避けるために、2段階の訓練パラダイムを採用する。
実験結果から, 最先端のベースラインよりもInDEの方が優れていることが示された。
特に、増分蒸留機構は平均相反ランク(MRR)スコアの0.2%-6.5%の改善に寄与する。
関連論文リスト
- Subgraph-Aware Training of Language Models for Knowledge Graph Completion Using Structure-Aware Contrastive Learning [4.741342276627672]
微調整事前学習言語モデル(PLM)は、最近知識グラフ補完(KGC)を改善する可能性を示している。
そこで本研究では,KGC(SATKGC)のためのサブグラフ認識学習フレームワークを提案する。 (i)サブグラフ認識のミニバッチ化により,ハードネガティブサンプリングの促進とトレーニング中のエンティティ発生頻度の不均衡を軽減すること,および (ii)知識グラフの構造特性の観点から,よりハードなインバッチ負三重項とハードポジティブ三重項にフォーカスする新たなコントラスト学習を提案する。
論文 参考訳（メタデータ） (2024-07-17T16:25:37Z) - Fast and Continual Knowledge Graph Embedding via Incremental LoRA [20.624310261539694]
連続的知識グラフ埋め込みは、新しい知識を効率的に学習し、古い知識を同時に保存することを目的としている。
本稿では,新しい知識を効率的に獲得するために,インクリメンタルな低ランクアダプタ(mec)機構を組み込んだ高速CKGEフレームワーク(モデル)を提案する。
4つの公開データセットと2つの新しいデータセットを、より大規模な初期スケールで実験する。
論文 参考訳（メタデータ） (2024-07-08T08:07:13Z) - Preserving Node Distinctness in Graph Autoencoders via Similarity Distillation [9.395697548237333]
グラフオートエンコーダ(GAE)は、平均二乗誤差(MSE)のような距離ベースの基準に依存して入力グラフを再構築する。
単一の再構築基準にのみ依存すると 再建されたグラフの 特徴が失われる可能性がある
我々は,再構成されたグラフにおいて,必要な相違性を維持するための簡易かつ効果的な戦略を開発した。
論文 参考訳（メタデータ） (2024-06-25T12:54:35Z) - PUMA: Efficient Continual Graph Learning for Node Classification with Graph Condensation [49.00940417190911]
既存のグラフ表現学習モデルは、新しいグラフを学習する際に破滅的な問題に遭遇する。
本稿では,PUMA(PUdo-label guided Memory bAnkrogation)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T05:09:58Z) - From Cluster Assumption to Graph Convolution: Graph-based Semi-Supervised Learning Revisited [51.24526202984846]
グラフベースの半教師付き学習(GSSL)は、長い間ホットな研究トピックだった。
グラフ畳み込みネットワーク (GCN) は, 有望な性能を示す主要な技術となっている。
論文 参考訳（メタデータ） (2023-09-24T10:10:21Z) - Evolving Knowledge Mining for Class Incremental Segmentation [113.59611699693092]
クラスインクリメンタルセマンティック(CISS)は、最近、現実世界のアプリケーションにおいて大きな重要性があるため、トレンドとなっている。
冷凍バックボーンを用いた新規なkNowleDgeマイニング法を提案する。
提案手法を2つの広く使用されているベンチマークで評価し,新しい最先端性能を一貫して示す。
論文 参考訳（メタデータ） (2023-06-03T07:03:15Z) - Repurposing Knowledge Graph Embeddings for Triple Representation via
Weak Supervision [77.34726150561087]
現在の方法では、事前訓練されたモデルからの実体と述語埋め込みを使わずに、スクラッチから三重埋め込みを学習する。
本研究では,知識グラフからトリプルを自動抽出し,事前学習した埋め込みモデルからそれらのペアの類似性を推定する手法を開発した。
これらのペアの類似度スコアは、細い三重表現のためにシームズ様のニューラルネットワークに供給される。
論文 参考訳（メタデータ） (2022-08-22T14:07:08Z) - Causal Incremental Graph Convolution for Recommender System Retraining [89.25922726558875]
実世界のレコメンデーションシステムは、新しいデータを維持するために定期的に再トレーニングする必要がある。
本研究では,GCNに基づくレコメンデータモデルを用いて,グラフ畳み込みネットワーク(GCN)を効率的に再学習する方法を検討する。
論文 参考訳（メタデータ） (2021-08-16T04:20:09Z) - RelWalk A Latent Variable Model Approach to Knowledge Graph Embedding [50.010601631982425]
本稿では,単語埋め込みのランダムウォークモデル(Arora et al., 2016a)を知識グラフ埋め込み(KGE)に拡張する。
二つの実体 h (head) と t (tail) の間の関係 R の強さを評価するスコア関数を導出する。
理論的解析によって動機付けられた学習目標を提案し,知識グラフからKGEを学習する。
論文 参考訳（メタデータ） (2021-01-25T13:31:29Z) - Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。
旧知識保存のための重み付きユークリッド正規化を提案する。
新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
論文 参考訳（メタデータ） (2020-12-15T07:26:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。