論文の概要: Confidence-aware Self-Semantic Distillation on Knowledge Graph Embedding
- arxiv url: http://arxiv.org/abs/2206.02963v2
- Date: Mon, 27 May 2024 16:11:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 05:05:50.131173
- Title: Confidence-aware Self-Semantic Distillation on Knowledge Graph Embedding
- Title（参考訳）: 知識グラフ埋め込みにおける信頼度を考慮した自己意味蒸留
- Authors: Yichen Liu, Jiawei Chen, Defang Chen, Zhehui Zhou, Yan Feng, Can Wang,
- Abstract要約: 信頼を意識した自己知識蒸留(CSD)はモデル自体から学習し、KGEを低次元空間で強化する。
CSDは、前のイテレーションに埋め込まれた知識を抽出し、次のイテレーションでモデルの学習を監督するために使用される。
特定のセマンティックモジュールは、以前に学習した埋め込みの信頼度を推定することにより、信頼できる知識をフィルタリングする。
- 参考スコア（独自算出の注目度）: 20.49583906923656
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge Graph Embedding (KGE), which projects entities and relations into continuous vector spaces, have garnered significant attention. Although high-dimensional KGE methods offer better performance, they come at the expense of significant computation and memory overheads. Decreasing embedding dimensions significantly deteriorates model performance. While several recent efforts utilize knowledge distillation or non-Euclidean representation learning to augment the effectiveness of low-dimensional KGE, they either necessitate a pre-trained high-dimensional teacher model or involve complex non-Euclidean operations, thereby incurring considerable additional computational costs. To address this, this work proposes Confidence-aware Self-Knowledge Distillation (CSD) that learns from model itself to enhance KGE in a low-dimensional space. Specifically, CSD extracts knowledge from embeddings in previous iterations, which would be utilized to supervise the learning of the model in the next iterations. Moreover, a specific semantic module is developed to filter reliable knowledge by estimating the confidence of previously learned embeddings. This straightforward strategy bypasses the need for time-consuming pre-training of teacher models and can be integrated into various KGE methods to improve their performance. Our comprehensive experiments on six KGE backbones and four datasets underscore the effectiveness of the proposed CSD.
- Abstract（参考訳）: 連続ベクトル空間に実体と関係を投影する知識グラフ埋め込み(KGE)が注目されている。
高次元KGE法は優れた性能を提供するが、計算量やメモリオーバーヘッドを犠牲にしている。
埋め込み寸法の減少はモデル性能を著しく悪化させる。
近年、知識蒸留や非ユークリッド表現学習を用いて低次元KGEの有効性を高める試みがいくつか行われているが、それらは事前訓練された高次元の教師モデルを必要とするか、複雑な非ユークリッド演算を必要とするかのどちらかであり、計算コストが大幅に増大する。
そこで本研究では, モデル自体から学習し, KGEを低次元空間で強化する, 信頼を意識した自己知識蒸留(CSD)を提案する。
具体的には、CSDは以前のイテレーションの埋め込みから知識を抽出し、次のイテレーションでモデルの学習を監督するために使用される。
さらに,事前に学習した埋め込みの信頼度を推定することにより,信頼性の高い知識をフィルタリングするセマンティックモジュールを開発した。
この直接的な戦略は、教師モデルの事前学習に時間を要することを回避し、様々なKGEメソッドに統合してパフォーマンスを向上させることができる。
6つのKGEバックボーンと4つのデータセットに関する包括的な実験は、提案したCSDの有効性を裏付けるものである。
関連論文リスト
- DistiLLM: Towards Streamlined Distillation for Large Language Models [53.46759297929675]
DistiLLMは自動回帰言語モデルのためのより効率的で効率的なKDフレームワークである。
DisiLLMは,(1)新しいスキューKulback-Leibler分散損失,(2)学生生成出力の効率向上を目的とした適応型オフ政治アプローチの2つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2024-02-06T11:10:35Z) - Robustness-Reinforced Knowledge Distillation with Correlation Distance
and Network Pruning [3.1423836318272773]
知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。
既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。
相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
論文 参考訳（メタデータ） (2023-11-23T11:34:48Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳（メタデータ） (2022-11-21T03:09:42Z) - Adversarial Robustness of Representation Learning for Knowledge Graphs [7.5765554531658665]
この論文は、最先端の知識グラフ埋め込み(KGE)モデルはデータ中毒攻撃に対して脆弱であると主張している。
2つの新しいデータ中毒攻撃が提案され、トレーニング時に入力削除や追加を行い、推論時に学習したモデルの性能を逆転させる。
評価の結果、単純な攻撃は計算コストの高い攻撃と競合するか、上回っていることが明らかとなった。
論文 参考訳（メタデータ） (2022-09-30T22:41:22Z) - A Closer Look at Knowledge Distillation with Features, Logits, and
Gradients [81.39206923719455]
知識蒸留(KD)は、学習した知識をあるニューラルネットワークモデルから別のニューラルネットワークモデルに転送するための重要な戦略である。
この研究は、古典的なKL分割基準を異なる知識源で近似することで、一連の知識蒸留戦略を動機付ける新しい視点を提供する。
分析の結果,ロジットは一般的により効率的な知識源であり,十分な特徴次元を持つことがモデル設計に不可欠であることが示唆された。
論文 参考訳（メタデータ） (2022-03-18T21:26:55Z) - Swift and Sure: Hardness-aware Contrastive Learning for Low-dimensional
Knowledge Graph Embeddings [20.693275018860287]
我々は、Hardness-Aware Low-dimensional Embedding (HaLE)と呼ばれる新しいKGEトレーニングフレームワークを提案する。
限られた訓練時間において、HaLEはKGEモデルの性能と訓練速度を効果的に向上させることができる。
HaLE訓練モデルは、数分のトレーニング後に高い予測精度を得ることができ、最先端のモデルと比較して競争力がある。
論文 参考訳（メタデータ） (2022-01-03T10:25:10Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳（メタデータ） (2021-08-26T14:01:04Z) - Highly Efficient Knowledge Graph Embedding Learning with Orthogonal
Procrustes Analysis [10.154836127889487]
知識グラフ埋め込み(KGE)は、幅広いアプリケーションへの約束のために、近年集中的に研究されています。
本稿では, トレーニング時間と炭素フットプリントを桁違いに削減できる簡易かつ効果的なKGEフレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-10T03:55:45Z) - RelWalk A Latent Variable Model Approach to Knowledge Graph Embedding [50.010601631982425]
本稿では,単語埋め込みのランダムウォークモデル(Arora et al., 2016a)を知識グラフ埋め込み(KGE)に拡張する。
二つの実体 h (head) と t (tail) の間の関係 R の強さを評価するスコア関数を導出する。
理論的解析によって動機付けられた学習目標を提案し,知識グラフからKGEを学習する。
論文 参考訳（メタデータ） (2021-01-25T13:31:29Z) - MulDE: Multi-teacher Knowledge Distillation for Low-dimensional
Knowledge Graph Embeddings [22.159452429209463]
知識グラフ埋め込み(KGE)に基づくリンク予測は、知識グラフ(KG)を自動的に構築する新しいトリプルを予測することを目的としている。
最近のKGEモデルは、埋め込み次元を過度に増加させることで、性能の向上を実現している。
我々は,教師として複数の低次元双曲KGEモデルと2つの学生コンポーネントを含む新しい知識蒸留フレームワークであるMulDEを提案する。
論文 参考訳（メタデータ） (2020-10-14T15:09:27Z) - Residual Knowledge Distillation [96.18815134719975]
本研究は,アシスタント(A)を導入し,さらに知識を蒸留する残留知識蒸留(RKD)を提案する。
このように、S は T の特徴写像を模倣するように訓練され、A はそれらの間の残差を学習することでこの過程を支援する。
提案手法は,CIFAR-100 と ImageNet という,一般的な分類データセットにおいて魅力的な結果が得られることを示す。
論文 参考訳（メタデータ） (2020-02-21T07:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。