論文の概要: Improving Knowledge Graph Embedding via Iterative Self-Semantic Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2206.02963v1
• Date: Tue, 7 Jun 2022 01:49:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 13:49:02.014383
• Title: Improving Knowledge Graph Embedding via Iterative Self-Semantic Knowledge Distillation
• Title（参考訳）: 反復的自己意味的知識蒸留による知識グラフ埋め込みの改善
• Authors: Zhehui Zhou, Defang Chen, Can Wang, Yan Feng and Chun Chen
• Abstract要約: 知識グラフ埋め込み (KGE) は, 連続ベクトル空間への実体と関係の投影によるリンク予測のために, 集中的に研究されている。 現在の一般的な高次元KGE法は、膨大な計算とメモリコストを必要とするが、非常にわずかな性能向上が得られる。 低次元空間におけるKGEモデル表現性を改善するための自己意味的知識蒸留戦略を提案する。
• 参考スコア（独自算出の注目度）: 21.635448800039118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge graph embedding (KGE) has been intensively investigated for link prediction by projecting entities and relations into continuous vector spaces. Current popular high-dimensional KGE methods obtain quite slight performance gains while require enormous computation and memory costs. In contrast to high-dimensional KGE models, training low-dimensional models is more efficient and worthwhile for better deployments to practical intelligent systems. However, the model expressiveness of semantic information in knowledge graphs (KGs) is highly limited in the low dimension parameter space. In this paper, we propose iterative self-semantic knowledge distillation strategy to improve the KGE model expressiveness in the low dimension space. KGE model combined with our proposed strategy plays the teacher and student roles alternatively during the whole training process. Specifically, at a certain iteration, the model is regarded as a teacher to provide semantic information for the student. At next iteration, the model is regard as a student to incorporate the semantic information transferred from the teacher. We also design a novel semantic extraction block to extract iteration-based semantic information for the training model self-distillation. Iteratively incorporating and accumulating iteration-based semantic information enables the low-dimensional model to be more expressive for better link prediction in KGs. There is only one model during the whole training, which alleviates the increase of computational expensiveness and memory requirements. Furthermore, the proposed strategy is model-agnostic and can be seamlessly combined with other KGE models. Consistent and significant performance gains in experimental evaluations on four standard datasets demonstrate the effectiveness of the proposed self-distillation strategy.
• Abstract（参考訳）: 知識グラフ埋め込み (KGE) は, 連続ベクトル空間への実体と関係の投影によるリンク予測のために, 集中的に研究されている。 現在の一般的な高次元KGE法は、膨大な計算とメモリコストを必要とするが、非常にわずかな性能向上が得られる。 高次元のKGEモデルとは対照的に、低次元モデルのトレーニングはより効率的であり、実用的なインテリジェントシステムへのより良い展開に価値がある。 しかし、知識グラフ(KG)における意味情報のモデル表現性は、低次元パラメータ空間において非常に限定的である。 本稿では,低次元空間におけるKGEモデル表現性を改善するための反復的自己意味的知識蒸留戦略を提案する。 提案手法と組み合わせたKGEモデルは、学習過程全体において、教師と学生の役割を代替的に果たす。 具体的には、あるイテレーションでは、モデルが教師と見なされ、生徒に意味的な情報を提供する。 次のイテレーションでは、モデルは教師から転送される意味情報を取り入れる学生とみなされる。 また,学習モデルの自己蒸留のための反復的意味情報を抽出するための新しい意味抽出ブロックを設計した。 反復的に、反復ベースの意味情報を取り込んで蓄積することで、低次元モデルは、kgsのリンク予測をよりよく表現できる。 トレーニング全体の間に1つのモデルしか存在せず、計算コストとメモリ要件の増加を緩和する。 さらに,提案手法はモデルに依存しず,他のKGEモデルとシームレスに組み合わせることができる。 4つの標準データセットにおける実験評価の一貫性と有意な性能向上は,提案する自己蒸留法の有効性を示す。

関連論文リスト

• DistiLLM: Towards Streamlined Distillation for Large Language Models [53.46759297929675]
  DistiLLMは自動回帰言語モデルのためのより効率的で効率的なKDフレームワークである。 DisiLLMは,(1)新しいスキューKulback-Leibler分散損失,(2)学生生成出力の効率向上を目的とした適応型オフ政治アプローチの2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2024-02-06T11:10:35Z)
• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Adversarial Robustness of Representation Learning for Knowledge Graphs [7.5765554531658665]
  この論文は、最先端の知識グラフ埋め込み(KGE)モデルはデータ中毒攻撃に対して脆弱であると主張している。 2つの新しいデータ中毒攻撃が提案され、トレーニング時に入力削除や追加を行い、推論時に学習したモデルの性能を逆転させる。 評価の結果、単純な攻撃は計算コストの高い攻撃と競合するか、上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2022-09-30T22:41:22Z)
• A Closer Look at Knowledge Distillation with Features, Logits, and Gradients [81.39206923719455]
  知識蒸留(KD)は、学習した知識をあるニューラルネットワークモデルから別のニューラルネットワークモデルに転送するための重要な戦略である。 この研究は、古典的なKL分割基準を異なる知識源で近似することで、一連の知識蒸留戦略を動機付ける新しい視点を提供する。 分析の結果,ロジットは一般的により効率的な知識源であり,十分な特徴次元を持つことがモデル設計に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2022-03-18T21:26:55Z)
• Swift and Sure: Hardness-aware Contrastive Learning for Low-dimensional Knowledge Graph Embeddings [20.693275018860287]
  我々は、Hardness-Aware Low-dimensional Embedding (HaLE)と呼ばれる新しいKGEトレーニングフレームワークを提案する。 限られた訓練時間において、HaLEはKGEモデルの性能と訓練速度を効果的に向上させることができる。 HaLE訓練モデルは、数分のトレーニング後に高い予測精度を得ることができ、最先端のモデルと比較して競争力がある。
  論文  参考訳（メタデータ） (2022-01-03T10:25:10Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Highly Efficient Knowledge Graph Embedding Learning with Orthogonal Procrustes Analysis [10.154836127889487]
  知識グラフ埋め込み(KGE)は、幅広いアプリケーションへの約束のために、近年集中的に研究されています。 本稿では, トレーニング時間と炭素フットプリントを桁違いに削減できる簡易かつ効果的なKGEフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-10T03:55:45Z)
• RelWalk A Latent Variable Model Approach to Knowledge Graph Embedding [50.010601631982425]
  本稿では,単語埋め込みのランダムウォークモデル(Arora et al., 2016a)を知識グラフ埋め込み(KGE)に拡張する。 二つの実体 h (head) と t (tail) の間の関係 R の強さを評価するスコア関数を導出する。 理論的解析によって動機付けられた学習目標を提案し,知識グラフからKGEを学習する。
  論文  参考訳（メタデータ） (2021-01-25T13:31:29Z)
• MulDE: Multi-teacher Knowledge Distillation for Low-dimensional Knowledge Graph Embeddings [22.159452429209463]
  知識グラフ埋め込み(KGE)に基づくリンク予測は、知識グラフ(KG)を自動的に構築する新しいトリプルを予測することを目的としている。 最近のKGEモデルは、埋め込み次元を過度に増加させることで、性能の向上を実現している。 我々は,教師として複数の低次元双曲KGEモデルと2つの学生コンポーネントを含む新しい知識蒸留フレームワークであるMulDEを提案する。
  論文  参考訳（メタデータ） (2020-10-14T15:09:27Z)
• Residual Knowledge Distillation [96.18815134719975]
  本研究は,アシスタント(A)を導入し,さらに知識を蒸留する残留知識蒸留(RKD)を提案する。 このように、S は T の特徴写像を模倣するように訓練され、A はそれらの間の残差を学習することでこの過程を支援する。 提案手法は,CIFAR-100 と ImageNet という,一般的な分類データセットにおいて魅力的な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-21T07:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。