論文の概要: Improving Knowledge Graph Embedding via Iterative Self-Semantic
Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2206.02963v1
- Date: Tue, 7 Jun 2022 01:49:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-08 13:49:02.014383
- Title: Improving Knowledge Graph Embedding via Iterative Self-Semantic
Knowledge Distillation
- Title(参考訳): 反復的自己意味的知識蒸留による知識グラフ埋め込みの改善
- Authors: Zhehui Zhou, Defang Chen, Can Wang, Yan Feng and Chun Chen
- Abstract要約: 知識グラフ埋め込み (KGE) は, 連続ベクトル空間への実体と関係の投影によるリンク予測のために, 集中的に研究されている。
現在の一般的な高次元KGE法は、膨大な計算とメモリコストを必要とするが、非常にわずかな性能向上が得られる。
低次元空間におけるKGEモデル表現性を改善するための自己意味的知識蒸留戦略を提案する。
- 参考スコア(独自算出の注目度): 21.635448800039118
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge graph embedding (KGE) has been intensively investigated for link
prediction by projecting entities and relations into continuous vector spaces.
Current popular high-dimensional KGE methods obtain quite slight performance
gains while require enormous computation and memory costs. In contrast to
high-dimensional KGE models, training low-dimensional models is more efficient
and worthwhile for better deployments to practical intelligent systems.
However, the model expressiveness of semantic information in knowledge graphs
(KGs) is highly limited in the low dimension parameter space. In this paper, we
propose iterative self-semantic knowledge distillation strategy to improve the
KGE model expressiveness in the low dimension space. KGE model combined with
our proposed strategy plays the teacher and student roles alternatively during
the whole training process. Specifically, at a certain iteration, the model is
regarded as a teacher to provide semantic information for the student. At next
iteration, the model is regard as a student to incorporate the semantic
information transferred from the teacher. We also design a novel semantic
extraction block to extract iteration-based semantic information for the
training model self-distillation. Iteratively incorporating and accumulating
iteration-based semantic information enables the low-dimensional model to be
more expressive for better link prediction in KGs. There is only one model
during the whole training, which alleviates the increase of computational
expensiveness and memory requirements. Furthermore, the proposed strategy is
model-agnostic and can be seamlessly combined with other KGE models. Consistent
and significant performance gains in experimental evaluations on four standard
datasets demonstrate the effectiveness of the proposed self-distillation
strategy.
- Abstract(参考訳): 知識グラフ埋め込み (KGE) は, 連続ベクトル空間への実体と関係の投影によるリンク予測のために, 集中的に研究されている。
現在の一般的な高次元KGE法は、膨大な計算とメモリコストを必要とするが、非常にわずかな性能向上が得られる。
高次元のKGEモデルとは対照的に、低次元モデルのトレーニングはより効率的であり、実用的なインテリジェントシステムへのより良い展開に価値がある。
しかし、知識グラフ(KG)における意味情報のモデル表現性は、低次元パラメータ空間において非常に限定的である。
本稿では,低次元空間におけるKGEモデル表現性を改善するための反復的自己意味的知識蒸留戦略を提案する。
提案手法と組み合わせたKGEモデルは、学習過程全体において、教師と学生の役割を代替的に果たす。
具体的には、あるイテレーションでは、モデルが教師と見なされ、生徒に意味的な情報を提供する。
次のイテレーションでは、モデルは教師から転送される意味情報を取り入れる学生とみなされる。
また,学習モデルの自己蒸留のための反復的意味情報を抽出するための新しい意味抽出ブロックを設計した。
反復的に、反復ベースの意味情報を取り込んで蓄積することで、低次元モデルは、kgsのリンク予測をよりよく表現できる。
トレーニング全体の間に1つのモデルしか存在せず、計算コストとメモリ要件の増加を緩和する。
さらに,提案手法はモデルに依存しず,他のKGEモデルとシームレスに組み合わせることができる。
4つの標準データセットにおける実験評価の一貫性と有意な性能向上は,提案する自己蒸留法の有効性を示す。
関連論文リスト
- A Comprehensive Study on Knowledge Graph Embedding over Relational
Patterns Based on Rule Learning [49.09125100268454]
KGE(Knowledge Graph Embedding)は、KGC(Knowledge Completion Graph)タスクを解決するための効果的なアプローチであることが証明されている。
関係パターンはKGEモデルの性能において重要な要素である。
我々は,KGEモデルの性能を様々な関係パターン上で向上させるトレーニングフリー手法を提案する。
論文 参考訳(メタデータ) (2023-08-15T17:30:57Z) - Schema First! Learn Versatile Knowledge Graph Embeddings by Capturing
Semantics with MASCHInE [3.174882428337821]
近年,知識グラフ埋め込みモデル (KGEMs) が注目されている。
本研究では,RDF/S情報を活用するKGの小型改良版であるプロトグラフを設計する。
学習されたプロトグラフベースの埋め込みは、KGのセマンティクスをカプセル化することを目的としており、KGEの学習に利用することができる。
論文 参考訳(メタデータ) (2023-06-06T13:22:54Z) - Scaling Pre-trained Language Models to Deeper via Parameter-efficient
Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。
MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。
私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文 参考訳(メタデータ) (2023-03-27T02:34:09Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95~97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳(メタデータ) (2023-01-27T22:04:37Z) - Distilling Knowledge from Self-Supervised Teacher by Embedding Graph
Alignment [52.704331909850026]
我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。
自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。
蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
論文 参考訳(メタデータ) (2022-11-23T19:27:48Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳(メタデータ) (2022-11-21T03:09:42Z) - Knowledge Distillation with Representative Teacher Keys Based on
Attention Mechanism for Image Classification Model Compression [1.503974529275767]
知識蒸留(KD)はモデルパラメータを減らすためのモデル圧縮の効果的な方法の1つとして認識されている。
注意機構にヒントを得て,代表教師キー(RTK)と呼ばれる新しいKD手法を提案する。
提案するRTKは,最先端の注意に基づくKD手法の分類精度を効果的に向上させることができる。
論文 参考訳(メタデータ) (2022-06-26T05:08:50Z) - Feeding What You Need by Understanding What You Learned [54.400455868448695]
Machine Reading (MRC)は、与えられたテキストパスを理解し、それに基づいて質問に答える機能を明らかにする。
MRCの既存の研究は、Exact Matchのようなメトリクスによって評価されたパフォーマンスを改善するために、大規模なモデルとコーパスに大きく依存している。
モデル機能とデータ特性の深い理解は、適切なトレーニングデータでモデルをフィードするのに役立ちます。
論文 参考訳(メタデータ) (2022-03-05T14:15:59Z) - Swift and Sure: Hardness-aware Contrastive Learning for Low-dimensional
Knowledge Graph Embeddings [20.693275018860287]
我々は、Hardness-Aware Low-dimensional Embedding (HaLE)と呼ばれる新しいKGEトレーニングフレームワークを提案する。
限られた訓練時間において、HaLEはKGEモデルの性能と訓練速度を効果的に向上させることができる。
HaLE訓練モデルは、数分のトレーニング後に高い予測精度を得ることができ、最先端のモデルと比較して競争力がある。
論文 参考訳(メタデータ) (2022-01-03T10:25:10Z) - Self-Feature Regularization: Self-Feature Distillation Without Teacher
Models [0.0]
浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。
まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
論文 参考訳(メタデータ) (2021-03-12T15:29:00Z) - MulDE: Multi-teacher Knowledge Distillation for Low-dimensional
Knowledge Graph Embeddings [22.159452429209463]
知識グラフ埋め込み(KGE)に基づくリンク予測は、知識グラフ(KG)を自動的に構築する新しいトリプルを予測することを目的としている。
最近のKGEモデルは、埋め込み次元を過度に増加させることで、性能の向上を実現している。
我々は,教師として複数の低次元双曲KGEモデルと2つの学生コンポーネントを含む新しい知識蒸留フレームワークであるMulDEを提案する。
論文 参考訳(メタデータ) (2020-10-14T15:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。