論文の概要: MulDE: Multi-teacher Knowledge Distillation for Low-dimensional
Knowledge Graph Embeddings
- arxiv url: http://arxiv.org/abs/2010.07152v4
- Date: Thu, 1 Apr 2021 08:09:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 12:17:47.418356
- Title: MulDE: Multi-teacher Knowledge Distillation for Low-dimensional
Knowledge Graph Embeddings
- Title(参考訳): MulDE:低次元知識グラフ埋め込みのためのマルチ教師知識蒸留
- Authors: Kai Wang, Yu Liu, Qian Ma, Quan Z. Sheng
- Abstract要約: 知識グラフ埋め込み(KGE)に基づくリンク予測は、知識グラフ(KG)を自動的に構築する新しいトリプルを予測することを目的としている。
最近のKGEモデルは、埋め込み次元を過度に増加させることで、性能の向上を実現している。
我々は,教師として複数の低次元双曲KGEモデルと2つの学生コンポーネントを含む新しい知識蒸留フレームワークであるMulDEを提案する。
- 参考スコア(独自算出の注目度): 22.159452429209463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Link prediction based on knowledge graph embeddings (KGE) aims to predict new
triples to automatically construct knowledge graphs (KGs). However, recent KGE
models achieve performance improvements by excessively increasing the embedding
dimensions, which may cause enormous training costs and require more storage
space. In this paper, instead of training high-dimensional models, we propose
MulDE, a novel knowledge distillation framework, which includes multiple
low-dimensional hyperbolic KGE models as teachers and two student components,
namely Junior and Senior. Under a novel iterative distillation strategy, the
Junior component, a low-dimensional KGE model, asks teachers actively based on
its preliminary prediction results, and the Senior component integrates
teachers' knowledge adaptively to train the Junior component based on two
mechanisms: relation-specific scaling and contrast attention. The experimental
results show that MulDE can effectively improve the performance and training
speed of low-dimensional KGE models. The distilled 32-dimensional model is
competitive compared to the state-of-the-art high-dimensional methods on
several widely-used datasets.
- Abstract(参考訳): 知識グラフ埋め込み(KGE)に基づくリンク予測は、知識グラフ(KG)を自動的に構築する新しいトリプルを予測することを目的としている。
しかし、最近のKGEモデルでは、埋め込み寸法を過度に増やすことで、トレーニングコストが大幅に増加し、より多くのストレージスペースが必要になる可能性がある。
本稿では,高次元モデルをトレーニングする代わりに,教師として複数の低次元双曲KGEモデルと,中学校とシニアという2つの学生コンポーネントを含む新しい知識蒸留フレームワークであるMulDEを提案する。
新たな反復蒸留戦略の下で,低次元KGEモデルであるジュニアコンポーネントは,事前予測結果に基づいて教師に積極的に質問し,シニアコンポーネントは教師の知識を適応的に統合し,関係性特化スケーリングとコントラスト注意という2つのメカニズムに基づいてジュニアコンポーネントを訓練する。
実験の結果,MulDEは低次元KGEモデルの性能と訓練速度を効果的に向上できることが示された。
蒸留32次元モデルは、いくつかの広く使われているデータセットの最先端の高次元法と比較して競合する。
関連論文リスト
- Block-Diagonal Orthogonal Relation and Matrix Entity for Knowledge Graph
Embedding [6.453850986936394]
知識グラフ埋め込み (KGE) は、実体の低次元表現と、行方不明な事実を予測するための関係を学習することである。
我々は,エンティティの行列と関係のブロック対角行列を用いた新しいKGEモデルOrthogonalEを紹介する。
実験結果から,我々の新しいKGEモデルOrthogonalEは汎用的かつ柔軟であり,最先端のKGEモデルよりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2024-01-11T15:13:00Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95~97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳(メタデータ) (2023-01-27T22:04:37Z) - Distilling Knowledge from Self-Supervised Teacher by Embedding Graph
Alignment [52.704331909850026]
我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。
自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。
蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
論文 参考訳(メタデータ) (2022-11-23T19:27:48Z) - DGEKT: A Dual Graph Ensemble Learning Method for Knowledge Tracing [20.71423236895509]
知識追跡のための新しいデュアルグラフアンサンブル学習法(DGEKT)を提案する。
DGEKTは、学生の学習相互作用の二重グラフ構造を確立し、不均一な運動概念の関連を捉える。
オンライン知識蒸留は、より優れたモデリング能力のための追加の監督として、すべての訓練に関する予測を提供する。
論文 参考訳(メタデータ) (2022-11-23T11:37:35Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳(メタデータ) (2022-11-21T03:09:42Z) - Improving Knowledge Graph Embedding via Iterative Self-Semantic
Knowledge Distillation [21.635448800039118]
知識グラフ埋め込み (KGE) は, 連続ベクトル空間への実体と関係の投影によるリンク予測のために, 集中的に研究されている。
現在の一般的な高次元KGE法は、膨大な計算とメモリコストを必要とするが、非常にわずかな性能向上が得られる。
低次元空間におけるKGEモデル表現性を改善するための自己意味的知識蒸留戦略を提案する。
論文 参考訳(メタデータ) (2022-06-07T01:49:22Z) - Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。
具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。
我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2022-05-08T08:19:40Z) - Swift and Sure: Hardness-aware Contrastive Learning for Low-dimensional
Knowledge Graph Embeddings [20.693275018860287]
我々は、Hardness-Aware Low-dimensional Embedding (HaLE)と呼ばれる新しいKGEトレーニングフレームワークを提案する。
限られた訓練時間において、HaLEはKGEモデルの性能と訓練速度を効果的に向上させることができる。
HaLE訓練モデルは、数分のトレーニング後に高い予測精度を得ることができ、最先端のモデルと比較して競争力がある。
論文 参考訳(メタデータ) (2022-01-03T10:25:10Z) - Highly Efficient Knowledge Graph Embedding Learning with Orthogonal
Procrustes Analysis [10.154836127889487]
知識グラフ埋め込み(KGE)は、幅広いアプリケーションへの約束のために、近年集中的に研究されています。
本稿では, トレーニング時間と炭素フットプリントを桁違いに削減できる簡易かつ効果的なKGEフレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-10T03:55:45Z) - RelWalk A Latent Variable Model Approach to Knowledge Graph Embedding [50.010601631982425]
本稿では,単語埋め込みのランダムウォークモデル(Arora et al., 2016a)を知識グラフ埋め込み(KGE)に拡張する。
二つの実体 h (head) と t (tail) の間の関係 R の強さを評価するスコア関数を導出する。
理論的解析によって動機付けられた学習目標を提案し,知識グラフからKGEを学習する。
論文 参考訳(メタデータ) (2021-01-25T13:31:29Z) - Dynamic Memory Induction Networks for Few-Shot Text Classification [84.88381813651971]
本稿では,テキスト分類のための動的メモリ誘導ネットワーク(DMIN)を提案する。
提案したモデルでは, miniRCV1 と ODIC データセット上での新たな最先端結果を実現し,最高の性能(精度)を24%向上させる。
論文 参考訳(メタデータ) (2020-05-12T12:41:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。