論文の概要: MulDE: Multi-teacher Knowledge Distillation for Low-dimensional Knowledge Graph Embeddings

• arxiv url: http://arxiv.org/abs/2010.07152v4
• Date: Thu, 1 Apr 2021 08:09:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 12:17:47.418356
• Title: MulDE: Multi-teacher Knowledge Distillation for Low-dimensional Knowledge Graph Embeddings
• Title（参考訳）: MulDE:低次元知識グラフ埋め込みのためのマルチ教師知識蒸留
• Authors: Kai Wang, Yu Liu, Qian Ma, Quan Z. Sheng
• Abstract要約: 知識グラフ埋め込み(KGE)に基づくリンク予測は、知識グラフ(KG)を自動的に構築する新しいトリプルを予測することを目的としている。 最近のKGEモデルは、埋め込み次元を過度に増加させることで、性能の向上を実現している。 我々は,教師として複数の低次元双曲KGEモデルと2つの学生コンポーネントを含む新しい知識蒸留フレームワークであるMulDEを提案する。
• 参考スコア（独自算出の注目度）: 22.159452429209463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Link prediction based on knowledge graph embeddings (KGE) aims to predict new triples to automatically construct knowledge graphs (KGs). However, recent KGE models achieve performance improvements by excessively increasing the embedding dimensions, which may cause enormous training costs and require more storage space. In this paper, instead of training high-dimensional models, we propose MulDE, a novel knowledge distillation framework, which includes multiple low-dimensional hyperbolic KGE models as teachers and two student components, namely Junior and Senior. Under a novel iterative distillation strategy, the Junior component, a low-dimensional KGE model, asks teachers actively based on its preliminary prediction results, and the Senior component integrates teachers' knowledge adaptively to train the Junior component based on two mechanisms: relation-specific scaling and contrast attention. The experimental results show that MulDE can effectively improve the performance and training speed of low-dimensional KGE models. The distilled 32-dimensional model is competitive compared to the state-of-the-art high-dimensional methods on several widely-used datasets.
• Abstract（参考訳）: 知識グラフ埋め込み(KGE)に基づくリンク予測は、知識グラフ(KG)を自動的に構築する新しいトリプルを予測することを目的としている。 しかし、最近のKGEモデルでは、埋め込み寸法を過度に増やすことで、トレーニングコストが大幅に増加し、より多くのストレージスペースが必要になる可能性がある。 本稿では,高次元モデルをトレーニングする代わりに,教師として複数の低次元双曲KGEモデルと,中学校とシニアという2つの学生コンポーネントを含む新しい知識蒸留フレームワークであるMulDEを提案する。 新たな反復蒸留戦略の下で,低次元KGEモデルであるジュニアコンポーネントは,事前予測結果に基づいて教師に積極的に質問し,シニアコンポーネントは教師の知識を適応的に統合し,関係性特化スケーリングとコントラスト注意という2つのメカニズムに基づいてジュニアコンポーネントを訓練する。 実験の結果,MulDEは低次元KGEモデルの性能と訓練速度を効果的に向上できることが示された。 蒸留32次元モデルは、いくつかの広く使われているデータセットの最先端の高次元法と比較して競合する。

関連論文リスト

• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• CL4KGE: A Curriculum Learning Method for Knowledge Graph Embedding [36.47838597326351]
  知識グラフにおける3つの学習の難易度を測定するために、計量Zカウントを定義する。 この指標に基づいて,効率的なtextbfCurriculum textbfLearningに基づくトレーニング戦略である textbfCL4KGE を提案する。
  論文  参考訳（メタデータ） (2024-08-27T07:51:26Z)
• Low-Dimensional Federated Knowledge Graph Embedding via Knowledge Distillation [8.282123002815805]
  Federated Knowledge Graph Embedding (FKGE)は、分散知識グラフからのエンティティとリレーショナル埋め込みの協調学習を容易にすることを目的としている。 本稿では,FedKDと題された知識蒸留(KD)に基づく軽量なコンポーネントを提案する。
  論文  参考訳（メタデータ） (2024-08-11T11:15:41Z)
• Croppable Knowledge Graph Embedding [34.154096023765916]
  知識グラフ埋め込み(英: Knowledge Graph Embedding、略称:KGE)は、知識グラフ(英: Knowledge Graphs、略称:KG)の一般的な手法である。 新しい次元が必要になったら、新しいKGEモデルをゼロからトレーニングする必要があります。 複数のシナリオに適用可能なKGEモデルを一度トレーニングできる新しいKGEトレーニングフレームワークMEDを提案する。
  論文  参考訳（メタデータ） (2024-07-03T03:10:25Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment [52.704331909850026]
  我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。 自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。 蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
  論文  参考訳（メタデータ） (2022-11-23T19:27:48Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Confidence-aware Self-Semantic Distillation on Knowledge Graph Embedding [20.49583906923656]
  信頼を意識した自己知識蒸留はモデル自体から学習し、KGEを低次元空間で強化する。 特定のセマンティックモジュールは、以前に学習した埋め込みの信頼度を推定することにより、信頼できる知識をフィルタリングする。
  論文  参考訳（メタデータ） (2022-06-07T01:49:22Z)
• Swift and Sure: Hardness-aware Contrastive Learning for Low-dimensional Knowledge Graph Embeddings [20.693275018860287]
  我々は、Hardness-Aware Low-dimensional Embedding (HaLE)と呼ばれる新しいKGEトレーニングフレームワークを提案する。 限られた訓練時間において、HaLEはKGEモデルの性能と訓練速度を効果的に向上させることができる。 HaLE訓練モデルは、数分のトレーニング後に高い予測精度を得ることができ、最先端のモデルと比較して競争力がある。
  論文  参考訳（メタデータ） (2022-01-03T10:25:10Z)
• RelWalk A Latent Variable Model Approach to Knowledge Graph Embedding [50.010601631982425]
  本稿では,単語埋め込みのランダムウォークモデル(Arora et al., 2016a)を知識グラフ埋め込み(KGE)に拡張する。 二つの実体 h (head) と t (tail) の間の関係 R の強さを評価するスコア関数を導出する。 理論的解析によって動機付けられた学習目標を提案し,知識グラフからKGEを学習する。
  論文  参考訳（メタデータ） (2021-01-25T13:31:29Z)
• Dynamic Memory Induction Networks for Few-Shot Text Classification [84.88381813651971]
  本稿では,テキスト分類のための動的メモリ誘導ネットワーク(DMIN)を提案する。 提案したモデルでは, miniRCV1 と ODIC データセット上での新たな最先端結果を実現し,最高の性能(精度)を24%向上させる。
  論文  参考訳（メタデータ） (2020-05-12T12:41:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。