論文の概要: DualDE: Dually Distilling Knowledge Graph Embedding for Faster and Cheaper Reasoning

• arxiv url: http://arxiv.org/abs/2009.05912v2
• Date: Mon, 13 Dec 2021 11:35:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 02:58:13.421936
• Title: DualDE: Dually Distilling Knowledge Graph Embedding for Faster and Cheaper Reasoning
• Title（参考訳）: DualDE: より高速で安易な推論のための知識グラフ埋め込みを二重蒸留
• Authors: Yushan Zhu (1), Wen Zhang (1), Mingyang Chen (1), Hui Chen (2), Xu Cheng (3), Wei Zhang (2), Huajun Chen (1) ((1) Zhejiang University, (2) Alibaba Group, (3) CETC Big Data Research Institute)
• Abstract要約: DualDEは、事前学習した高次元教師KGEから低次元の学生KGEを構築するための知識蒸留手法である。 実験の結果, 高次元KGEの埋め込みパラメータを7倍から15倍に低減できることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Graph Embedding (KGE) is a popular method for KG reasoning and training KGEs with higher dimension are usually preferred since they have better reasoning capability. However, high-dimensional KGEs pose huge challenges to storage and computing resources and are not suitable for resource-limited or time-constrained applications, for which faster and cheaper reasoning is necessary. To address this problem, we propose DualDE, a knowledge distillation method to build low-dimensional student KGE from pre-trained high-dimensional teacher KGE. DualDE considers the dual-influence between the teacher and the student. In DualDE, we propose a soft label evaluation mechanism to adaptively assign different soft label and hard label weights to different triples, and a two-stage distillation approach to improve the student's acceptance of the teacher. Our DualDE is general enough to be applied to various KGEs. Experimental results show that our method can successfully reduce the embedding parameters of a high-dimensional KGE by 7 times - 15 times and increase the inference speed by 2 times - 6 times while retaining a high performance. We also experimentally prove the effectiveness of our soft label evaluation mechanism and two-stage distillation approach via ablation study.
• Abstract（参考訳）: 知識グラフ埋め込み(KGE)は、KG推論の一般的な手法であり、より高次元のKGEを学習することが推奨される。 しかし、高次元のkgsはストレージや計算資源に大きな困難をもたらし、リソース制限や時間制約のあるアプリケーションには適していない。 そこで本研究では,高次元教師KGEから低次元の学生KGEを構築するための知識蒸留手法であるDualDEを提案する。 DualDEは教師と生徒の二重影響を考察する。 dualdeでは,異なるソフトラベルとハードラベルの重みを異なるトリプルに適応的に割り当てるソフトラベル評価機構と,生徒の教師の受け入れを改善するための2段階蒸留手法を提案する。 我々のDualDEは、様々なKGEに適用できるほど汎用的です。 実験の結果,高次元kgeの埋め込みパラメータを7倍～15倍に削減し,高い性能を維持しつつ推論速度を2倍～6倍向上させることができた。 また, 軟式ラベル評価機構と2段階蒸留法の有効性をアブレーション法を用いて実験的に検証した。

関連論文リスト

• Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems [13.437632008276552]
  知識蒸留(KD)は、大きなモデルをより小さく、より効率的なモデルに圧縮するための強力なアプローチである。 本稿では,Google内の複数の大規模パーソナライズされたビデオレコメンデーションシステム上で,堅牢なKDシステムを構築し,厳密に評価する。
  論文  参考訳（メタデータ） (2024-08-26T23:01:48Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• CES-KD: Curriculum-based Expert Selection for Guided Knowledge Distillation [4.182345120164705]
  本稿では,知識蒸留のためのカリキュラムエキスパート選択法(CES-KD)を提案する。 CES-KDは、階層化された教育カリキュラムを使用して学生ネットワークを徐々にガイドすべきという仮説に基づいている。 具体的には、画像の分類の難しさに起因したカリキュラムに基づいて、入力画像ごとに1人の教師を選択する段階的なTAベースのKD手法を提案する。
  論文  参考訳（メタデータ） (2022-09-15T21:02:57Z)
• Confidence-aware Self-Semantic Distillation on Knowledge Graph Embedding [20.49583906923656]
  信頼を意識した自己知識蒸留はモデル自体から学習し、KGEを低次元空間で強化する。 特定のセマンティックモジュールは、以前に学習した埋め込みの信頼度を推定することにより、信頼できる知識をフィルタリングする。
  論文  参考訳（メタデータ） (2022-06-07T01:49:22Z)
• Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
  本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。 各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2022-05-28T16:11:49Z)
• Aligning Logits Generatively for Principled Black-Box Knowledge Distillation [49.43567344782207]
  Black-Box Knowledge Distillation (B2KD)は、クラウドからエッジへのモデル圧縮において、サーバ上にホストされる見えないデータとモデルによって定式化された問題である。 民営化と蒸留による2段階のワークフローを形式化する。 そこで本研究では,ブラックボックスの煩雑なモデルを軽量に蒸留するKD (MEKD) を新たに提案する。
  論文  参考訳（メタデータ） (2022-05-21T02:38:16Z)
• ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self On-the-fly Distillation for Dense Passage Retrieval [54.54667085792404]
  両エンコーダのクロスアーキテクチャ蒸留を著しく向上させる新しい蒸留法を提案する。 本手法は,バニラ二重エンコーダへの遅延相互作用(ColBERT)を効果的に蒸留できる自己オンザフライ蒸留法を導入し,また,クロスエンコーダの教師による性能向上のためにカスケード蒸留プロセスを導入している。
  論文  参考訳（メタデータ） (2022-05-18T18:05:13Z)
• Marginal Utility Diminishes: Exploring the Minimum Knowledge for BERT Knowledge Distillation [32.86590800885039]
  そこで本研究では, BERT を圧縮する KD パラダイムを提案する。 2種類の学生モデルとコンピュータデバイスに対して、提案されたKDパラダイムは2.7x3.4xのトレーニングスピードアップをもたらす。
  論文  参考訳（メタデータ） (2021-06-10T12:21:47Z)
• Distilling Dense Representations for Ranking using Tightly-Coupled Teachers [52.85472936277762]
  我々は最近提案された後期相互作用ColBERTモデルを改善するために知識蒸留を適用した。 ColBERT の表現型 MaxSim 演算子から知識を抽出し、関連度スコアを単純な点積に変換する。 提案手法はクエリ待ち時間を改善し,ColBERTの面倒なストレージ要件を大幅に削減する。
  論文  参考訳（メタデータ） (2020-10-22T02:26:01Z)
• MulDE: Multi-teacher Knowledge Distillation for Low-dimensional Knowledge Graph Embeddings [22.159452429209463]
  知識グラフ埋め込み(KGE)に基づくリンク予測は、知識グラフ(KG)を自動的に構築する新しいトリプルを予測することを目的としている。 最近のKGEモデルは、埋め込み次元を過度に増加させることで、性能の向上を実現している。 我々は,教師として複数の低次元双曲KGEモデルと2つの学生コンポーネントを含む新しい知識蒸留フレームワークであるMulDEを提案する。
  論文  参考訳（メタデータ） (2020-10-14T15:09:27Z)
• MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down Distillation [153.56211546576978]
  本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。 このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。 実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
  論文  参考訳（メタデータ） (2020-08-27T13:04:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。