論文の概要: Low-Dimensional Federated Knowledge Graph Embedding via Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2408.05748v1
• Date: Sun, 11 Aug 2024 11:15:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 15:47:38.626505
• Title: Low-Dimensional Federated Knowledge Graph Embedding via Knowledge Distillation
• Title（参考訳）: 知識蒸留による低次元フェデレーション知識グラフの埋め込み
• Authors: Xiaoxiong Zhang, Zhiwei Zeng, Xin Zhou, Zhiqi Shen,
• Abstract要約: Federated Knowledge Graph Embedding (FKGE)は、分散知識グラフからのエンティティとリレーショナル埋め込みの協調学習を容易にすることを目的としている。 本稿では,FedKDと題された知識蒸留(KD)に基づく軽量なコンポーネントを提案する。
• 参考スコア（独自算出の注目度）: 8.282123002815805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Knowledge Graph Embedding (FKGE) aims to facilitate collaborative learning of entity and relation embeddings from distributed Knowledge Graphs (KGs) across multiple clients, while preserving data privacy. Training FKGE models with higher dimensions is typically favored due to their potential for achieving superior performance. However, high-dimensional embeddings present significant challenges in terms of storage resource and inference speed. Unlike traditional KG embedding methods, FKGE involves multiple client-server communication rounds, where communication efficiency is critical. Existing embedding compression methods for traditional KGs may not be directly applicable to FKGE as they often require multiple model trainings which potentially incur substantial communication costs. In this paper, we propose a light-weight component based on Knowledge Distillation (KD) which is titled FedKD and tailored specifically for FKGE methods. During client-side local training, FedKD facilitates the low-dimensional student model to mimic the score distribution of triples from the high-dimensional teacher model using KL divergence loss. Unlike traditional KD way, FedKD adaptively learns a temperature to scale the score of positive triples and separately adjusts the scores of corresponding negative triples using a predefined temperature, thereby mitigating teacher over-confidence issue. Furthermore, we dynamically adjust the weight of KD loss to optimize the training process. Extensive experiments on three datasets support the effectiveness of FedKD.
• Abstract（参考訳）: Federated Knowledge Graph Embedding (FKGE)は、複数のクライアント間で分散知識グラフ(KG)からエンティティとリレーショナルの埋め込みを協調的に学習し、データのプライバシを保存することを目的としている。 より高次元のFKGEモデルを訓練することは、通常、優れた性能を達成する可能性のために好まれる。 しかし、高次元埋め込みは、ストレージ資源と推論速度の点で大きな課題を呈している。 従来のKG埋め込み方式とは異なり、FKGEは複数のクライアントサーバ間通信ラウンドを伴い、通信効率が重要となる。 従来のKGの埋め込み圧縮手法は、FKGEには直接適用できない可能性がある。 本稿では,FedKDと題され,FKGE法に特化して最適化された,知識蒸留(KD)に基づく軽量コンポーネントを提案する。 クライアント側ローカルトレーニングにおいて、FedKDはKL分散損失を用いた高次元教師モデルから三重項のスコア分布を模倣する低次元学生モデルを促進する。 従来のKD法とは異なり、FedKDは正三重項のスコアを測る温度を適応的に学習し、予め定義された温度を用いて対応する負三重項のスコアを別々に調整し、教師の過信問題を緩和する。 さらに,KD損失の重み付けを動的に調整し,トレーニングプロセスを最適化する。 3つのデータセットに関する大規模な実験は、FedKDの有効性を支持する。

関連論文リスト

• Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
  本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。 翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
  論文  参考訳（メタデータ） (2024-10-15T06:51:25Z)
• Efficient and Robust Knowledge Distillation from A Stronger Teacher Based on Correlation Matching [0.09999629695552192]
  相関マッチング知識蒸留 (CMKD) 法は, ピアソンとスピアマンの相関係数に基づくKD損失を組み合わせ, より効率的で堅牢な蒸留を実現している。 CMKDはシンプルだが実用的であり、CIRAR-100とImageNetの最先端性能を継続的に達成できることを広範な実験で実証している。
  論文  参考訳（メタデータ） (2024-10-09T05:42:47Z)
• De-confounded Data-free Knowledge Distillation for Handling Distribution Shifts [32.1016787150064]
  Data-Free Knowledge Distillation (DFKD)は、従来のトレーニングデータに頼ることなく、実際のデプロイメントを強化するために、高性能な小型モデルをトレーニングする有望なタスクである。 既存の方法は、合成データやサンプルデータを利用することで、プライベートデータへの依存を避けるのが一般的である。 本稿では,このような変化の影響から学生モデルを遠ざけるために,因果推論を用いた新しい視点を提案する。
  論文  参考訳（メタデータ） (2024-03-28T16:13:22Z)
• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)
• Comparative Knowledge Distillation [102.35425896967791]
  伝統的な知識蒸留(KD)は、頻繁な推論のために教師モデルに容易にアクセスできることを前提としている。 本稿では,教師モデルにおけるサンプルの解釈の微妙な違いを学生モデルに理解させるための比較知識蒸留(CKD)を提案する。 CKDは、アートデータ拡張とKDテクニックの状態を一貫して上回る。
  論文  参考訳（メタデータ） (2023-11-03T21:55:33Z)
• Normalizing Flow-based Neural Process for Few-Shot Knowledge Graph Completion [69.55700751102376]
  FKGC (Few-shot Knowledge Graph completion) は、失明した事実を、無意味な関連のある事実で予測することを目的としている。 既存のFKGC手法はメートル法学習やメタラーニングに基づいており、しばしば分布外や過度に適合する問題に悩まされる。 本稿では,数ショット知識グラフ補完(NP-FKGC)のためのフローベースニューラルプロセスの正規化を提案する。
  論文  参考訳（メタデータ） (2023-04-17T11:42:28Z)
• Dealing With Heterogeneous 3D MR Knee Images: A Federated Few-Shot Learning Method With Dual Knowledge Distillation [39.40515099843844]
  フェデレーション学習は、データを集約することなく、クライアント間のトレーニングを可能にする。 臨床機関は、現地での研修に十分な教師付きデータを持っていない。 大企業は高解像度の画像とラベルでデータリポジトリをコンパイルするリソースを持っている。
  論文  参考訳（メタデータ） (2023-03-25T04:46:25Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。