論文の概要: Heterogeneous Federated Knowledge Graph Embedding Learning and Unlearning

• arxiv url: http://arxiv.org/abs/2302.02069v1
• Date: Sat, 4 Feb 2023 02:44:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 20:34:28.670738
• Title: Heterogeneous Federated Knowledge Graph Embedding Learning and Unlearning
• Title（参考訳）: 学習とアンラーニングを組み込んだヘテロジニアス連合知識グラフ
• Authors: Xiangrong Zhu and Guangyao Li and Wei Hu
• Abstract要約: Federated Learning(FL)は、生データを共有せずに分散クライアント間でグローバル機械学習モデルをトレーニングするパラダイムである。 ヘテロジニアスなKG埋め込み学習とアンラーニングのための新しいFLフレームワークであるFedLUを提案する。 我々は,FedLUがリンク予測と知識忘れの両方において優れた結果を得ることを示す。
• 参考スコア（独自算出の注目度）: 14.063276595895049
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) recently emerges as a paradigm to train a global machine learning model across distributed clients without sharing raw data. Knowledge Graph (KG) embedding represents KGs in a continuous vector space, serving as the backbone of many knowledge-driven applications. As a promising combination, federated KG embedding can fully take advantage of knowledge learned from different clients while preserving the privacy of local data. However, realistic problems such as data heterogeneity and knowledge forgetting still remain to be concerned. In this paper, we propose FedLU, a novel FL framework for heterogeneous KG embedding learning and unlearning. To cope with the drift between local optimization and global convergence caused by data heterogeneity, we propose mutual knowledge distillation to transfer local knowledge to global, and absorb global knowledge back. Moreover, we present an unlearning method based on cognitive neuroscience, which combines retroactive interference and passive decay to erase specific knowledge from local clients and propagate to the global model by reusing knowledge distillation. We construct new datasets for assessing realistic performance of the state-of-the-arts. Extensive experiments show that FedLU achieves superior results in both link prediction and knowledge forgetting.
• Abstract（参考訳）: Federated Learning(FL)は最近、生データを共有せずに分散クライアント間でグローバル機械学習モデルをトレーニングするパラダイムとして登場した。 知識グラフ(KG)埋め込みは、多くの知識駆動アプリケーションのバックボーンとして機能する連続ベクトル空間におけるKGを表す。 有望な組み合わせとして、フェデレーションkg埋め込みは、ローカルデータのプライバシーを保ちながら、異なるクライアントから学んだ知識を十分に活用することができる。 しかし、データの異質性や知識の忘れといった現実的な問題はいまだに残っている。 本稿では,不均一なKG埋め込み学習とアンラーニングのための新しいFLフレームワークであるFedLUを提案する。 データの不均一性による局所最適化とグローバル収束のドリフトに対処するため,局所的な知識をグローバルに伝達し,グローバルな知識を吸収する相互知識蒸留を提案する。 さらに, 遡及的干渉と受動的減衰を組み合わせた認知神経科学に基づく未学習手法を提案し, 知識蒸留を再利用して, 地域顧客からの特定の知識を消去し, グローバルモデルに伝播させる手法を提案する。 我々は最新技術の現実的な性能を評価するための新しいデータセットを構築する。 大規模な実験により、FedLUはリンク予測と知識忘れの両方において優れた結果が得られることが示された。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• KnFu: Effective Knowledge Fusion [5.305607095162403]
  フェデレートラーニング(FL)は、従来の集中型ラーニングのアプローチに代わる顕著な代替手段として登場した。 本稿では,各クライアントに対してセマンティックな隣人の効果的な知識を融合させるためのみに,局所モデルの知識を評価するEffective Knowledge Fusion(KnFu)アルゴリズムを提案する。 この研究の重要な結論は、大規模でヘテロジニアスなローカルデータセットを持つシナリオでは、知識融合ベースのソリューションよりも局所的なトレーニングが望ましい、ということである。
  論文  参考訳（メタデータ） (2024-03-18T15:49:48Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• Knowledge-Aware Federated Active Learning with Non-IID Data [75.98707107158175]
  本稿では,アノテーション予算に制限のあるグローバルモデルを効率的に学習するための,連合型アクティブラーニングパラダイムを提案する。 フェデレートされたアクティブラーニングが直面する主な課題は、サーバ上のグローバルモデルのアクティブサンプリング目標と、ローカルクライアントのアクティブサンプリング目標とのミスマッチである。 本稿では,KSAS (Knowledge-Aware Federated Active Learning) とKCFU (Knowledge-Compensatory Federated Update) を組み合わせた,知識対応型アクティブ・ラーニング(KAFAL)を提案する。
  論文  参考訳（メタデータ） (2022-11-24T13:08:43Z)
• Handling Data Heterogeneity in Federated Learning via Knowledge Distillation and Fusion [20.150635780778384]
  フェデレートラーニング(FL)は、中央サーバの助けを借りて、複数のデバイスにまたがるグローバル機械学習モデルの分散トレーニングをサポートする。 この問題に対処するため,我々はグローバルな知識融合方式でフェデレーション学習を設計する。 FedKFの主なアイデアは、サーバがグローバルな知識を返却して、各トレーニングラウンドにおけるローカルな知識と融合させることである。
  論文  参考訳（メタデータ） (2022-07-23T07:20:22Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Global Knowledge Distillation in Federated Learning [3.7311680121118345]
  本稿では,従来のグローバルモデルから知識を学習し,局所バイアス学習問題に対処する,新たなグローバル知識蒸留法であるFedGKDを提案する。 提案手法の有効性を示すため,各種CVデータセット(CIFAR-10/100)と設定(非i.dデータ)について広範な実験を行った。
  論文  参考訳（メタデータ） (2021-06-30T18:14:24Z)
• Preservation of the Global Knowledge by Not-True Self Knowledge Distillation in Federated Learning [8.474470736998136]
  フェデレートラーニング(FL)では、強力なグローバルモデルが、クライアントのローカルにトレーニングされたモデルを集約することによって、協調的に学習される。 偏りのある地域分布への適応は、その特徴をグローバルな分布にシフトさせ、グローバルな知識を忘れる結果をもたらすことを観察する。 本稿では, ローカルデータに対するグローバルな知識を活用した, 簡便かつ効果的なフェデレートローカル自己蒸留(FedLSD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-06T11:51:47Z)
• Data-Free Knowledge Distillation for Heterogeneous Federated Learning [31.364314540525218]
  Federated Learning(FL)は、グローバルサーバがデータにアクセスせずに、ローカルユーザのモデルパラメータを反復的に平均する分散機械学習パラダイムである。 知識蒸留(Knowledge Distillation)は、異種ユーザからの集約された知識を使用してサーバモデルを精錬することによって、この問題に対処するために最近登場した。 異種FLに対処するデータフリーな知識蒸留手法を提案し,サーバはユーザ情報をデータフリーでアンサンブルするための軽量なジェネレータを学習する。
  論文  参考訳（メタデータ） (2021-05-20T22:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。