論文の概要: Communication-Efficient Federated Knowledge Graph Embedding with Entity-Wise Top-K Sparsification
- arxiv url: http://arxiv.org/abs/2406.13225v1
- Date: Wed, 19 Jun 2024 05:26:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 23:09:15.529165
- Title: Communication-Efficient Federated Knowledge Graph Embedding with Entity-Wise Top-K Sparsification
- Title（参考訳）: Entity-Wise Top-K Sparsificationを組み込んだコミュニケーション効率の良いフェデレーション知識グラフ
- Authors: Xiaoxiong Zhang, Zhiwei Zeng, Xin Zhou, Dusit Niyato, Zhiqi Shen,
- Abstract要約: Federated Knowledge Graphs Embedding Learning (FKGE)は、パラメータのかなりのサイズと広範なコミュニケーションラウンドから生じるコミュニケーション効率の課題に直面する。
本稿では,Entity-Wise Top-K Sparsification 戦略に基づく双方向通信効率のFedSを提案する。
- 参考スコア（独自算出の注目度）: 49.66272783945571
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Knowledge Graphs Embedding learning (FKGE) encounters challenges in communication efficiency stemming from the considerable size of parameters and extensive communication rounds. However, existing FKGE methods only focus on reducing communication rounds by conducting multiple rounds of local training in each communication round, and ignore reducing the size of parameters transmitted within each communication round. To tackle the problem, we first find that universal reduction in embedding precision across all entities during compression can significantly impede convergence speed, underscoring the importance of maintaining embedding precision. We then propose bidirectional communication-efficient FedS based on Entity-Wise Top-K Sparsification strategy. During upload, clients dynamically identify and upload only the Top-K entity embeddings with the greater changes to the server. During download, the server first performs personalized embedding aggregation for each client. It then identifies and transmits the Top-K aggregated embeddings to each client. Besides, an Intermittent Synchronization Mechanism is used by FedS to mitigate negative effect of embedding inconsistency among shared entities of clients caused by heterogeneity of Federated Knowledge Graph. Extensive experiments across three datasets showcase that FedS significantly enhances communication efficiency with negligible (even no) performance degradation.
- Abstract（参考訳）: Federated Knowledge Graphs Embedding Learning (FKGE)は、パラメータのかなりのサイズと広範なコミュニケーションラウンドから生じるコミュニケーション効率の課題に直面する。
しかし、既存のFKGE法では、各通信ラウンドで複数のローカルトレーニングを実施すれば、通信ラウンドの削減にのみ焦点が当てられており、各通信ラウンド内で送信されるパラメータの削減は無視されている。
この問題に対処するために、まず、圧縮中のすべてのエンティティにまたがる埋め込み精度の普遍的低減が収束速度を著しく損なうことを発見し、埋め込み精度を維持することの重要性を浮き彫りにした。
次に、Entity-Wise Top-K Sparsification戦略に基づく双方向通信効率のFedSを提案する。
アップロード中、クライアントはTop-Kエンティティの埋め込みのみを動的に識別し、アップロードし、サーバに大きな変更を加える。
ダウンロード中、サーバはまず各クライアントに対してパーソナライズされた埋め込みアグリゲーションを実行する。
その後、Top-Kアグリゲートされた埋め込みを識別し、各クライアントに送信する。
さらに、フェデレート知識グラフの不均一性に起因するクライアントの共有エンティティ間での不整合を埋め込むことによる負の効果を軽減するために、間欠同期機構がFedSによって使用される。
3つのデータセットにわたる大規模な実験により、FedSは無視可能な(あるいはまったく)パフォーマンス劣化を伴う通信効率を大幅に向上させることを示した。
関連論文リスト
- Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳（メタデータ） (2024-10-09T06:17:16Z) - Bandwidth-Aware and Overlap-Weighted Compression for Communication-Efficient Federated Learning [29.727339562140653]
フェデレーション平均化(FedAvg)におけるスパシフィケーションなどの現在のデータ圧縮手法は、フェデレーション学習(FL)のコミュニケーション効率を効果的に向上させる。
これらの手法は、異種帯域幅と非IIDデータによるストラグラー問題やモデル性能の低下といった課題に直面する。
非IIDデータに関連する問題を軽減しつつ,通信効率の向上を目的としたFLのための帯域幅対応圧縮フレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-27T02:28:27Z) - FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [56.21666819468249]
フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。
我々は,emphScaffnewに実用的で効果的な圧縮を統合し,通信効率を向上するFedComLocを紹介した。
論文 参考訳（メタデータ） (2024-03-14T22:29:59Z) - Communication-Efficient Personalized Federated Learning for
Speech-to-Text Tasks [66.78640306687227]
プライバシー保護と法的規制を満たすために、連邦学習(FL)は、音声テキスト(S2T)システムのトレーニングにおいて大きな注目を集めている。
S2Tタスクで一般的に使用されるFLアプローチ(textscFedAvg)は、通常、広範な通信オーバーヘッドに悩まされる。
我々は、クライアント側チューニングとサーバとのインタラクションのための軽量なLoRAモジュールであるtextscFedLoRA と、$k$-near を備えたグローバルモデルである textscFedMem を導入したパーソナライズされたS2Tフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-18T15:39:38Z) - FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated
Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。
効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文 参考訳（メタデータ） (2022-10-14T08:11:34Z) - FedGCN: Convergence-Communication Tradeoffs in Federated Training of
Graph Convolutional Networks [14.824579000821272]
我々はフェデレートグラフ畳み込みネットワーク(FedGCN)アルゴリズムを導入し、フェデレーション学習を用いてGCNモデルを訓練し、半教師付きノード分類を行う。
各トレーニングラウンドでクライアント間の余分な通信を必要とする従来の方法と比較して、FedGCNクライアントはトレーニング前の1ステップで中央サーバとのみ通信する。
実験の結果,FedGCNアルゴリズムは平均収束率51.7%,通信速度100倍の精度でモデル精度が向上した。
論文 参考訳（メタデータ） (2022-01-28T21:39:16Z) - Decentralized Federated Averaging [17.63112147669365]
Federated Averaging (FedAvg) は、膨大な数のクライアントを持つ分散トレーニングのための通信効率のよいアルゴリズムである。
我々は,非方向性グラフで接続されたクライアントに実装された運動量付き分散FedAvg(DFedAvgM)について検討する。
論文 参考訳（メタデータ） (2021-04-23T02:01:30Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳（メタデータ） (2020-12-07T21:05:31Z) - Distributed Sparse SGD with Majority Voting [5.32836690371986]
分散学習のための分散コミュニケーション戦略として,多数決に基づく疎間コミュニケーション戦略を導入する。
テスト精度を損なうことなく,最大x4000圧縮を達成可能であることを示す。
論文 参考訳（メタデータ） (2020-11-12T17:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。