Fugu-MT 論文翻訳(概要): Tackling the Local Bias in Federated Graph Learning

論文の概要: Tackling the Local Bias in Federated Graph Learning

arxiv url: http://arxiv.org/abs/2110.12906v2
Date: Mon, 12 Aug 2024 00:10:48 GMT
ステータス: 処理完了
システム内更新日: 2024-08-14 01:37:20.452257
Title: Tackling the Local Bias in Federated Graph Learning
Title（参考訳）: フェデレーショングラフ学習における局所バイアス処理
Authors: Binchi Zhang, Minnan Luo, Shangbin Feng, Ziqi Liu, Jun Zhou, Qinghua Zheng,
Abstract要約: フェデレーショングラフ学習(FGL)では、グローバルグラフは異なるクライアントに分散し、各クライアントがサブグラフを保持する。既存のFGL手法では、クロスクライアントエッジを効果的に活用できず、トレーニング中に構造情報が失われる。集中型環境で訓練されたモデルと類似した局所モデルを作成するための新しいFGLフレームワークを提案する。
参考スコア（独自算出の注目度）: 48.887310972708036
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated graph learning (FGL) has become an important research topic in response to the increasing scale and the distributed nature of graph-structured data in the real world. In FGL, a global graph is distributed across different clients, where each client holds a subgraph. Existing FGL methods often fail to effectively utilize cross-client edges, losing structural information during the training; additionally, local graphs often exhibit significant distribution divergence. These two issues make local models in FGL less desirable than in centralized graph learning, namely the local bias problem in this paper. To solve this problem, we propose a novel FGL framework to make the local models similar to the model trained in a centralized setting. Specifically, we design a distributed learning scheme, fully leveraging cross-client edges to aggregate information from other clients. In addition, we propose a label-guided sampling approach to alleviate the imbalanced local data and meanwhile, distinctly reduce the training overhead. Extensive experiments demonstrate that local bias can compromise the model performance and slow down the convergence during training. Experimental results also verify that our framework successfully mitigates local bias, achieving better performance than other baselines with lower time and memory overhead.
Abstract（参考訳）: FGL(Federated Graph Learning)は,実世界のグラフ構造化データのスケールと分散特性の増大に対応する重要な研究トピックとなっている。 FGLでは、グローバルグラフは異なるクライアントに分散され、各クライアントはサブグラフを保持する。既存のFGL法は、訓練中に構造情報をなくし、クロスクライアントエッジを効果的に活用できないことが多く、また、局所グラフは大きな分布のばらつきを示すことが多い。これら2つの問題により、FGLにおける局所モデルの方が、集中型グラフ学習よりも望ましい。そこで本研究では,FGLフレームワークを新たに提案し,一元的に学習したモデルに類似した局所モデルを作成する。具体的には、クライアント間のエッジを完全に活用して、他のクライアントからの情報を集約する分散学習方式を設計する。さらに、不均衡なローカルデータを緩和し、トレーニングのオーバーヘッドを著しく低減するラベル誘導サンプリング手法を提案する。大規模な実験では、局所バイアスがモデルのパフォーマンスを損なう可能性を示し、トレーニング中の収束を遅くする。実験の結果、我々のフレームワークは局所バイアスを軽減し、時間とメモリのオーバーヘッドが低い他のベースラインよりも優れたパフォーマンスを実現しています。

関連論文リスト

SpreadFGL: Edge-Client Collaborative Federated Graph Learning with Adaptive Neighbor Generation [16.599474223790843]
Federated Graph Learning (FGL)は、分類タスクのために複数のクライアントで協調的なトレーニングを可能にすることで、広く注目を集めている。本研究では,エッジ・クライアント・コラボレーションにおける情報フローの促進を目的とした新しいFGLフレームワークSpreadFGLを提案する。本研究では,SpreadFGLが最先端のアルゴリズムに対して精度が高く,より高速な収束を実現することを示す。
論文参考訳（メタデータ） (2024-07-14T09:34:19Z)
FedDistill: Global Model Distillation for Local Model De-Biasing in Non-IID Federated Learning [10.641875933652647]
フェデレートラーニング(FL)は、協調機械学習を可能にする新しいアプローチである。 FLは、クライアント間で均一に分散されていない(非ID)データのために、課題に直面します。本稿では,グローバルモデルからローカルモデルへの知識伝達を促進するフレームワークであるFedDistillを紹介する。
論文参考訳（メタデータ） (2024-04-14T10:23:30Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。提案手法は最先端手法に比べて平均精度が13%高い。
論文参考訳（メタデータ） (2023-11-14T14:37:33Z)
Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文参考訳（メタデータ） (2023-08-20T04:41:01Z)
SphereFed: Hyperspherical Federated Learning [22.81101040608304]
主な課題は、複数のクライアントにまたがる非i.i.d.データの処理である。非i.d.問題に対処するために,超球面フェデレートラーニング(SphereFed)フレームワークを導入する。ローカルデータに直接アクセスすることなく, キャリブレーションの解を効率的に, 分散的に計算できることを示す。
論文参考訳（メタデータ） (2022-07-19T17:13:06Z)
FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文参考訳（メタデータ） (2022-03-22T14:06:26Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Data Selection for Efficient Model Update in Federated Learning [0.07614628596146598]
本稿では,グローバルモデルのトレーニングに必要なローカルデータの量を削減することを提案する。本手法では, 局所データの特徴により敏感な部分と, 一般特徴抽出のための下位部分と, 上位部分とにモデルを分割する。実験の結果,クライアントデータの特徴をグローバルモデルに転送できる地域データは1%未満であることがわかった。
論文参考訳（メタデータ） (2021-11-05T14:07:06Z)
A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。