Fugu-MT 論文翻訳(概要): Lazy But Effective: Collaborative Personalized Federated Learning with Heterogeneous Data

論文の概要: Lazy But Effective: Collaborative Personalized Federated Learning with Heterogeneous Data

arxiv url: http://arxiv.org/abs/2505.02540v1
Date: Mon, 05 May 2025 10:26:35 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-06 18:49:35.650025
Title: Lazy But Effective: Collaborative Personalized Federated Learning with Heterogeneous Data
Title（参考訳）: 怠慢だが効果的:不均一データを用いた協調的個人化フェデレーション学習
Authors: Ljubomir Rokvic, Panayiotis Danassis, Boi Faltings,
Abstract要約: フェデレートラーニング(Federated Learning)では、単一のグローバルモデルが個々のクライアントにとって最高のパフォーマンスを持っていない。本稿では,計算効率のよい影響近似を用いたパーソナライズド・フェデレーション・ラーニング・フレームワーク(pFedLIA)を提案する。提案手法は, 合成および実世界の様々な環境における非IID-Lazynessにより, グローバルモデルの性能低下を回復することに成功した。
参考スコア（独自算出の注目度）: 15.15596911693489
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In Federated Learning, heterogeneity in client data distributions often means that a single global model does not have the best performance for individual clients. Consider for example training a next-word prediction model for keyboards: user-specific language patterns due to demographics (dialect, age, etc.), language proficiency, and writing style result in a highly non-IID dataset across clients. Other examples are medical images taken with different machines, or driving data from different vehicle types. To address this, we propose a simple yet effective personalized federated learning framework (pFedLIA) that utilizes a computationally efficient influence approximation, called `Lazy Influence', to cluster clients in a distributed manner before model aggregation. Within each cluster, data owners collaborate to jointly train a model that captures the specific data patterns of the clients. Our method has been shown to successfully recover the global model's performance drop due to the non-IID-ness in various synthetic and real-world settings, specifically a next-word prediction task on the Nordic languages as well as several benchmark tasks. It matches the performance of a hypothetical Oracle clustering, and significantly improves on existing baselines, e.g., an improvement of 17% on CIFAR100.
Abstract（参考訳）: フェデレートラーニング(Federated Learning)では、クライアントデータ分散の不均一性は、単一のグローバルモデルが個々のクライアントにとって最高のパフォーマンスを持っていないことを意味することが多い。例えば、キーボードの次の単語予測モデルをトレーニングする: 人口統計(方言、年齢など)によるユーザ固有の言語パターン、言語習熟度、記述スタイルなどにより、クライアント間で高い非IIDデータセットが生成される。他の例としては、異なるマシンで撮影した医療画像や、異なるタイプのデータを駆動する例がある。そこで本研究では,モデルアグリゲーションの前に分散的にクライアントをクラスタリングする,計算効率のよい影響近似である「遅延影響」を利用する,シンプルで効果的な個人化学習フレームワーク(pFedLIA)を提案する。各クラスタ内では、データ所有者が協力して、クライアントの特定のデータパターンをキャプチャするモデルをトレーニングする。提案手法は, 合成および実世界の各種設定における非IID性, 特にノルディック言語における次の単語予測タスク, およびいくつかのベンチマークタスクにより, グローバルモデルの性能低下の回復に成功した。これは、仮説的なOracleクラスタリングのパフォーマンスと一致し、既存のベースライン、例えば、CIFAR100で17%改善するなど、大幅に改善されている。

関連論文リスト

An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
論文参考訳（メタデータ） (2023-07-05T11:58:58Z)
FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文参考訳（メタデータ） (2023-06-25T13:38:51Z)
Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-22T04:06:29Z)
Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文参考訳（メタデータ） (2023-03-15T15:02:15Z)
FLIS: Clustered Federated Learning via Inference Similarity for Non-IID Data Distribution [7.924081556869144]
本稿では,クライアント集団をクラスタにグループ化し,共同でトレーニング可能なデータ配信を行う新しいアルゴリズムFLISを提案する。 CIFAR-100/10, SVHN, FMNISTデータセット上の最先端ベンチマークに対するFLISの利点を示す実験結果を示す。
論文参考訳（メタデータ） (2022-08-20T22:10:48Z)
Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity [3.291862617649511]
クライアントレベルの目的からパーソナライズされたモデルを得るための新しいアプローチを提案する。このパーソナライズを実現するために、各クライアントの小さなサブネットワークを見つける。
論文参考訳（メタデータ） (2021-05-02T22:10:46Z)
SCEI: A Smart-Contract Driven Edge Intelligence Framework for IoT Systems [15.796325306292134]
フェデレートラーニング(FL)は、データプライバシを維持しながら、エッジデバイス上で共有モデルの協調トレーニングを可能にする。様々なパーソナライズされたアプローチが提案されているが、そのようなアプローチはデータ分散の根底にある変化に対処できない。本稿では,ブロックチェーンとフェデレーション学習に基づく動的に最適化された個人深層学習手法を提案する。
論文参考訳（メタデータ） (2021-03-12T02:57:05Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)
Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文参考訳（メタデータ） (2020-12-20T14:34:36Z)
Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文参考訳（メタデータ） (2020-12-15T19:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。