論文の概要: FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization

• arxiv url: http://arxiv.org/abs/2405.19000v1
• Date: Wed, 29 May 2024 11:28:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-30 17:30:13.933600
• Title: FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization
• Title（参考訳）: FedMAP:双方向MAP最適化による個人化フェデレーション学習の可能性
• Authors: Fan Zhang, Carlos Esteve-Yagüe, Sören Dittmer, Carola-Bibiane Schönlieb, Michael Roberts,
• Abstract要約: フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.040916982022978
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Federated Learning (FL) enables collaborative training of machine learning models on decentralized data while preserving data privacy. However, data across clients often differs significantly due to class imbalance, feature distribution skew, sample size imbalance, and other phenomena. Leveraging information from these not identically distributed (non-IID) datasets poses substantial challenges. FL methods based on a single global model cannot effectively capture the variations in client data and underperform in non-IID settings. Consequently, Personalized FL (PFL) approaches that adapt to each client's data distribution but leverage other clients' data are essential but currently underexplored. We propose a novel Bayesian PFL framework using bi-level optimization to tackle the data heterogeneity challenges. Our proposed framework utilizes the global model as a prior distribution within a Maximum A Posteriori (MAP) estimation of personalized client models. This approach facilitates PFL by integrating shared knowledge from the prior, thereby enhancing local model performance, generalization ability, and communication efficiency. We extensively evaluated our bi-level optimization approach on real-world and synthetic datasets, demonstrating significant improvements in model accuracy compared to existing methods while reducing communication overhead. This study contributes to PFL by establishing a solid theoretical foundation for the proposed method and offering a robust, ready-to-use framework that effectively addresses the challenges posed by non-IID data in FL.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシを保持しながら、分散データ上で機械学習モデルの協調トレーニングを可能にする。 しかし、クラス不均衡、特徴分布スキュー、サンプルサイズ不均衡などの現象により、クライアント間でのデータはしばしば大きく異なる。 同一に分散されていない(非IID)データセットからの情報を活用することは、重大な課題となる。 単一グローバルモデルに基づくFL法では,クライアントデータの変動を効果的に捉えられず,非IID設定では性能が低下する。 その結果、パーソナライズされたFL (Personalized FL) アプローチは、各クライアントのデータ分布に適応するが、他のクライアントのデータを活用することは必須であるが、現在未調査である。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。 提案フレームワークは,パーソナライズされたクライアントモデルの最大A Posteriori (MAP) 推定における事前分布としてグローバルモデルを利用する。 このアプローチは、事前から共有知識を統合することにより、PFLを促進することにより、局所モデルの性能、一般化能力、通信効率を向上させる。 実世界のデータセットと合成データセットに対する二段階最適化手法を広範に評価し、通信オーバーヘッドを低減しつつ、既存の手法と比較してモデルの精度を大幅に改善したことを示す。 本研究は,提案手法の確固たる理論的基盤を確立し,FLにおける非IIDデータによる課題を効果的に解決する,堅牢で使いやすいフレームワークを提供することにより,PFLに寄与する。

関連論文リスト

• A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
  大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。 ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。 本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T18:48:21Z)
• Federated Proximal Optimization for Privacy-Preserving Heart Disease Prediction: A Controlled Simulation Study on Non-IID Clinical Data [1.620240963217448]
  本稿では,UCI心疾患データセットに基づく心疾患予測のためのフェデレーション・プロキシ・オプティマイズ(FedProx)の総合シミュレーション研究について述べる。 我々はクリーブランドクリニックの4つの異種病院クライアントをシミュレートすることにより,現実的な非IIDデータ分割を生成する。 我々の結果は病院IT管理者に直接転送可能であり、プライバシー保護協調学習を実装しています。
  論文  参考訳（メタデータ） (2026-01-23T21:18:08Z)
• Federated Loss Exploration for Improved Convergence on Non-IID Data [20.979550470097823]
  Federated Loss Exploration (FedLEx)は、これらの課題に対処するために特別に設計された革新的なアプローチである。 FedLExは、既存のFLメソッドの非IID設定における欠点に特化している。 最先端のFLアルゴリズムによる実験により,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2025-06-23T13:42:07Z)
• Not All Clients Are Equal: Personalized Federated Learning on Heterogeneous Multi-Modal Clients [52.14230635007546]
  ファンデーションモデルは多様なマルチモーダルタスクにまたがって顕著な能力を示してきたが、その集中的なトレーニングはプライバシーの懸念を高め、高い伝達コストを引き起こす。 異なるユーザー目的のためにAIモデルをパーソナライズする需要が高まっているため、パーソナライズされたフェデレーションラーニング(PFL)が出現している。 PFLは、各クライアントが他のクライアントの知識を活用して、データを共有することなく、個々のユーザの好みにさらに適応することを可能にする。
  論文  参考訳（メタデータ） (2025-05-20T09:17:07Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• FedMetaMed: Federated Meta-Learning for Personalized Medication in Distributed Healthcare Systems [7.32609591220333]
  パーソナライズドメディケーションのためのフェデレーションメタラーニング(FedMetaMed)について紹介する。 FedMetaMedは、フェデレーションラーニングとメタラーニングを組み合わせて、医療システム全体にわたる多様な患者データに適応するモデルを作成する。 我々は、FedMetaMedが最先端のFL法より優れ、最先端のコホートでも優れた一般化を示すことを示す。
  論文  参考訳（メタデータ） (2024-12-05T03:36:55Z)
• FedCVD: The First Real-World Federated Learning Benchmark on Cardiovascular Disease Data [52.55123685248105]
  心臓血管疾患(CVD)は、現在世界でも主要な死因であり、早期診断と治療の要点を浮き彫りにしている。 機械学習(ML)手法はCVDの早期診断に役立つが、その性能は高品質なデータへのアクセスに依存している。 本稿では、FedCVDという心臓血管疾患検出のための、世界初の実世界のFLベンチマークを示す。
  論文  参考訳（メタデータ） (2024-10-28T02:24:01Z)
• Adversarial Federated Consensus Learning for Surface Defect Classification Under Data Heterogeneity in IIoT [8.48069043458347]
  産業用IoT(Industrial Internet of Things)における各種エンティティからの十分なトレーニングデータの収集と集中化は難しい。 フェデレートラーニング(FL)は、クライアント間で協調的なグローバルモデルトレーニングを可能にするソリューションを提供する。 我々は,Adversarial Federated Consensus Learning (AFedCL) という新しいFLアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-24T03:59:32Z)
• Comparing Federated Stochastic Gradient Descent and Federated Averaging for Predicting Hospital Length of Stay [0.0]
  入院期間(LOS)を確実に予測することは,病院における資源配分の効率化に不可欠である。 従来の予測モデリングツールは、医療機関がプライバシー規則を定めているため、十分なデータと多様なデータを取得するのが難しいことが多い。 このモデリング手法は、病院外の機密データを抽出することなく、異なる病院からの分散データソースをモデル化することで協調的なモデルトレーニングを促進する。
  論文  参考訳（メタデータ） (2024-07-17T17:00:20Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Leveraging Foundation Models to Improve Lightweight Clients in Federated Learning [16.684749528240587]
  Federated Learning(FL)は、世界中に散在するクライアントが機密データを漏らさずにグローバルモデルを共同で学習することを可能にする、分散トレーニングパラダイムである。 FLは、クライアント間での不均一なデータ分散という形で大きな課題に直面しており、パフォーマンスとロバスト性は低下している。 本稿では,軽量クライアントモデルの連合訓練を支援し,推論コストを低く抑えつつ,不均一なデータ設定下での性能を向上させる基礎モデル蒸留について紹介する。
  論文  参考訳（メタデータ） (2023-11-14T19:10:56Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• The Best of Both Worlds: Accurate Global and Personalized Models through Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
  FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。 他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。 さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
  論文  参考訳（メタデータ） (2023-01-21T16:20:57Z)
• Personalized Federated Learning with Hidden Information on Personalized Prior [18.8426865970643]
  本稿では,Bregmanの発散正規化を用いたモデル化のためのフレームワークであるpFedBreDを提案する。 実験の結果,提案手法は複数の公開ベンチマークにおいて他のPFLアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-11-19T12:45:19Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Federated Learning in Multi-Center Critical Care Research: A Systematic Case Study using the eICU Database [24.31499341763427]
  データを交換することなく、異なるユニットでモデルを訓練する方法として、フェデレートラーニング(FL)が提案されている。 FLが利用可能なeICUデータセットに与える影響について検討し,各ICU滞在の生存率を予測する。
  論文  参考訳（メタデータ） (2022-04-20T09:03:09Z)
• Closing the Generalization Gap of Cross-silo Federated Medical Image Segmentation [66.44449514373746]
  クロスサイロ・フェデレーション・ラーニング (FL) は近年, 深層学習による医用画像解析において注目されている。 FLでトレーニングされたモデルと、集中的なトレーニングでトレーニングされたモデルの間にはギャップがある。 本稿では,クライアントの問題を回避し,ドリフトギャップを解消するための新しいトレーニングフレームワークであるFedSMを提案する。
  論文  参考訳（メタデータ） (2022-03-18T19:50:07Z)
• Federated Cycling (FedCy): Semi-supervised Federated Learning of Surgical Phases [57.90226879210227]
  FedCyは、FLと自己教師付き学習を組み合わせた半教師付き学習(FSSL)手法で、ラベル付きビデオとラベルなしビデオの両方の分散データセットを利用する。 外科的段階の自動認識作業において,最先端のFSSL法よりも顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2022-03-14T17:44:53Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Advancing COVID-19 Diagnosis with Privacy-Preserving Collaboration in Artificial Intelligence [79.038671794961]
  我々はUCADI(Unified CT-COVID AI Diagnostic Initiative)を立ち上げ、各ホスト機関でAIモデルを分散的にトレーニングし、独立して実行することができる。 本研究は,中国とイギリスに所在する23の病院で採取した3,336例の胸部CT9,573例について検討した。
  論文  参考訳（メタデータ） (2021-11-18T00:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。