論文の概要: dFLMoE: Decentralized Federated Learning via Mixture of Experts for Medical Data Analysis

• arxiv url: http://arxiv.org/abs/2503.10412v1
• Date: Thu, 13 Mar 2025 14:35:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:54:26.452229
• Title: dFLMoE: Decentralized Federated Learning via Mixture of Experts for Medical Data Analysis
• Title（参考訳）: dFLMoE: 医療データ分析の専門家の混在による分散フェデレーション学習
• Authors: Luyuan Xie, Tianyu Luan, Wenyuan Cai, Guochen Yan, Zhaoyu Chen, Nan Xi, Yuejian Fang, Qingni Shen, Zhonghai Wu, Junsong Yuan,
• Abstract要約: 本稿では,dFLMoE という分散化フェデレーション学習フレームワークを提案する。 私たちのフレームワークでは、クライアントはお互いに軽量なヘッドモデルを直接交換します。 我々は,複数の医療課題に関する枠組みを検証し,その手法が明らかに最先端の手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 45.92342950385488
• License:
• Abstract: Federated learning has wide applications in the medical field. It enables knowledge sharing among different healthcare institutes while protecting patients' privacy. However, existing federated learning systems are typically centralized, requiring clients to upload client-specific knowledge to a central server for aggregation. This centralized approach would integrate the knowledge from each client into a centralized server, and the knowledge would be already undermined during the centralized integration before it reaches back to each client. Besides, the centralized approach also creates a dependency on the central server, which may affect training stability if the server malfunctions or connections are unstable. To address these issues, we propose a decentralized federated learning framework named dFLMoE. In our framework, clients directly exchange lightweight head models with each other. After exchanging, each client treats both local and received head models as individual experts, and utilizes a client-specific Mixture of Experts (MoE) approach to make collective decisions. This design not only reduces the knowledge damage with client-specific aggregations but also removes the dependency on the central server to enhance the robustness of the framework. We validate our framework on multiple medical tasks, demonstrating that our method evidently outperforms state-of-the-art approaches under both model homogeneity and heterogeneity settings.
• Abstract（参考訳）: フェデレートラーニングは医学分野で広く応用されている。 患者のプライバシーを保護しながら、異なる医療機関間の知識共有を可能にする。 しかし、既存の統合学習システムは一般的に集中型であり、クライアントは集約のためにクライアント固有の知識を中央サーバーにアップロードする必要がある。 この集中型アプローチは、各クライアントからの知識を集中型サーバに統合し、各クライアントにさかのぼる前に、集中型統合中に知識を弱めてしまうでしょう。 さらに集中型アプローチは、サーバの障害やコネクションが不安定な場合には、トレーニングの安定性に影響を与える可能性がある、中央サーバへの依存性も生成する。 これらの課題に対処するため,我々はdFLMoEという分散学習フレームワークを提案する。 私たちのフレームワークでは、クライアントはお互いに軽量なヘッドモデルを直接交換します。 交換後、各クライアントはローカルモデルと受信したヘッドモデルの両方を個別の専門家として扱い、クライアント固有のMixture of Experts(MoE)アプローチを使用して集団決定を行う。 この設計は、クライアント固有のアグリゲーションによる知識の損傷を減らすだけでなく、フレームワークの堅牢性を高めるために、中央サーバへの依存を取り除く。 我々は,複数の医療課題に対する枠組みを検証し,モデル均一性と不均一性の両方の下で,最先端のアプローチよりも明らかに優れていることを示した。

関連論文リスト

• FedSPD: A Soft-clustering Approach for Personalized Decentralized Federated Learning [18.38030098837294]
  フェデレーション学習は、分散クライアントがローカルデータを使用して機械学習モデルを協調的にトレーニングするためのフレームワークである。 分散環境のための効率的パーソナライズされたフェデレーション学習アルゴリズムであるFedSPDを提案する。 低接続性ネットワークにおいてもFedSPDが正確なモデルを学ぶことを示す。
  論文  参考訳（メタデータ） (2024-10-24T15:48:34Z)
• Brain Storm Optimization Based Swarm Learning for Diabetic Retinopathy Image Classification [5.440545944342685]
  本稿では,ブレインストーム最適化アルゴリズムを,BSO-SLという名称のSwarm学習フレームワークに統合する。 実際の糖尿病網膜症画像分類データセットを用いて,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-24T01:37:20Z)
• Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
  フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。 既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。 本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-29T07:04:48Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• Implicit Model Specialization through DAG-based Decentralized Federated Learning [0.0]
  フェデレートされた学習により、分散クライアントのグループは、プライベートデータ上で共通の機械学習モデルをトレーニングできる。 連合学習における分散化とパーソナライズへの統一的なアプローチを提案する。 評価の結果,モデル更新のDAGに基づく通信から直接,モデルの特殊化が現れることがわかった。
  論文  参考訳（メタデータ） (2021-11-01T20:55:47Z)
• DeFed: A Principled Decentralized and Privacy-Preserving Federated Learning Algorithm [10.487593244018933]
  フェデレートラーニングは、多数のクライアントが、各クライアントに格納されたトレーニングデータを維持しながら、共有モデル学習に参加することを可能にする。 本稿では、従来のフェデレーション平均化(FedAvg)設定における中心的クライアントを除去する、分散型分散学習アルゴリズム(DeFed)を提案する。 提案アルゴリズムは, 損失関数が滑らかで, 強凸である場合には, 収束率$O(1/T)$で大域的最小値に達することが証明された。
  論文  参考訳（メタデータ） (2021-07-15T07:39:19Z)
• Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
  分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。 現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。 MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
  論文  参考訳（メタデータ） (2020-12-24T01:43:53Z)
• Decentralised Learning from Independent Multi-Domain Labels for Person Re-Identification [69.29602103582782]
  ディープラーニングは多くのコンピュータビジョンタスクで成功している。 しかし、プライバシー問題に対する意識の高まりは、特に人物の再識別(Re-ID)において、ディープラーニングに新たな課題をもたらす。 我々は,複数のプライバシ保護されたローカルモデル(ローカルクライアント)を同時に学習することにより,汎用的なグローバルモデル(中央サーバ)を構築するための,フェデレート・パーソナライゼーション(FedReID)と呼ばれる新しいパラダイムを提案する。 このクライアントサーバ共同学習プロセスは、プライバシコントロールの下で反復的に実行されるため、分散データを共有したり、収集したりすることなく、分散学習を実現することができる。
  論文  参考訳（メタデータ） (2020-06-07T13:32:33Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。