論文の概要: Robust Split Federated Learning for U-shaped Medical Image Networks
- arxiv url: http://arxiv.org/abs/2212.06378v1
- Date: Tue, 13 Dec 2022 05:26:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 15:40:05.942122
- Title: Robust Split Federated Learning for U-shaped Medical Image Networks
- Title(参考訳): u字型医用画像ネットワークのためのロバスト分割フェデレーション学習
- Authors: Ziyuan Yang, Yingyu Chen, Huijie Huangfu, Maosong Ran, Hui Wang,
Xiaoxiao Li and Yi Zhang
- Abstract要約: U字型医療画像ネットワークのためのRoS-FL(Roust Split Federated Learning)を提案する。
RoS-FLは、フェデレートラーニング(FL)とスプリットラーニング(SL)のハイブリッドラーニングパラダイムである
- 参考スコア(独自算出の注目度): 16.046153872932653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: U-shaped networks are widely used in various medical image tasks, such as
segmentation, restoration and reconstruction, but most of them usually rely on
centralized learning and thus ignore privacy issues. To address the privacy
concerns, federated learning (FL) and split learning (SL) have attracted
increasing attention. However, it is hard for both FL and SL to balance the
local computational cost, model privacy and parallel training simultaneously.
To achieve this goal, in this paper, we propose Robust Split Federated Learning
(RoS-FL) for U-shaped medical image networks, which is a novel hybrid learning
paradigm of FL and SL. Previous works cannot preserve the data privacy,
including the input, model parameters, label and output simultaneously. To
effectively deal with all of them, we design a novel splitting method for
U-shaped medical image networks, which splits the network into three parts
hosted by different parties. Besides, the distributed learning methods usually
suffer from a drift between local and global models caused by data
heterogeneity. Based on this consideration, we propose a dynamic weight
correction strategy (\textbf{DWCS}) to stabilize the training process and avoid
model drift. Specifically, a weight correction loss is designed to quantify the
drift between the models from two adjacent communication rounds. By minimizing
this loss, a correction model is obtained. Then we treat the weighted sum of
correction model and final round models as the result. The effectiveness of the
proposed RoS-FL is supported by extensive experimental results on different
tasks. Related codes will be released at https://github.com/Zi-YuanYang/RoS-FL.
- Abstract(参考訳): u字型ネットワークは、セグメンテーション、復元、再構築など、様々な医療画像タスクで広く使われているが、その多くは集中学習に依存しているため、プライバシの問題を無視している。
プライバシー問題に対処するため、連邦学習(FL)と分割学習(SL)が注目されている。
しかしながら、flとslの両方が、ローカルな計算コスト、モデルプライバシ、並列トレーニングを同時にバランスさせることは困難である。
この目的を達成するために,本稿では,flとslの新しいハイブリッド学習パラダイムであるu字型医用画像ネットワークのためのロバストスプリットフェデレート学習(ros-fl)を提案する。
以前の作業では、入力、モデルパラメータ、ラベル、出力など、データのプライバシを同時に保持することはできない。
これらすべてを効果的に扱うために,我々は,ネットワークを異なるパーティがホストする3つの部分に分割する,U字型医療画像ネットワークの新しい分割手法を設計した。
さらに、分散学習手法は通常、データの不均一性に起因するローカルモデルとグローバルモデルの間のドリフトに苦しむ。
そこで本研究では,トレーニングプロセスの安定化とモデルドリフトの回避を目的とした動的重み補正戦略(\textbf{DWCS})を提案する。
特に、重み補正損失は、2つの隣接する通信ラウンドからモデル間のドリフトを定量化するように設計されている。
この損失を最小限にして補正モデルを得る。
次に、補正モデルと最終ラウンドモデルの重み付き和を結果として扱う。
提案したRoS-FLの有効性は、様々なタスクに関する広範な実験結果によって裏付けられている。
関連コードはhttps://github.com/Zi-YuanYang/RoS-FL.comで公開される。
関連論文リスト
- Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳(メタデータ) (2023-09-04T21:10:45Z) - NeFL: Nested Federated Learning for Heterogeneous Clients [48.160716521203256]
フェデレートラーニング(FL)は、分散ラーニングにおけるプライバシー維持のための有望なアプローチである。
FLのトレーニングパイプラインでは、遅いクライアント(すなわちストラグラー)がトレーニング時間を遅くし、パフォーマンスを低下させる。
奥行きと幅方向の両方のスケーリングを用いて,モデルをモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
論文 参考訳(メタデータ) (2023-08-15T13:29:14Z) - Federated Zero-Shot Learning for Visual Recognition [55.65879596326147]
本稿では,Federated Zero-Shot Learning FedZSLフレームワークを提案する。
FedZSLは、エッジデバイス上の分散データから中心的なモデルを学ぶ。
FedZSLの有効性と堅牢性は、3つのゼロショットベンチマークデータセットで実施された広範な実験によって実証された。
論文 参考訳(メタデータ) (2022-09-05T14:49:34Z) - Distributed Contrastive Learning for Medical Image Segmentation [16.3860181959878]
監視されたディープラーニングは、高いパフォーマンスを達成するために大量のラベル付きデータを必要とします。
医用画像解析では、各サイトは限られた量のデータとラベルしか持たず、学習を効果的にしない。
アノテーションを限定した医用画像セグメンテーションのための2つのフェデレーション型自己教師型学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-08-07T20:47:05Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳(メタデータ) (2022-03-18T04:58:34Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳(メタデータ) (2022-02-07T05:11:01Z) - Federated Dropout -- A Simple Approach for Enabling Federated Learning
on Resource Constrained Devices [40.69663094185572]
フェデレートラーニング(FL)は、分散モバイルデータを使用したAIモデルを無線ネットワークでトレーニングするための一般的なフレームワークである。
実用FLに直面する大きな課題の1つは、リソース制約されたデバイスが、ディープニューラルネットワークモデルを更新する計算集約的なタスクに苦しむことである。
この課題に対処するために,ランダムモデルプルーニングのための古典的なドロップアウト方式に基づいて,フェデレートされたドロップアウト(FedDrop)方式を提案する。
論文 参考訳(メタデータ) (2021-09-30T16:52:13Z) - Biologically Plausible Training Mechanisms for Self-Supervised Learning
in Deep Networks [14.685237010856953]
我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。
バックパゲーションの2つの選択肢のうちの1つを用いて学習を行うことができることを示す。
論文 参考訳(メタデータ) (2021-09-30T12:56:57Z) - Splitfed learning without client-side synchronization: Analyzing
client-side split network portion size to overall performance [4.689140226545214]
Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。
本稿では,クライアント側モデル同期を必要としないSFLについて検討する。
MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
論文 参考訳(メタデータ) (2021-09-19T22:57:23Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳(メタデータ) (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。