論文の概要: Robust Split Federated Learning for U-shaped Medical Image Networks
- arxiv url: http://arxiv.org/abs/2212.06378v1
- Date: Tue, 13 Dec 2022 05:26:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 15:40:05.942122
- Title: Robust Split Federated Learning for U-shaped Medical Image Networks
- Title（参考訳）: u字型医用画像ネットワークのためのロバスト分割フェデレーション学習
- Authors: Ziyuan Yang, Yingyu Chen, Huijie Huangfu, Maosong Ran, Hui Wang,
Xiaoxiao Li and Yi Zhang
- Abstract要約: U字型医療画像ネットワークのためのRoS-FL(Roust Split Federated Learning)を提案する。
RoS-FLは、フェデレートラーニング(FL)とスプリットラーニング(SL)のハイブリッドラーニングパラダイムである
- 参考スコア（独自算出の注目度）: 16.046153872932653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: U-shaped networks are widely used in various medical image tasks, such as
segmentation, restoration and reconstruction, but most of them usually rely on
centralized learning and thus ignore privacy issues. To address the privacy
concerns, federated learning (FL) and split learning (SL) have attracted
increasing attention. However, it is hard for both FL and SL to balance the
local computational cost, model privacy and parallel training simultaneously.
To achieve this goal, in this paper, we propose Robust Split Federated Learning
(RoS-FL) for U-shaped medical image networks, which is a novel hybrid learning
paradigm of FL and SL. Previous works cannot preserve the data privacy,
including the input, model parameters, label and output simultaneously. To
effectively deal with all of them, we design a novel splitting method for
U-shaped medical image networks, which splits the network into three parts
hosted by different parties. Besides, the distributed learning methods usually
suffer from a drift between local and global models caused by data
heterogeneity. Based on this consideration, we propose a dynamic weight
correction strategy (\textbf{DWCS}) to stabilize the training process and avoid
model drift. Specifically, a weight correction loss is designed to quantify the
drift between the models from two adjacent communication rounds. By minimizing
this loss, a correction model is obtained. Then we treat the weighted sum of
correction model and final round models as the result. The effectiveness of the
proposed RoS-FL is supported by extensive experimental results on different
tasks. Related codes will be released at https://github.com/Zi-YuanYang/RoS-FL.
- Abstract（参考訳）: u字型ネットワークは、セグメンテーション、復元、再構築など、様々な医療画像タスクで広く使われているが、その多くは集中学習に依存しているため、プライバシの問題を無視している。
プライバシー問題に対処するため、連邦学習(FL)と分割学習(SL)が注目されている。
しかしながら、flとslの両方が、ローカルな計算コスト、モデルプライバシ、並列トレーニングを同時にバランスさせることは困難である。
この目的を達成するために,本稿では,flとslの新しいハイブリッド学習パラダイムであるu字型医用画像ネットワークのためのロバストスプリットフェデレート学習(ros-fl)を提案する。
以前の作業では、入力、モデルパラメータ、ラベル、出力など、データのプライバシを同時に保持することはできない。
これらすべてを効果的に扱うために,我々は,ネットワークを異なるパーティがホストする3つの部分に分割する,U字型医療画像ネットワークの新しい分割手法を設計した。
さらに、分散学習手法は通常、データの不均一性に起因するローカルモデルとグローバルモデルの間のドリフトに苦しむ。
そこで本研究では,トレーニングプロセスの安定化とモデルドリフトの回避を目的とした動的重み補正戦略(\textbf{DWCS})を提案する。
特に、重み補正損失は、2つの隣接する通信ラウンドからモデル間のドリフトを定量化するように設計されている。
この損失を最小限にして補正モデルを得る。
次に、補正モデルと最終ラウンドモデルの重み付き和を結果として扱う。
提案したRoS-FLの有効性は、様々なタスクに関する広範な実験結果によって裏付けられている。
関連コードはhttps://github.com/Zi-YuanYang/RoS-FL.comで公開される。
関連論文リスト
- R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。
SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。
これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。
無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
論文 参考訳（メタデータ） (2024-07-16T12:21:29Z) - Harnessing Increased Client Participation with Cohort-Parallel Federated Learning [2.9593087583214173]
Federated Learning(FL)は、ノードがグローバルモデルを協調的にトレーニングする機械学習アプローチである。
本稿では,Cohort-Parallel Federated Learning (CPFL)を紹介する。
4つのコホート、非IIDデータ分散、CIFAR-10を持つCPFLは、列車の時間短縮に1.9$times$、資源使用量削減に1.3$times$である。
論文 参考訳（メタデータ） (2024-05-24T15:34:09Z) - Heterogeneous Federated Learning with Splited Language Model [22.65325348176366]
フェデレート・スプリット・ラーニング(FSL)は、実際には有望な分散学習パラダイムである。
本稿では,前訓練画像変換器(PIT)をFedVと呼ばれる初期モデルとして利用し,トレーニングプロセスの高速化とモデルロバスト性の向上を図る。
我々は、実世界のデータセット、異なる部分的デバイス参加、異種データ分割におけるPITを用いたFSL手法の体系的評価を初めて行った。
論文 参考訳（メタデータ） (2024-03-24T07:33:08Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。
深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
論文 参考訳（メタデータ） (2023-08-15T13:29:14Z) - Federated Zero-Shot Learning for Visual Recognition [55.65879596326147]
本稿では,Federated Zero-Shot Learning FedZSLフレームワークを提案する。
FedZSLは、エッジデバイス上の分散データから中心的なモデルを学ぶ。
FedZSLの有効性と堅牢性は、3つのゼロショットベンチマークデータセットで実施された広範な実験によって実証された。
論文 参考訳（メタデータ） (2022-09-05T14:49:34Z) - Distributed Contrastive Learning for Medical Image Segmentation [16.3860181959878]
監視されたディープラーニングは、高いパフォーマンスを達成するために大量のラベル付きデータを必要とします。
医用画像解析では、各サイトは限られた量のデータとラベルしか持たず、学習を効果的にしない。
アノテーションを限定した医用画像セグメンテーションのための2つのフェデレーション型自己教師型学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-08-07T20:47:05Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳（メタデータ） (2022-03-18T04:58:34Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - Federated Dropout -- A Simple Approach for Enabling Federated Learning
on Resource Constrained Devices [40.69663094185572]
フェデレートラーニング(FL)は、分散モバイルデータを使用したAIモデルを無線ネットワークでトレーニングするための一般的なフレームワークである。
実用FLに直面する大きな課題の1つは、リソース制約されたデバイスが、ディープニューラルネットワークモデルを更新する計算集約的なタスクに苦しむことである。
この課題に対処するために,ランダムモデルプルーニングのための古典的なドロップアウト方式に基づいて,フェデレートされたドロップアウト(FedDrop)方式を提案する。
論文 参考訳（メタデータ） (2021-09-30T16:52:13Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。