論文の概要: Communication-Efficient Hybrid Federated Learning for E-health with Horizontal and Vertical Data Partitioning

• arxiv url: http://arxiv.org/abs/2404.10110v1
• Date: Mon, 15 Apr 2024 19:45:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 20:48:29.919219
• Title: Communication-Efficient Hybrid Federated Learning for E-health with Horizontal and Vertical Data Partitioning
• Title（参考訳）: 水平・垂直データ分割によるE-Healthのためのコミュニケーション効率の良いハイブリッド・フェデレーション学習
• Authors: Chong Yu, Shuaiqi Shen, Shiqiang Wang, Kuan Zhang, Hai Zhao,
• Abstract要約: E-Healthは、スマートデバイスや医療機関が患者のデータを共同で収集することを可能にする。 eヘルスにフェデレートされた学習を適用することは、多くの課題に直面します。 医療データは水平および垂直に分割される。 HFLとVFLの単純な組み合わせには、訓練効率の低下、難聴収束分析、パラメータチューニング戦略の欠如など、制限がある。
• 参考スコア（独自算出の注目度）: 67.49221252724229
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: E-health allows smart devices and medical institutions to collaboratively collect patients' data, which is trained by Artificial Intelligence (AI) technologies to help doctors make diagnosis. By allowing multiple devices to train models collaboratively, federated learning is a promising solution to address the communication and privacy issues in e-health. However, applying federated learning in e-health faces many challenges. First, medical data is both horizontally and vertically partitioned. Since single Horizontal Federated Learning (HFL) or Vertical Federated Learning (VFL) techniques cannot deal with both types of data partitioning, directly applying them may consume excessive communication cost due to transmitting a part of raw data when requiring high modeling accuracy. Second, a naive combination of HFL and VFL has limitations including low training efficiency, unsound convergence analysis, and lack of parameter tuning strategies. In this paper, we provide a thorough study on an effective integration of HFL and VFL, to achieve communication efficiency and overcome the above limitations when data is both horizontally and vertically partitioned. Specifically, we propose a hybrid federated learning framework with one intermediate result exchange and two aggregation phases. Based on this framework, we develop a Hybrid Stochastic Gradient Descent (HSGD) algorithm to train models. Then, we theoretically analyze the convergence upper bound of the proposed algorithm. Using the convergence results, we design adaptive strategies to adjust the training parameters and shrink the size of transmitted data. Experimental results validate that the proposed HSGD algorithm can achieve the desired accuracy while reducing communication cost, and they also verify the effectiveness of the adaptive strategies.
• Abstract（参考訳）: E-Healthは、スマートデバイスや医療機関が患者のデータを共同で収集することを可能にする。 複数のデバイスが協力してモデルをトレーニングできるようにすることで、連合学習は、eヘルスにおけるコミュニケーションとプライバシの問題に対処するための、有望なソリューションである。 しかし、e-healthにおける連合学習の適用は多くの課題に直面している。 第一に、医療データは水平および垂直に分割される。 単一水平フェデレートラーニング(HFL)または垂直フェデレーションラーニング(VFL)技術は両タイプのデータパーティショニングには対応できないため、直接適用することで、高いモデリング精度を必要とする場合、生データの一部を送信することで、過剰な通信コストを消費することができる。 第二に、HFLとVFLの単純な組み合わせには、訓練効率の低さ、難聴収束分析、パラメータチューニング戦略の欠如などの制限がある。 本稿では,HFL と VFL を効果的に統合して通信効率を向上し,データを水平および垂直に分割する場合に,上記の制限を克服するための徹底的な研究を行う。 具体的には、1つの中間結果交換と2つの集約フェーズを持つハイブリッド・フェデレーション学習フレームワークを提案する。 この枠組みに基づき,モデル学習のためのHybrid Stochastic Gradient Descent (HSGD)アルゴリズムを開発した。 そして,提案アルゴリズムの収束上限を理論的に解析する。 収束結果を用いて、トレーニングパラメータを調整し、送信データのサイズを縮小する適応戦略を設計する。 実験により,提案したHSGDアルゴリズムは通信コストを低減しつつ,所望の精度を達成可能であること,適応戦略の有効性も検証した。

関連論文リスト

• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Exploratory Analysis of Federated Learning Methods with Differential Privacy on MIMIC-III [0.7349727826230862]
  フェデレートされた学習方法は、プライバシに敏感なデータセット上で機械学習モデルをトレーニングする可能性を提供する。 オープンソースMIMIC-IIIデータセット上でのトレーニングモデルにおいて,異なるフェデレーションおよび差分プライバシー手法が与える影響の評価を行う。
  論文  参考訳（メタデータ） (2023-02-08T17:27:44Z)
• Distributed Contrastive Learning for Medical Image Segmentation [16.3860181959878]
  監視されたディープラーニングは、高いパフォーマンスを達成するために大量のラベル付きデータを必要とします。 医用画像解析では、各サイトは限られた量のデータとラベルしか持たず、学習を効果的にしない。 アノテーションを限定した医用画像セグメンテーションのための2つのフェデレーション型自己教師型学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-07T20:47:05Z)
• Federated Offline Reinforcement Learning [55.326673977320574]
  マルチサイトマルコフ決定プロセスモデルを提案する。 我々は,オフラインRLを対象とした最初のフェデレーション最適化アルゴリズムを設計する。 提案アルゴリズムでは,学習ポリシーの準最適性は,データが分散していないような速度に匹敵する,理論的保証を与える。
  論文  参考訳（メタデータ） (2022-06-11T18:03:26Z)
• Auto-FedRL: Federated Hyperparameter Optimization for Multi-institutional Medical Image Segmentation [48.821062916381685]
  Federated Learning(FL)は、明示的なデータ共有を避けながら協調的なモデルトレーニングを可能にする分散機械学習技術である。 本稿では,Auto-FedRLと呼ばれる,効率的な強化学習(RL)に基づくフェデレーションハイパーパラメータ最適化アルゴリズムを提案する。 提案手法の有効性は,CIFAR-10データセットと2つの実世界の医用画像セグメンテーションデータセットの不均一なデータ分割に対して検証される。
  論文  参考訳（メタデータ） (2022-03-12T04:11:42Z)
• Communication-Efficient Federated Learning with Compensated Overlap-FedAvg [22.636184975591004]
  フェデレーションラーニングは、クラスタ内でデータセットを共有することなく、複数のクライアントの複合データによるモデルトレーニングを実行するために提案される。 Overlap-FedAvgはモデルアップロードおよびダウンロードフェーズとモデルトレーニングフェーズを並列化するフレームワークである。 オーバーラップfedavgはさらに階層的計算戦略、データ補償機構、ネステロフ加速勾配(nag)アルゴリズムを用いて開発されている。
  論文  参考訳（メタデータ） (2020-12-12T02:50:09Z)
• Privacy-Preserving Asynchronous Federated Learning Algorithms for Multi-Party Vertically Collaborative Learning [151.47900584193025]
  本稿では,非同期フェデレーションSGD(AFSGD-VP)アルゴリズムとその垂直分割データ上でのSVRGおよびSAGA変種を提案する。 我々の知る限り、AFSGD-VPとそのSVRGおよびSAGAの変種は、垂直に分割されたデータのための最初の非同期フェデレーション学習アルゴリズムである。
  論文  参考訳（メタデータ） (2020-08-14T08:08:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。