論文の概要: Decentralized Gossip Mutual Learning (GML) for automatic head and neck tumor segmentation

• arxiv url: http://arxiv.org/abs/2401.06180v1
• Date: Thu, 11 Jan 2024 01:04:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 21:22:19.060245
• Title: Decentralized Gossip Mutual Learning (GML) for automatic head and neck tumor segmentation
• Title（参考訳）: 頭頸部腫瘍自動切除のための分散型ゴシップ相互学習(GML)
• Authors: Jingyun Chen, Yading Yuan
• Abstract要約: フェデレートラーニング(FL)は、データ共有を必要とせずに、異なる医療センターから複雑な機械学習モデルを協調的にトレーニングするための有望な戦略として登場した。 我々は,Gossipプロトコルをピアツーピア通信に直接適用した分散協調学習フレームワークであるGossip Mutual Learning (GML)を提案する。 GMLはDice similarity Coefficient (DSC) を3.2%, 4.6%, 10.4%改善できることを示した。
• 参考スコア（独自算出の注目度）: 0.7402598986326535
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Federated learning (FL) has emerged as a promising strategy for collaboratively training complicated machine learning models from different medical centers without the need of data sharing. However, the traditional FL relies on a central server to orchestrate the global model training among clients. This makes it vulnerable to the failure of the model server. Meanwhile, the model trained based on the global data property may not yield the best performance on the local data of a particular site due to the variations of data characteristics among them. To address these limitations, we proposed Gossip Mutual Learning(GML), a decentralized collaborative learning framework that employs Gossip Protocol for direct peer-to-peer communication and encourages each site to optimize its local model by leveraging useful information from peers through mutual learning. On the task of tumor segmentation on PET/CT images using HECKTOR21 dataset with 223 cases from five clinical sites, we demonstrated GML could improve tumor segmentation performance in terms of Dice Similarity Coefficient (DSC) by 3.2%, 4.6% and 10.4% on site-specific testing cases as compared to three baseline methods: pooled training, FedAvg and individual training, respectively. We also showed GML has comparable generalization performance as pooled training and FedAvg when applying them on 78 cases from two out-of-sample sites where no case was used for model training. In our experimental setup, GML showcased a sixfold decrease in communication overhead compared to FedAvg, requiring only 16.67% of the total communication overhead.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データ共有を必要とせずに、異なる医療センターから複雑な機械学習モデルを協調訓練するための有望な戦略として登場した。 しかし、従来のFLはクライアント間のグローバルモデルトレーニングを編成するために中央サーバーに依存しています。 これにより、モデルサーバの障害に対して脆弱になる。 一方、グローバルなデータ特性に基づいてトレーニングされたモデルは、データ特性の変化により、特定のサイトのローカルデータ上で最高のパフォーマンスを得ることはできない。 そこで我々は,ピアツーピア通信のためのgossipプロトコルを用いた分散協調学習フレームワークであるgossip mutual learning(gml)を提案し,相互学習を通じてピアからの有用な情報を活用することにより,各サイトがローカルモデルを最適化することを奨励した。 HECKTOR21データセットを用いたPET/CT画像の腫瘍セグメンテーションの課題について,5つの臨床現場から得られた223例を用いて,GMLが3.2%,4.6%,10.4%の腫瘍セグメンテーション性能を,それぞれプールドトレーニング,FedAvg,個別トレーニングの3つのベースライン手法と比較して改善できることを実証した。 また,モデルトレーニングに使用しない2つのサンプルサイトから78例に適用した場合,GMLはプールトレーニングとFedAvgと同等の一般化性能を示した。 実験では、GMLはFedAvgに比べて通信オーバーヘッドが6倍減少し、通信オーバーヘッドの16.67%しか必要としなかった。

関連論文リスト

• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
  マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。 MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。 様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-05-10T11:52:53Z)
• Decentralized Gossip Mutual Learning (GML) for brain tumor segmentation on multi-parametric MRI [0.7402598986326535]
  フェデレートラーニング(FL)は、プライベートデータを共有せずに、医療センター間で協調的なモデルトレーニングを可能にする。 Gossip Mutual Learning (GML) は,Gossip Protocol を用いてピアツーピア通信を行う分散フレームワークである。
  論文  参考訳（メタデータ） (2024-01-27T15:05:25Z)
• pFedES: Model Heterogeneous Personalized Federated Learning with Feature Extractor Sharing [19.403843478569303]
  特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。 これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。 テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
  論文  参考訳（メタデータ） (2023-11-12T15:43:39Z)
• FedDBL: Communication and Data Efficient Federated Deep-Broad Learning for Histopathological Tissue Classification [65.7405397206767]
  本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。 FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。 異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
  論文  参考訳（メタデータ） (2023-02-24T14:27:41Z)
• ResFed: Communication Efficient Federated Learning by Transmitting Deep Compressed Residuals [24.13593410107805]
  フェデレートラーニングは、学習したローカルモデルパラメータを共有することで、大規模分散クライアント間の協調トレーニングを可能にする。 モデルパラメータではなく残差を訓練用ネットワークに送信する残差ベースフェデレーション学習フレームワーク(ResFed)を導入する。 共通予測ルールを用いることで、ローカルモデルとグローバルモデルの両方が、常にクライアントとサーバで完全に回復可能である。
  論文  参考訳（メタデータ） (2022-12-11T20:34:52Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Federated Learning for Breast Density Classification: A Real-World Implementation [19.03378677235258]
  世界中の7つの臨床機関が、乳房画像・報告・データシステム(BI-RADS)に基づく乳房密度分類モデルのトレーニングに参加した。 すべてのサイトからデータセットにかなりの違いがあるにも関わらず、フェデレーションにおけるAIモデルのトレーニングに成功できることが示されています。 その結果、FLを用いて訓練されたモデルは、研究所のローカルデータだけで訓練されたモデルよりも平均6.3%良い結果が得られた。
  論文  参考訳（メタデータ） (2020-09-03T18:34:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。