論文の概要: FedDBL: Communication and Data Efficient Federated Deep-Broad Learning
for Histopathological Tissue Classification
- arxiv url: http://arxiv.org/abs/2302.12662v2
- Date: Mon, 18 Dec 2023 02:48:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 03:06:28.169603
- Title: FedDBL: Communication and Data Efficient Federated Deep-Broad Learning
for Histopathological Tissue Classification
- Title（参考訳）: FedDBL:組織分類のためのコミュニケーションとデータ効率の良い深層学習
- Authors: Tianpeng Deng, Yanqi Huang, Guoqiang Han, Zhenwei Shi, Jiatai Lin, Qi
Dou, Zaiyi Liu, Xiao-jing Guo, C. L. Philip Chen, Chu Han
- Abstract要約: 本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。
FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。
異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
- 参考スコア（独自算出の注目度）: 65.7405397206767
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Histopathological tissue classification is a fundamental task in
computational pathology. Deep learning-based models have achieved superior
performance but centralized training with data centralization suffers from the
privacy leakage problem. Federated learning (FL) can safeguard privacy by
keeping training samples locally, but existing FL-based frameworks require a
large number of well-annotated training samples and numerous rounds of
communication which hinder their practicability in the real-world clinical
scenario. In this paper, we propose a universal and lightweight federated
learning framework, named Federated Deep-Broad Learning (FedDBL), to achieve
superior classification performance with limited training samples and only
one-round communication. By simply associating a pre-trained deep learning
feature extractor, a fast and lightweight broad learning inference system and a
classical federated aggregation approach, FedDBL can dramatically reduce data
dependency and improve communication efficiency. Five-fold cross-validation
demonstrates that FedDBL greatly outperforms the competitors with only
one-round communication and limited training samples, while it even achieves
comparable performance with the ones under multiple-round communications.
Furthermore, due to the lightweight design and one-round communication, FedDBL
reduces the communication burden from 4.6GB to only 276.5KB per client using
the ResNet-50 backbone at 50-round training. Since no data or deep model
sharing across different clients, the privacy issue is well-solved and the
model security is guaranteed with no model inversion attack risk. Code is
available at https://github.com/tianpeng-deng/FedDBL.
- Abstract（参考訳）: 病理組織分類は、計算病理学の基本的な課題である。
ディープラーニングベースのモデルは優れたパフォーマンスを達成したが、データ集中化による集中トレーニングは、プライバシー漏洩の問題に悩まされている。
FL(Federated Learning)は、トレーニングサンプルをローカルに保持することでプライバシを保護することができるが、既存のFLベースのフレームワークでは、多数の注釈付きトレーニングサンプルと、実際の臨床シナリオにおける実践性を妨げる多数の通信ラウンドが必要である。
本稿では,FedDBL(Federated Deep-Broad Learning)という,汎用的で軽量なフェデレーション学習フレームワークを提案する。
事前学習された深層学習特徴抽出器、高速で軽量な広層学習推論システム、および古典的な連合集約アプローチを単純に関連付けることで、FedDBLはデータの依存を劇的に減らし、通信効率を向上させることができる。
5倍のクロスバリデーションにより、FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合より大幅に優れており、マルチラウンドの通信では同等のパフォーマンスを達成している。
さらに、軽量な設計とワンラウンド通信のため、FedDBLは50ラウンドトレーニングでResNet-50のバックボーンを使用して通信負荷を4.6GBから276.5KBに減らした。
異なるクライアント間でデータやディープモデルを共有することはないため、プライバシ問題は十分に解決され、モデルのセキュリティはモデル反転攻撃リスクなしで保証される。
コードはhttps://github.com/tianpeng-deng/FedDBLで入手できる。
関連論文リスト
- Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data [34.49090830845118]
フェデレートラーニング(FL)は、複数のクライアントがネットワークエッジでプライベートデータ上で機械学習モデルを協調的にトレーニングできるようにするためのものだ。
クラスタリング正規化を取り入れて,ラベルなしおよび非IIDクライアントデータでSFLを実行する,Semi-supervised SFLシステムを提案する。
本システムは,訓練時間の3.8倍の高速化を実現し,目標精度を達成しつつ通信コストを約70.3%削減し,非IIDシナリオで最大5.8%の精度向上を実現する。
論文 参考訳（メタデータ） (2023-07-29T02:35:37Z) - SalientGrads: Sparse Models for Communication Efficient and Data Aware
Distributed Federated Training [1.0413504599164103]
フェデレートラーニング(FL)は、データを収集せずにプライバシを保ちながら、クライアントサイトの分散データを活用したモデルのトレーニングを可能にする。
FLの重要な課題の1つは、リソース制限されたエッジクライアントノードにおける計算の制限と通信帯域の低さである。
本稿では,学習前にデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを簡単にするSalient Gradsを提案する。
論文 参考訳（メタデータ） (2023-04-15T06:46:37Z) - FedClassAvg: Local Representation Learning for Personalized Federated
Learning on Heterogeneous Neural Networks [21.613436984547917]
我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。
FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。
異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-10-25T08:32:08Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Communication-Efficient Federated Learning with Dual-Side Low-Rank
Compression [8.353152693578151]
Federated Learning(FL)は、クライアントの生データを共有せずにディープラーニングモデルをトレーニングするための有望で強力なアプローチです。
両サイドローランク圧縮(FedDLR)を用いたフェデレーションラーニングと呼ばれる新しいトレーニング手法を提案する。
我々は,FedDLRがコミュニケーションと効率の両面で最先端のソリューションより優れていることを示す。
論文 参考訳（メタデータ） (2021-04-26T09:13:31Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z) - A Federated Deep Learning Framework for Privacy Preservation and
Communication Efficiency [1.2599533416395765]
我々は、プライバシ保護と通信効率のためのフェデレーション深層学習フレームワークであるFedPCを開発した。
FedPCは、中間データであっても、トレーニングデータの情報を公開せずに、モデルを複数のプライベートデータセットで学習可能にする。
その結果、FedPCはデータが10の計算ノードに分散された場合、中央訓練されたモデルの8.5%の価格でモデルの性能近似を維持していることがわかった。
論文 参考訳（メタデータ） (2020-01-22T02:52:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。