論文の概要: FedVCK: Non-IID Robust and Communication-Efficient Federated Learning via Valuable Condensed Knowledge for Medical Image Analysis
- arxiv url: http://arxiv.org/abs/2412.18557v1
- Date: Tue, 24 Dec 2024 17:20:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-25 15:54:27.816103
- Title: FedVCK: Non-IID Robust and Communication-Efficient Federated Learning via Valuable Condensed Knowledge for Medical Image Analysis
- Title（参考訳）: FedVCK:医用画像解析のための有意義な凝縮知識による非IIDロバストかつコミュニケーション効率の高いフェデレーションラーニング
- Authors: Guochen Yan, Luyuan Xie, Xinyi Gao, Wentao Zhang, Qingni Shen, Yuejian Fang, Zhonghai Wu,
- Abstract要約: textbfValuable textbfCondensed textbfKnowledge (FedVCK)による新しいフェデレーション学習法を提案する。
我々は、限られた通信予算の中で、非IID問題に効果的に取り組むために、凝縮知識の品質を高め、モデルによって導かれる最も必要な知識を選択する。
- 参考スコア（独自算出の注目度）: 27.843757290938925
- License:
- Abstract: Federated learning has become a promising solution for collaboration among medical institutions. However, data owned by each institution would be highly heterogeneous and the distribution is always non-independent and identical distribution (non-IID), resulting in client drift and unsatisfactory performance. Despite existing federated learning methods attempting to solve the non-IID problems, they still show marginal advantages but rely on frequent communication which would incur high costs and privacy concerns. In this paper, we propose a novel federated learning method: \textbf{Fed}erated learning via \textbf{V}aluable \textbf{C}ondensed \textbf{K}nowledge (FedVCK). We enhance the quality of condensed knowledge and select the most necessary knowledge guided by models, to tackle the non-IID problem within limited communication budgets effectively. Specifically, on the client side, we condense the knowledge of each client into a small dataset and further enhance the condensation procedure with latent distribution constraints, facilitating the effective capture of high-quality knowledge. During each round, we specifically target and condense knowledge that has not been assimilated by the current model, thereby preventing unnecessary repetition of homogeneous knowledge and minimizing the frequency of communications required. On the server side, we propose relational supervised contrastive learning to provide more supervision signals to aid the global model updating. Comprehensive experiments across various medical tasks show that FedVCK can outperform state-of-the-art methods, demonstrating that it's non-IID robust and communication-efficient.
- Abstract（参考訳）: フェデレートラーニングは、医療機関間のコラボレーションのための有望なソリューションとなっている。
しかし、各機関が保有するデータは極めて異質であり、分布は常に非独立で同一の分布(非IID)であり、クライアントのドリフトと不満足なパフォーマンスをもたらす。
非IID問題の解決を試みている既存の連合学習手法にもかかわらず、彼らは依然として限界的な優位性を示しているが、高いコストとプライバシーの懸念を引き起こす頻繁なコミュニケーションに依存している。
本稿では,新しいフェデレーション学習手法を提案する: \textbf{Fed}erated learning via \textbf{V}aluable \textbf{C}ondensed \textbf{K}nowledge (FedVCK)。
我々は、限られた通信予算の中で、非IID問題に効果的に取り組むために、凝縮知識の品質を高め、モデルによって導かれる最も必要な知識を選択する。
具体的には、クライアント側では、各クライアントの知識を小さなデータセットに凝縮させ、遅延分布制約による凝縮手順をさらに強化し、高品質な知識を効果的に取得する。
各ラウンドにおいて、現在のモデルで同化されていない知識を特にターゲットとし、集束し、同種知識の不要な反復を防止し、必要な通信頻度を最小化する。
サーバ側では,グローバルモデル更新を支援するために,より監督的な信号を提供するために,リレーショナル教師付きコントラスト学習を提案する。
様々な医療タスクにわたる総合的な実験により、FedVCKは最先端の手法より優れており、非IID堅牢で通信効率が高いことが示されている。
関連論文リスト
- KnFu: Effective Knowledge Fusion [5.305607095162403]
フェデレートラーニング(FL)は、従来の集中型ラーニングのアプローチに代わる顕著な代替手段として登場した。
本稿では,各クライアントに対してセマンティックな隣人の効果的な知識を融合させるためのみに,局所モデルの知識を評価するEffective Knowledge Fusion(KnFu)アルゴリズムを提案する。
この研究の重要な結論は、大規模でヘテロジニアスなローカルデータセットを持つシナリオでは、知識融合ベースのソリューションよりも局所的なトレーニングが望ましい、ということである。
論文 参考訳（メタデータ） (2024-03-18T15:49:48Z) - UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。
本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。
この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2023-09-16T11:30:29Z) - Selective Knowledge Sharing for Privacy-Preserving Federated
Distillation without A Good Teacher [52.2926020848095]
フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。
本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
論文 参考訳（メタデータ） (2023-04-04T12:04:19Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳（メタデータ） (2023-03-01T06:16:15Z) - When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。
クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。
本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文 参考訳（メタデータ） (2022-12-24T11:02:35Z) - Uncertainty Minimization for Personalized Federated Semi-Supervised
Learning [15.123493340717303]
我々は,データ関連クライアント(ヘルパーエージェント)からのラベリング支援を部分的にラベル付けまたは未ラベルのクライアントが求めることのできる,新しい半教師付き学習パラダイムを提案する。
実験により,提案手法は部分ラベル付きデータを用いた他の関連する研究よりも優れた性能と安定な収束が得られることが示された。
論文 参考訳（メタデータ） (2022-05-05T04:41:27Z) - FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated
Distillation [54.2658887073461]
非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。
本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。
FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
論文 参考訳（メタデータ） (2022-04-30T06:17:36Z) - Federated Semi-supervised Medical Image Classification via Inter-client
Relation Matching [58.26619456972598]
フェデレートラーニング(FL)は、ディープ・ネットワークのトレーニングのために、分散医療機関とのコラボレーションで人気が高まっている。
本報告では,実践的かつ困難なFL問題であるtextitFederated Semi-supervised Learning (FSSL)について検討する。
本稿では, 従来の整合性正規化機構を改良し, クライアント間関係マッチング方式を提案する。
論文 参考訳（メタデータ） (2021-06-16T07:58:00Z) - Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。
FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。
我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
論文 参考訳（メタデータ） (2020-03-06T13:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。