論文の概要: PMFL: Partial Meta-Federated Learning for heterogeneous tasks and its
applications on real-world medical records
- arxiv url: http://arxiv.org/abs/2112.05321v2
- Date: Sat, 9 Mar 2024 02:42:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 18:06:12.061333
- Title: PMFL: Partial Meta-Federated Learning for heterogeneous tasks and its
applications on real-world medical records
- Title（参考訳）: pmfl:異種課題に対する部分的メタフェデレート学習とその実世界医療記録への応用
- Authors: Tianyi Zhang, Shirui Zhang, Ziwei Chen, Dianbo Liu
- Abstract要約: フェデレートされた機械学習は、異なるソースからの分散データを利用する汎用的で柔軟なツールである。
本稿では,この問題を解決するために,フェデレートラーニングとメタラーニングを統合した新しいアルゴリズムを提案する。
我々は,異種医療データセットの処理において,アルゴリズムが最速のトレーニング速度を得ることができ,最高の性能が得られることを示す。
- 参考スコア（独自算出の注目度）: 11.252157002705484
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated machine learning is a versatile and flexible tool to utilize
distributed data from different sources, especially when communication
technology develops rapidly and an unprecedented amount of data could be
collected on mobile devices nowadays. Federated learning method exploits not
only the data but the computational power of all devices in the network to
achieve more efficient model training. Nevertheless, while most traditional
federated learning methods work well for homogeneous data and tasks, adapting
the method to a different heterogeneous data and task distribution is
challenging. This limitation has constrained the applications of federated
learning in real-world contexts, especially in healthcare settings. Inspired by
the fundamental idea of meta-learning, in this study we propose a new
algorithm, which is an integration of federated learning and meta-learning, to
tackle this issue. In addition, owing to the advantage of transfer learning for
model generalization, we further improve our algorithm by introducing partial
parameter sharing. We name this method partial meta-federated learning (PMFL).
Finally, we apply the algorithms to two medical datasets. We show that our
algorithm could obtain the fastest training speed and achieve the best
performance when dealing with heterogeneous medical datasets.
- Abstract（参考訳）: フェデレーション機械学習は、特に通信技術が急速に発達し、最近のモバイルデバイスで前例のない量のデータが収集される場合に、さまざまなソースから分散データを活用するための多用途で柔軟なツールである。
フェデレーション学習法は、データだけでなく、ネットワーク内のすべてのデバイスの計算能力を活用し、より効率的なモデルトレーニングを実現する。
しかしながら、従来のフェデレーション学習手法は、同種データやタスクに対してうまく機能するが、異なる異種データやタスク分布にメソッドを適用することは困難である。
この制限は、現実世界のコンテキスト、特に医療環境での連合学習の応用を制限している。
本稿では,メタラーニングの基本的な考え方に触発されて,この課題に取り組むために,フェデレートラーニングとメタラーニングを統合した新しいアルゴリズムを提案する。
さらに,モデル一般化における伝達学習の利点から,部分的パラメータ共有を導入してアルゴリズムをさらに改良する。
本手法をPMFL(Partial Meta-federated Learning)と呼ぶ。
最後に、このアルゴリズムを2つの医療データセットに適用する。
我々は,異種医療データセットを扱う際に,アルゴリズムが最速のトレーニング速度を得ることができ,最高の性能が得られることを示す。
関連論文リスト
- Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning [5.421492821020181]
Federated Learning(FL)は、デバイスがローカルデータを共有せずにモデルを協調的にトレーニングできる分散機械学習アプローチである。
FLを実世界のデータに適用することは、特に既存のFL研究が不正なデータに焦点を当てているため、課題を提示している。
我々は,各モードエンコーダのトレーニングリソースを適応的に割り当てることで,MFLにおける計算効率を向上させる新しい手法FlexModを提案する。
論文 参考訳（メタデータ） (2024-08-13T01:14:27Z) - Personalized Federated Learning with Contextual Modulation and
Meta-Learning [2.7716102039510564]
フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。
本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-23T08:18:22Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - Federated Learning and Meta Learning: Approaches, Applications, and
Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。
他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文 参考訳（メタデータ） (2022-10-24T10:59:29Z) - BERT WEAVER: Using WEight AVERaging to enable lifelong learning for
transformer-based models in biomedical semantic search engines [49.75878234192369]
We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。
WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
論文 参考訳（メタデータ） (2022-02-21T10:34:41Z) - A Federated Learning Aggregation Algorithm for Pervasive Computing:
Evaluation and Comparison [0.6299766708197883]
広範コンピューティングは、サービス提供のために、リビングスペースに接続デバイスをインストールすることを促進する。
エッジリソースの高度な利用と、エンジニアリングアプリケーションのための機械学習技術の統合だ。
本稿では,FedDistと呼ばれる新しいアグリゲーションアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-19T19:43:28Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - Toward Multiple Federated Learning Services Resource Sharing in Mobile
Edge Networks [88.15736037284408]
本稿では,マルチアクセスエッジコンピューティングサーバにおいて,複数のフェデレーション付き学習サービスの新たなモデルについて検討する。
共同資源最適化とハイパーラーニング率制御の問題,すなわちMS-FEDLを提案する。
シミュレーションの結果,提案アルゴリズムの収束性能を実証した。
論文 参考訳（メタデータ） (2020-11-25T01:29:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。