論文の概要: MultiConfederated Learning: Inclusive Non-IID Data handling with Decentralized Federated Learning

• arxiv url: http://arxiv.org/abs/2404.13421v1
• Date: Sat, 20 Apr 2024 16:38:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 19:00:27.544531
• Title: MultiConfederated Learning: Inclusive Non-IID Data handling with Decentralized Federated Learning
• Title（参考訳）: 多元学習:分散学習を用いた包括的非IIDデータ処理
• Authors: Michael Duchesne, Kaiwen Zhang, Chamseddine Talhi,
• Abstract要約: Federated Learning (FL) は、機密性のある臨床機械学習のようなユースケースを可能にするための、顕著なプライバシ保護技術として登場した。 FLはデータを所有するリモートデバイスによってトレーニングされたモデルを集約することで動作する。 非IIDデータを扱うために設計された分散FLフレームワークであるMultiConfederated Learningを提案する。
• 参考スコア（独自算出の注目度）: 1.2726316791083532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) has emerged as a prominent privacy-preserving technique for enabling use cases like confidential clinical machine learning. FL operates by aggregating models trained by remote devices which owns the data. Thus, FL enables the training of powerful global models using crowd-sourced data from a large number of learners, without compromising their privacy. However, the aggregating server is a single point of failure when generating the global model. Moreover, the performance of the model suffers when the data is not independent and identically distributed (non-IID data) on all remote devices. This leads to vastly different models being aggregated, which can reduce the performance by as much as 50% in certain scenarios. In this paper, we seek to address the aforementioned issues while retaining the benefits of FL. We propose MultiConfederated Learning: a decentralized FL framework which is designed to handle non-IID data. Unlike traditional FL, MultiConfederated Learning will maintain multiple models in parallel (instead of a single global model) to help with convergence when the data is non-IID. With the help of transfer learning, learners can converge to fewer models. In order to increase adaptability, learners are allowed to choose which updates to aggregate from their peers.
• Abstract（参考訳）: Federated Learning(FL)は、機密臨床機械学習のようなユースケースを可能にするための、プライバシー保護のための重要なテクニックとして登場した。 FLはデータを所有するリモートデバイスによってトレーニングされたモデルを集約することで動作する。 これにより、FLは、プライバシーを損なうことなく、多数の学習者のクラウドソースデータを用いて、強力なグローバルモデルのトレーニングを可能にする。 しかし、集約サーバはグローバルモデルを生成する際の単一障害点である。 さらに、モデルの性能は、データが独立ではなく、すべてのリモートデバイス上で同一に分散された(非IIDデータ)ときに悩まされる。 これにより、非常に異なるモデルが集約され、特定のシナリオで最大50%パフォーマンスが低下する可能性がある。 本稿では,FLの利点を維持しつつ,上記の課題に対処する。 非IIDデータを扱うために設計された分散FLフレームワークであるMultiConfederated Learningを提案する。 従来のFLとは異なり、MultiConfederated Learningは複数のモデルを(単一のグローバルモデルではなく)並列に維持し、データがIIDでないときの収束を支援する。 トランスファーラーニングの助けを借りて、学習者はより少ないモデルに収束できる。 適応性を高めるために、学習者は仲間からどの更新を集計するかを選択することができる。

関連論文リスト

• Update Selective Parameters: Federated Machine Unlearning Based on Model Explanation [46.86767774669831]
  モデル説明の概念に基づく、より効率的で効率的なフェデレーション・アンラーニング・スキームを提案する。 我々は、未学習のデータに対して、すでに訓練済みのモデルの中で最も影響力のあるチャネルを選択します。
  論文  参考訳（メタデータ） (2024-06-18T11:43:20Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Federated Learning and Meta Learning: Approaches, Applications, and Directions [94.68423258028285]
  本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。 他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
  論文  参考訳（メタデータ） (2022-10-24T10:59:29Z)
• FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
  非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。 本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
  論文  参考訳（メタデータ） (2022-04-30T06:17:36Z)
• Multi-Center Federated Learning [62.32725938999433]
  フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。 単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。 本稿では,新しいマルチセンターアグリゲーション機構を提案する。
  論文  参考訳（メタデータ） (2021-08-19T12:20:31Z)
• FLaPS: Federated Learning and Privately Scaling [3.618133010429131]
  フェデレートラーニング(Federated Learning, FL)とは、データを収集するデバイスにモデルを転送する分散学習プロセスである。 FLaPS(Federated Learning and Privately Scaling)アーキテクチャは,システムのセキュリティとプライバシだけでなく,スケーラビリティも向上する。
  論文  参考訳（メタデータ） (2020-09-13T14:20:17Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)
• Federated learning with hierarchical clustering of local updates to improve training on non-IID data [3.3517146652431378]
  一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。 階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。 FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
  論文  参考訳（メタデータ） (2020-04-24T15:16:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。