論文の概要: Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2008.06767v2
• Date: Sun, 20 Mar 2022 03:19:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 20:44:22.793689
• Title: Heterogeneous Federated Learning
• Title（参考訳）: 不均一フェデレーション学習
• Authors: Fuxun Yu, Weishan Zhang, Zhuwei Qin, Zirui Xu, Di Wang, Chenchen Liu, Zhi Tian, Xiang Chen
• Abstract要約: フェデレーション学習は、ローカルノードから協調モデルを融合させることで、散在するデータから学習する。 カオス的な情報分布のため、モデル融合は未整合パラメータに関する構造的不整合に悩まされる可能性がある。 本稿では,協調モデル間の強固な構造情報アライメントを確立するための,新しいフェデレーション学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 41.04946606973614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning learns from scattered data by fusing collaborative models from local nodes. However, due to chaotic information distribution, the model fusion may suffer from structural misalignment with regard to unmatched parameters. In this work, we propose a novel federated learning framework to resolve this issue by establishing a firm structure-information alignment across collaborative models. Specifically, we design a feature-oriented regulation method ({$\Psi$-Net}) to ensure explicit feature information allocation in different neural network structures. Applying this regulating method to collaborative models, matchable structures with similar feature information can be initialized at the very early training stage. During the federated learning process under either IID or non-IID scenarios, dedicated collaboration schemes further guarantee ordered information distribution with definite structure matching, so as the comprehensive model alignment. Eventually, this framework effectively enhances the federated learning applicability to extensive heterogeneous settings, while providing excellent convergence speed, accuracy, and computation/communication efficiency.
• Abstract（参考訳）: フェデレーション学習は、ローカルノードからの協調モデルを用いて分散データから学習する。 しかしながら、カオス的情報分布のため、モデル融合は不整合パラメータに関して構造的不一致を被る可能性がある。 本研究では,協調モデル間の構造情報アライメントを確立することにより,この問題を解決するための新しい連合学習フレームワークを提案する。 具体的には、異なるニューラルネットワーク構造における明示的な特徴情報割り当てを保証するために、特徴指向制御法({$\Psi$-Net})を設計する。 この調整方法を協調モデルに適用すると、非常に初期の訓練段階で類似した特徴情報を持つマッチング可能な構造を初期化することができる。 iidまたは非iidシナリオのフェデレーション学習プロセスの間、専用のコラボレーションスキームは、包括的モデルアライメントのように、一定の構造マッチングを伴う順序付き情報分布をさらに保証する。 最終的に、このフレームワークは、収束速度、精度、計算/通信効率に優れると共に、広範囲な異種設定へのフェデレーション学習の適用性を効果的に向上させる。

関連論文リスト

• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Heterogeneous Ensemble Knowledge Transfer for Training Large Models in Federated Learning [22.310090483499035]
  フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。 既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。 本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
  論文  参考訳（メタデータ） (2022-04-27T05:18:32Z)
• A Framework for Verifiable and Auditable Federated Anomaly Detection [3.639790324866155]
  フェデレート・リーン(Federated Leaning)は、機械学習タスクのソリューションのためのエージェントのグループ間の協力を管理する新しいアプローチである。 本稿では,異常検出の特定の場合において,この問題に対処する新しいアルゴリズムアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-15T11:34:02Z)
• Personalized Federated Learning With Structure [24.566947384179837]
  本研究では,グローバルモデルとパーソナライズドモデルとを同時に学習するための,構造化フェデレーション学習(SFL)フレームワークを提案する。 事前定義された構造とは対照的に、構造学習コンポーネントを追加して構造を自動的に学習することで、我々のフレームワークをさらに強化することができる。
  論文  参考訳（メタデータ） (2022-03-02T02:43:51Z)
• Fed2: Feature-Aligned Federated Learning [32.54574459692627]
  フェデレーション学習は、ローカルノードから協調モデルを融合させることで、散在するデータから学習する。 我々は,Fed2を提案する。Fed2は,構造・機能整合性を確立することで,この問題を解決するための機能整合型学習フレームワークである。 Fed2は、広範囲な同種および異種設定下でのフェデレーション学習収束性能を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2021-11-28T22:21:48Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。