論文の概要: Towards Optimal Customized Architecture for Heterogeneous Federated Learning with Contrastive Cloud-Edge Model Decoupling

• arxiv url: http://arxiv.org/abs/2403.02360v1
• Date: Mon, 4 Mar 2024 05:10:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 17:29:56.510838
• Title: Towards Optimal Customized Architecture for Heterogeneous Federated Learning with Contrastive Cloud-Edge Model Decoupling
• Title（参考訳）: クラウド-エッジモデルデカップリングを用いた異種フェデレーション学習のための最適カスタマイズアーキテクチャ
• Authors: Xingyan Chen and Tian Du and Mu Wang and Tiancheng Gu and Yu Zhao and Gang Kou and Changqiao Xu and Dapeng Oliver Wu
• Abstract要約: フェデレートラーニングは、有望な分散学習パラダイムとして、中央データ収集を必要とせずに、複数のネットワークエッジクライアントにわたるグローバルモデルの協調トレーニングを可能にする。 我々はFedCMDと呼ばれる新しいフェデレーション学習フレームワークを提案する。 私たちのモチベーションは、パーソナライズされた頭として異なるニューラルネットワーク層を選択するパフォーマンスを深く調査することで、現在の研究でパーソナライズされた頭として最後の層を厳格に割り当てることが常に最適であるとは限らない、ということです。
• 参考スコア（独自算出の注目度）: 20.593232086762665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning, as a promising distributed learning paradigm, enables collaborative training of a global model across multiple network edge clients without the need for central data collecting. However, the heterogeneity of edge data distribution drags the model towards the local minima, which can be distant from the global optimum. Such heterogeneity often leads to slow convergence and substantial communication overhead. To address these issues, we propose a novel federated learning framework called FedCMD, a model decoupling tailored to the Cloud-edge supported federated learning that separates deep neural networks into a body for capturing shared representations in Cloud and a personalized head for migrating data heterogeneity. Our motivation is that, by the deep investigation of the performance of selecting different neural network layers as the personalized head, we found rigidly assigning the last layer as the personalized head in current studies is not always optimal. Instead, it is necessary to dynamically select the personalized layer that maximizes the training performance by taking the representation difference between neighbor layers into account. To find the optimal personalized layer, we utilize the low-dimensional representation of each layer to contrast feature distribution transfer and introduce a Wasserstein-based layer selection method, aimed at identifying the best-match layer for personalization. Additionally, a weighted global aggregation algorithm is proposed based on the selected personalized layer for the practical application of FedCMD. Extensive experiments on ten benchmarks demonstrate the efficiency and superior performance of our solution compared with nine state-of-the-art solutions. All code and results are available at https://github.com/elegy112138/FedCMD.
• Abstract（参考訳）: フェデレーション学習は、有望な分散学習パラダイムとして、中央データ収集を必要とせずに、複数のネットワークエッジクライアントにわたるグローバルモデルの協調トレーニングを可能にする。 しかし、エッジデータ分布の不均一性は、大域的な最適値から遠ざかることのできる局所的なミニマに向かってモデルをドラグする。 このような不均一性は、しばしば緩やかな収束とかなりの通信オーバーヘッドをもたらす。 そこで本研究では,深層ニューラルネットワークを物体に分離し,クラウド内の共有表現をキャプチャするモデルであるfederated learningと,データ異質性を移行するためのパーソナライズされたヘッドであるfederated learningを提案する。 私たちのモチベーションは、パーソナライズされたヘッドとして異なるニューラルネットワーク層を選択するパフォーマンスを深く調査することで、現在の研究でパーソナライズされたヘッドとして最後のレイヤを厳格に割り当てることが必ずしも最適とは限らないということです。 代わりに、近隣層間の表現差を考慮してトレーニング性能を最大化するパーソナライズされたレイヤを動的に選択する必要がある。 最適なパーソナライズ層を見つけるために,各レイヤの低次元表現を用いて特徴伝達をコントラストし,パーソナライズのための最良マッチング層を特定するためのワッサーシュタイン層選択手法を提案する。 さらに,feedcmdの実用化に向けて,選択したパーソナライズ層に基づく重み付きグローバルアグリゲーションアルゴリズムを提案する。 10のベンチマークによる大規模な実験は、9つの最先端ソリューションと比較して、ソリューションの効率性と優れた性能を示している。 すべてのコードと結果は、https://github.com/elegy112138/fedcmdで入手できる。

関連論文リスト

• Exploring Selective Layer Fine-Tuning in Federated Learning [48.470385357429215]
  フェデレートラーニング(FL)は,分散データを用いた基礎モデルの微調整のための,有望なパラダイムとして登場した。 FLにおける選択的層微調整について検討し、クライアントがローカルデータやリソースに応じて選択した層を調整できるフレキシブルなアプローチを強調した。
  論文  参考訳（メタデータ） (2024-08-28T07:48:39Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Learning the Right Layers: a Data-Driven Layer-Aggregation Strategy for Semi-Supervised Learning on Multilayer Graphs [2.752817022620644]
  多層グラフ上のクラスタリング(あるいはコミュニティ検出)は、さらにいくつかの複雑さを生じさせる。 主な課題の1つは、各レイヤがクラスタのイテレーションの割り当てにどの程度貢献するかを確立することである。 利用可能な入力ラベルから異なる層を最適に非線形に組み合わせたパラメータフリーなラプラシアン正規化モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-31T19:50:11Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Model Fusion of Heterogeneous Neural Networks via Cross-Layer Alignment [17.735593218773758]
  CLAFusionと呼ばれる新しいモデル融合フレームワークを提案し、異なる層でニューラルネットワークを融合させる。 階層間のアライメントに基づいて、階層モデル融合を適用する前に、ニューラルネットワークの層数のバランスをとる。
  論文  参考訳（メタデータ） (2021-10-29T05:02:23Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Analysis and Optimal Edge Assignment For Hierarchical Federated Learning on Non-IID Data [43.32085029569374]
  フェデレーション学習アルゴリズムは、ユーザのデバイスに格納された分散および多様なデータを活用して、グローバルな現象を学習することを目的としている。 参加者のデータが強く歪んだ場合(例えば、非iidの場合)、ローカルモデルはローカルデータに過剰に適合し、低パフォーマンスなグローバルモデルに繋がる。 ユーザエッジ層にFederated Gradient Descent、エッジクラウド層にFederated Averagingを実行する階層学習システムを提案する。
  論文  参考訳（メタデータ） (2020-12-10T12:18:13Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Neural Inheritance Relation Guided One-Shot Layer Assignment Search [44.82474044430184]
  CIFAR-100上でのレイヤ割り当てのアーキテクチャデータセットを構築することにより,異なるレイヤ割り当てがネットワーク性能に与える影響について検討する。 層割り当てが異なるネットワーク間の神経継承関係、すなわち、深いネットワークに最適な層割り当ては、浅いネットワークには常に継承される。 このニューラル継承関係に着想を得て,遺伝サンプリングによる効率的なワンショット層割当て探索手法を提案する。
  論文  参考訳（メタデータ） (2020-02-28T07:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。