Fugu-MT 論文翻訳(概要): Architecture Agnostic Federated Learning for Neural Networks

論文の概要: Architecture Agnostic Federated Learning for Neural Networks

arxiv url: http://arxiv.org/abs/2202.07757v1
Date: Tue, 15 Feb 2022 22:16:06 GMT
ステータス: 処理完了
システム内更新日: 2022-02-17 15:12:59.486292
Title: Architecture Agnostic Federated Learning for Neural Networks
Title（参考訳）: ニューラルネットワークのためのアーキテクチャ非依存連合学習
Authors: Disha Makhija, Xing Han, Nhat Ho, Joydeep Ghosh
Abstract要約: この研究は、FedHeNN(Federated Heterogeneous Neural Networks)フレームワークを導入している。 FedHeNNは、クライアント間の共通アーキテクチャを強制することなく、各クライアントがパーソナライズされたモデルを構築することを可能にする。 FedHeNNのキーとなるアイデアは、ピアクライアントから取得したインスタンスレベルの表現を使用して、各クライアントの同時トレーニングをガイドすることだ。
参考スコア（独自算出の注目度）: 19.813602191888837
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With growing concerns regarding data privacy and rapid increase in data volume, Federated Learning(FL) has become an important learning paradigm. However, jointly learning a deep neural network model in a FL setting proves to be a non-trivial task because of the complexities associated with the neural networks, such as varied architectures across clients, permutation invariance of the neurons, and presence of non-linear transformations in each layer. This work introduces a novel Federated Heterogeneous Neural Networks (FedHeNN) framework that allows each client to build a personalised model without enforcing a common architecture across clients. This allows each client to optimize with respect to local data and compute constraints, while still benefiting from the learnings of other (potentially more powerful) clients. The key idea of FedHeNN is to use the instance-level representations obtained from peer clients to guide the simultaneous training on each client. The extensive experimental results demonstrate that the FedHeNN framework is capable of learning better performing models on clients in both the settings of homogeneous and heterogeneous architectures across clients.
Abstract（参考訳）: データプライバシに関する懸念が高まり、データボリュームが急速に増加する中、フェデレーション学習(fl)は重要な学習パラダイムとなっている。しかしながら、fl設定でディープニューラルネットワークモデルを共同学習することは、クライアント間のさまざまなアーキテクチャ、ニューロンの置換不変性、各層における非線形変換の存在など、ニューラルネットワークに関連する複雑さによって、非自明なタスクであることが証明される。この研究は、クライアント間の共通アーキテクチャを強制することなく、各クライアントがパーソナライズされたモデルを構築することができる新しいフェデレーション・ヘテロジニアスニューラルネットワーク(FedHeNN)フレームワークを導入している。これにより、各クライアントは、他の(潜在的により強力な)クライアントの学習の恩恵を受けながら、ローカルデータや計算制約を最適化できる。 FedHeNNのキーとなるアイデアは、ピアクライアントから得られたインスタンスレベルの表現を使用して、各クライアントの同時トレーニングをガイドすることだ。 FedHeNNフレームワークは、クライアント間の均質アーキテクチャと異質アーキテクチャの両方の設定において、クライアント上でより優れたモデルを実行することができることを示す。

関連論文リスト

Federated Learning with Flexible Architectures [12.800116749927266]
本稿では,フレキシブルアーキテクチャを用いたフェデレートラーニング(FedFA)について紹介する。 FedFAは、モデルアグリゲーション中に、クライアントのローカルアーキテクチャとFLシステムにおける最大のネットワークアーキテクチャを整合させるために、レイヤグラフト技術を導入している。
論文参考訳（メタデータ） (2024-06-14T09:44:46Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Neural Collapse Inspired Federated Learning with Non-iid Data [31.576588815816095]
非独立かつ同一に分散された(非ID)特性は、ローカル更新に大きな違いをもたらし、中央サーバの性能に影響する。神経崩壊の現象にインスパイアされた私たちは、各クライアントを最適なグローバル構造に最適化するよう強制する。提案手法は, 異なるサイズのデータセット上での収束速度を高速化して, 性能を向上することができる。
論文参考訳（メタデータ） (2023-03-27T05:29:53Z)
FedClassAvg: Local Representation Learning for Personalized Federated Learning on Heterogeneous Neural Networks [21.613436984547917]
我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。 FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
論文参考訳（メタデータ） (2022-10-25T08:32:08Z)
Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文参考訳（メタデータ） (2022-06-05T01:14:46Z)
SPIDER: Searching Personalized Neural Architecture for Federated Learning [17.61748275091843]
フェデレーション・ラーニング(FL)は、プライバシと規制上の制約により、データが集中型サーバと共有できない場合、機械学習を支援する。 FLの最近の進歩は、すべてのクライアントに対して事前定義されたアーキテクチャベースの学習を使用する。我々は、フェデレート学習のためのパーソナライズされたニューラルアーキテクチャの検索を目的としたアルゴリズムフレームワークであるSPIDERを紹介する。
論文参考訳（メタデータ） (2021-12-27T23:42:15Z)
Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
論文参考訳（メタデータ） (2021-09-17T04:48:42Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)
Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文参考訳（メタデータ） (2020-12-20T14:34:36Z)
Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。